5.1 数据库目录
数据库目录是MySQL数据库服务器存放数据文件的地方,不仅包括有关表的文件,还包括数据文件和MySQL的服务器选项文件。不同的分发,数据库目录的缺省位置是不同的。
5.1.1 数据目录的位置
l 缺省的数据库位置
缺省数据库的位置编译在服务器中。
1、 如果您是在一个源程序分发包中安装 MySQL,典型的缺省位置可能是 /usr/local/var;
2、 如果在二进制分发包中安装 MySQL,则为 /usr/local/mysql/ data;
3、 在 RPM 文件中安装,为 /var/lib/mysql。
4、 对于windwos平台上的分发,其位置时BASEDIR\data
l 数据目录的位置可以在启动服务器时通过--datadir = / path / to / dir 明确地指定。如果您想将数据目录放置在其他地方而非缺省的位置,则这个选项是有用的。
l 了解数据库目录的位置
作为一名 MySQL 管理员,您应该知道数据目录在哪里。如果运行多个服务器,那么您应该掌握所有数据目录的位置。但是,如果不知道目录的位置(或许您正在代替前一位管理员,而他留下的记录很糟糕),有几种方法可以用来查找它:
1、 可使用 mysqladmin 变量直接从服务器中得到数据目录路径名。在 UNIX 中,输出结果类似于如下所示:
$mysqladmin variables
+-------------------------+---------------------------
| Variable_name | Value
+-------------------------+---------------------------
| ansi_mode | OFF
| back_log | 50
| basedir | /var/local
| connect_timeout | 5
| concurrent_insert | ON
| datadir | /usr/local/var
该输出结果指明了服务器主机中数据目录的位置 /usr/local/var。
在 Windows 中,输出结果类似于如下所示:
c:\mysql\bin>mysqladmin variables
+-------------------------+---------------------------
| Variable_name | Value
+-------------------------+---------------------------
| ansi_mode | OFF
| back_log | 50
| basedir | c:\mysql\
| connect_timeout | 5
| concurrent_insert | ON
| datadir | c:\mysql\data\
如果正在运行多个服务器,它们将监听不同的 TCP/IP 端口号和套接字。可以通过提供合适的--port 或 --socket 选项连接到每个服务器监听的端口和套接字上:
$mysqladmin –port=port=port_num variables
$mysqladmin –socket=/path/to/socket variables
mysqladmin 命令可在您连接服务器的任何一台主机上运行。如果需要连接到远程主机上的服务器,则使用 --host = host_name 选项:
$mysqladmin –host=host_name varibles
2、在Unix平台上,可使用 ps 来查看任何当前执行 mysql 进程的命令行。试一试下列的命令(根据您的系统所支持的 ps 版本)并查找显示在输出结果中的这些命令的 --datadir:
$ps au | grep mysqld
如果系统运行多个服务器(因为一次发现了多个数据目录位置),则 ps 命令将会特别有用。它的缺点是:ps 必须运行在服务器的主机上,并且除非 --datadir 选项在 mysqld 命令行中明确指定,否则将产生无用的信息。
3、 如果 MySQL 从源程序分发包中安装,可以检查其配置信息以确定数据目录的位置。例如,在最高级的 Makefile 中该位置是可用的。但是,要小心:位置是 Makefile 中的变量localstatedir 的值,而不是 datadir 的值。同样,如果分发包定位在 NFS 装配文件系统中,并且是用于为几个主机建立 MySQL的,则配置信息反映最近建立分发包的主机。它可能不显示您感兴趣的主机的数据目录。
4、 如果前面的任何方法都不成功,可使用 find 搜索数据库文件。下列命令将搜索 .frm(描述)文件,它是 MySQL 安装程序的组成部分:
$find / -name “*.frm” –print
在windows平台上的搜索非常简单,本节就不给出例子了。
在本章的这些例子中,笔者将 MySQL 数据目录的位置表示为 DATADIR。您可以将其解释成为您自己的机器中的数据目录的位置。
5.1.2 数据库的表示法
由 MySQL 管理的每个数据库都有自己的数据库目录,它们是数据目录的子目录,与所表示的数据库有相同的名称。例如,数据库 my_db 对应于数据库目录 DATADIR/my_db。
这个表示法使得几个数据库级的语句的实现是非常容易的。CREATE DATABASE db_name 使用只允许对 MySQL 服务器用户(服务器运行的UNIX 用户)进行访问的所有权和方式,并在数据目录中创建一个空目录 db_name。这等价于以服务器主机中的服务器用户的身份通过执行下列命令手工创建数据库:
$ mkdir DATADIR/db_name 创建数据库目录
$ chmod 700 DATADIR/db_name 使它仅对 MySQL 服务器用户可访问
通过空目录表示新数据库的方法与其他数据库系统完全不同,那些数据库系统甚至要为“空”数据库创建许多控制文件或系统文件。
DROP DATABASE 语句也很容易实现。DROP DATABASE db_name 删除数据目录中的 db_name 目录以及其中的所有表文件。这个语句类似于下列命令:
$rm -rf DATADIR/db_name
其区别是,服务器只删除带有表的扩展名的文件。如果已经在该数据库目录中创建了其他的文件,服务器将使它们保持完整,并且不删除该目录本身。
SHOW DATABASE 只不过是对应位于数据目录中的子目录名称的一个列表。有些数据库系统需要保留一个列出所有需要维护的数据库的主表,但是,在 MySQL 中没有这样的结构。由于数据目录结构的简单性,数据库的列表是隐含在该数据目录的内容中的,像主表这样的表可能会引起不必要的开销。
5.1.3 数据库表的表示法
数据库中的每个表在数据库目录中都作为三个文件存在:一个格式(描述)文件、一个数据文件和一个索引文件。每个文件的基名是该表名,扩展名指明该文件的类型。扩展名如表5-1所示。数据和索引文件的扩展名指明该表是否使用较老的 ISAM 索引或较新的 MyISAM 索引。
表5-1 MySQL文件类型
|
文件类型 |
文件扩展名 |
文件内容 |
|
格式文件 |
.frm |
描述表的结构(列、列类型、索引,等等) |
|
数据文件 |
.ISD(ISAM) 或.MYD(MyISAM) |
包含表的数据─即它的行 |
|
索引文件 |
ISD(ISAM) 或.MYI(MyISAM) |
包含数据文件中任何索引的索引树。无论该表有无索引,索引文件都存在 |
当发布定义一个表结构的 CREATE TABLE tbl_name 语句时,服务器创建 tbl_name.frm 文件,它包含该结构的内部编码。该语句还创建空的数据文件和索引文件,这些文件的初始信息表明没有记录和索引(如果 CREATE TABLE 语句包含索引说明,则该索引文件将反映这些索引)。描述表的文件的所有权和方式被设置为只允许对 MySQL 服务器用户的访问。
当发布 ALTER TABLE 语句时,服务器对 tbl_name.frm 重新编码并修改数据文件和索引文件的内容以反映由该语句表明的结构变化。对于 CREATE 和 DROP INDEX 也是如此,因为服务器认为它们等价于 ALTER TABLE 语句。DROP TABLE 删除代表该表的三个文件。
尽管可以通过删除数据库目录中的对应某个表的三个文件来删除该表,但不能手工创建或更改表。例如,如果 my_db 是当前的数据库,DROP TABLE my_tbl 大致等价于下列命令:
来自于 SHOW TABLES my_db 的输出结果正是 my_db 数据库目录中 .frm 文件基名的一个列表。某些数据库系统维护一个列出了数据库中的所有表的登记。但 MySQL 不这样做,因为没有必要,这个“登记”隐含在了数据目录的结构中。
5.1.4 MySQL的状态文件
除数据库目录外,MySQL 数据目录还包含许多状态文件。表10-3 概括介绍了这些文件。大多数状态文件的缺省名称从服务器主机名字中生成,在此表中表示为 HOSTNAME。
表5-2 MySQL 状态文件
|
文件类型 |
缺省名 |
文件内容 |
|
进程 ID |
HOSTNAME.pid |
服务器进程 ID |
|
错误日志 |
HOSTNAME.err |
启动和关闭事件和错误状态 |
|
常规日志 |
HOSTNAME.log |
连接/断开事件和查询信息 |
|
更新日志 |
HOSTNAME.nnn |
修改表的内容或结构的所有查询的文本 |
服务器在启动时将它的进程 ID(PID )写入 PID 文件,并在关闭时删除该文件。PID 文件是一种方法,用这种方法,其他的进程可以找到该服务器。例如,如果您在系统关闭时运行 mysql.server 脚本来关闭 MySQL 服务器,则该脚本将检查 PID 文件以确定它需要哪个进程来发送一个终止信号。
错误日志由 safe_mysqld 产生,作为服务器标准错误输出结果的重定向,它包含服务器写入 stderr 的所有消息。这意味着仅当通过调用 safe_mysqld 启动服务器时,错误日志才存在(总之,这是启动服务器的首选方法,因为,如果由于一个错误使错误日志存在,则 safe_mysqld将重新启动服务器)。
常规日志和更新日志是可选的,可以用 --log 和 --log-update 服务器选项开启需要的日志类型。
常规进程提供有关服务器运作的常规信息:谁从哪里进行了连接,以及他们发布了什么查询。更新日志也提供查询信息,但仅仅是修改过的数据库内容的查询信息。更新日志的内容是一些 SQL 语句,这些语句可以通过将它们输入到 mysql 客户机程序来运行。如果出现崩溃且必须转到备份文件时,更新日志将是有用的,因为您能够通过将更新日志输入到服务器来重复这些自崩溃以来所完成的更新操作。这将使得数据库恢复到崩溃发生时所处的状态上。
下面是一个实例,它是作为一个短客户机会话的结果出现在常规日志中的信息中的,这个会话在 test 数据库中从mytest.pet复制一个表,并插入一行到该表中,然后删除该表:
010206 23:08:21 3 Connect root@localhost on
010206 23:09:07 3 Init DB test
010206 23:09:36 3 Query create table mytest select * from pet
010206 23:09:43 3 Query create table mytest select * from mytest.pet
010206 23:11:34 3 Query insert into mytest set name=\'tom\',owner=\'jerry\',species=\'cat\',sex=\'f\',birth=\'2000-01-01\'
010206 23:11:49 3 Query drop table mytest
010206 23:14:05 3 Quit
注意第二行是一个错误的语句,但是也被记录下来。
常规日志包含日期和时间、服务器线程 ID、事件类型以及特定事件信息的列。
同一个会话出现在如下的更新日志中:
use test;
create table mytest select * from mytest.pet;
insert into mytest set name=\'tom\',owner=\'jerry\',species=\'cat\',sex=\'f\',birth=\'2000-01-01\';
drop table mytest;
更新纪录中没有记录错误的语句,因此对于恢复被破坏的数据库内容非常有意义。
对于更新日志,日志的扩展格式是可用的,即使是用 --log - long - format 选项。扩展的日志提供有关谁何时发布查询的信息。当然,这将使用更多的磁盘空间,但是,如果您不将更新日志的内容与常规日志中的连接事件相联系就想知道谁正在做什么的话,扩展日志或许是可用的。
确保日志文件的安全且不被用户任意读取是个好注意。常规日志和更新日志都包含有诸如口令这样的敏感信息,这是因为它们包含了查询的文本。下面是您不想让任何人都能读取的日志项,因为它显示了 root 用户的口令:
010206 23:30:02 4 Query update mysql.user set password=password("peking77.") where User="root"
有关检查可设置数据目录许可权的信息,请参阅第 7 章。数据目录安全的简短指令由下列命令组成:
$ chmod 700 DATADIR
以拥有该数据目录的 UNIX 用户身份来运行此命令。还要确保服务器以该用户身份运行,否则此命令不仅将其他用户排斥在该数据目录之外(您想要的),还将阻止服务器访问您的数据库(您不要的)。
状态文件出现在数据目录的最高级,就像数据库目录一样,因此您可能会想到那些文件的名字是否会相互混淆或者被误认为是数据库名(例如,当服务器正在执行 SHOW DATABASE 语句时)。答案是:不会的。状态和日志信息存储在文件中,而数据库是目录,因此可执行程序可以将它们与一个简单的 stat() 调用相区别(是服务器告诉它们怎样区分的)。如果您正在监视数据目录,则可以通过使用 ls -l 将状态文件从数据库目录中区分开来,并且检查该模式信息的第一个字符以查看它是‘-’还是‘d’:
您还可以通过查看名字而简单地告之:所有状态文件名都包含一个句点,但是数据库目录名没有句点(句点不是数据库名的合法字符)。
5.1.5 总结
通过本节,读者可以对MySQL的数据保存方式有了一定的认识。本节中较为重要的内容有:
1、 数据库目录的位置
2、 MySQL是如何表示数据表的
3、 MySQL的状态文件的种类和作用
了解MySQL如何保存数据,以及状态文件的作用,对于备份数据库是有重要意义的,根据MySQL数据库目录的特点,直接拷贝就是备份数据的重要方法之一。
5.2 重定位数据库目录的内容
上一节讨论了在其缺省配置中的数据目录的结构。所有数据库和状态文件都包含在其中。但是,在确定数据目录内容的布局中管理员有某些职责。本节讨论为什么要移动数据目录的各个部分(甚至是字典本身)、可以移动什么,以及怎样进行这些移动。
MySQL 允许您重定位其中的数据目录或元素。这样做有几个原因:
l 可以用比缺省定位的文件系统更大的容量在文件系统中放置数据目录。
l 如果数据目录在繁忙的磁盘上,可以将其放置到较少使用的驱动器上,以平衡物理设备之间的磁盘活动。为了类似的原因,可以将数据库和日志文件放在不同的驱动器上,或在驱动器之间对数据库进行再分布。
l 您可以运行多个服务器,并且每个服务器都有属于自己的数据目录。这是一种解决总进程文件描述符限制问题的方法,尤其是当不能重新配置系统的核心以得到更高的限制值时。
l 某些系统将 PID 文件保存在诸如 /var/run 的目录中。为了系统运作的一致性,您可以将 MySQL PID 文件也放在那里。
5.2.3 重定位方法
有两种对数据目录重定位的方法:
l 可以在命令行或在一个选项文件的 [mysqld] 组上,在服务器启动时间指定一个选项。
l 可以移动要重定位的内容,然后在原始的位置中做一个指向新位置的 symlink (symbolic link,符号链接)。
两种方法的任何一种都不能为您进行全部的重定位工作。表5-3 综合了可重定位的内容以及可用于重定位的方法。如果您使用一个选项文件,可以指定在全局选项文件 /etc/my.cnf(Windows 中的 c:\my.cnf)中的选项。当前的 Windows 版本还访问系统目录(c:\windows 或 c:\WINNT)。
您还可以使用缺省数据目录的选项文件 my.cnf(该目录编译在服务器中)。笔者不建议使用此文件。如果要重定位数据目录本身,必须保持缺省数据目录的完整性,以便在数据目录中放置一个选项文件,该文件将说明服务器应该在哪里找到“真正”的数据目录!真乱。如果想要用一个选项文件来指定服务器的选项,则最好使用 /etc/my.cnf。
表5-3 重定位方法概括
|
重定位的实体 |
可使用的重定位方法 |
|
全数据目录 |
启动选项、选项文件或symlink |
|
PID 文件 |
启动选项、选项文件 |
|
单个的数据库目录 |
Symlink |
|
常规日志文件 |
启动选项、选项文件 |
|
单个的数据库表 |
Symlink |
|
更新日志文件 |
启动选项、选项文件 |
5.2.1 重定位数据目录
现在说明重定位数据库目录的方法与步骤。
1、 关闭服务器,例如:
$ mysqladmin –u root -p shutdown
2、 将数据库目录移动到新的位置
3、 然后删除原来的数据库
4、 如果用symlink方法(Unix平台上),例如:
$ ln –s NEWDIR DATADIR
DATADIR是标准的数据库目录的位置,也是原来的数据库目录路径。
如果用起动选项的方法,可以这样启动:
$safe_mysqld --basedir=/path/to/dir/ & (Unix)
$mysqld --basedir=x:\datadir\ (Windows)
如果用选项文件的方法:
在/etc/my.cnf(Unix)或者c:\my.cnf(Windows)中加入:
[mysqld]
datadir=/path/to/dir/
5、重新启动数据库
5.2.2 重定位数据库
重定位数据库只能通过symlink方法,因此windows平台无法重定位数据库。为了重定位数据库,应关闭数据库,移动数据库的目录。删除原来的数据库目录,用指向新位置的symlink来代替她,然后启动服务器。
下面用一个实际的例子――备份bigdb――说明这个过程:
$mysqladmin –u root –p
$cd DATADIR
$tar cf bigdb|(cd /var/db;tar xf)
$mv bigdb bigdb.old
$ln –s var/db/bigdb .
$safe_mysqld &
应该以数据库目录所有者的身份执行这些命令。服务器工作正常之后,可以删除备份目录bigdb.old:
$rm –rf bigdb.old
5.2.3 重定位数据库表
对单个数据库表重新定位并不是特别有用,有时反而会造成很大的麻烦。可以通过将表的文件移动到另一个位置不再该书据库目录中创建指向这些文件的symlink来进行。方法类似于重定位数据库的方法。
但是,如果曾经发布过 ALTER TABLE或OPTIMIZE TABLE语句,则所做的这些重定位工作将被取消。其原因就不介绍了。
5.2.4 重定位状态文件
状态文件中PID文件、常规日志褐更新日志,可以用起动选项或者选项文件的方法重新定位。错误日志由safe_mysqld创建且不能够重新定位,除非编辑safe_mysqld脚本。
为了在另一个位置写状态文件,因关闭服务器,然后用制定新状态文件位置的恰当选项启动他。
启动选项:
--pid-file=pidfile PID文件
--log=logfile 常规日志
--log-update=updatefile 更新日志
选项文件
[mysqld]
pid-file=pidfile
log=logfile
log-update=updatefile
状态文件的命名规则:
1、 如果以绝对路径指定一个状态文件的名称,则用该路径创建改文件。
例如,你指定—pid-file=/var/run/mysqld.pid,则该PID文件的就是/var/run/mysqld.pid
2、 如果你只给出文件名,则文件在数据库目录下创建。
例如,你指定—pid-file=mysqld.pid则该PID文件为DATADIR/mysqld.pid
3、 如果没有给出文件,则状态文件使用缺省的名字。
这样做将告诉服务器启用状态文件,这对PID文件没有意义,因为服务器总是使用它。例如:
$safe_mysqld --log --log-update &
或者,使用选项文件:
[mysqld]
log
log-update
对于常规日志,将生成DATADIR/hostname.log文件,hostname是运行服务器的主机名。对于更新日志,生成DATADIR/hostname.nnn的顺序文件。
4、 对于更新日志,如果指定一个没有扩展名的更新日志,则MySQL在打开该更新日志是将生成数据的名字。这些名字用.nnn扩展名创建,这里的.nnn是违背已有的更新日志文件使用过的第一个号码(如,hostname.001、hostname.002等等)。可以通过指定明确的扩展名来忽略顺序名字的生成,然后服务器将仅使用您指定的名字。
5.2.5 总结
在本节中你将学到如何重新定位数据库目录,以及状态文件等。你可能需要重定位的内容有:
1、 数据库目录
2、 数据库
3、 状态文件,包括常规日志,更新日志等
重定位的方法有:
1、 符号链接
2、 指定命令行参数
3、 使用选项文件
5.3 备份和恢复数据表的方法
备份是最简单的保护数据的方法,本节将介绍多种备份方法。为了得到一个一致的备份,在相关的表上做一个LOCK TABLES,你只需一个读锁定,当你在数据库目录中做文件的一个拷贝时,这允许其他线程继续查询该表;当你恢复数据时,需要一个写锁定,以避免冲突。
5.3.1 使用SQL语句备份和恢复
你可以使用SELECT INTO OUTFILE语句备份数据,并用LOAD DATA INFILE语句恢复数据。这种方法只能导出数据的内容,不包括表的结构,如果表的结构文件损坏,你必须要先恢复原来的表的结构。
语法:
SELECT * INTO {OUTFILE | DUMPFILE} \'file_name\' FROM tbl_name
LOAD DATA [LOW_PRIORITY] [LOCAL] INFILE \'file_name.txt\' [REPLACE | IGNORE]
INTO TABLE tbl_name
SELECT ... INTO OUTFILE \'file_name\'格式的SELECT语句将选择的行写入一个文件。文件在服务器主机上被创建,并且不能是已经存在的(不管别的,这可阻止数据库表和文件例如“/etc/passwd”被破坏)。SELECT ... INTO OUTFILE是LOAD DATA INFILE逆操作。
LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。如果指定LOCAL关键词,从客户主机读文件。如果LOCAL没指定,文件必须位于服务器上。(LOCAL在MySQL3.22.6或以后版本中可用。)
为了安全原因,当读取位于服务器上的文本文件时,文件必须处于数据库目录或可被所有人读取。另外,为了对服务器上文件使用LOAD DATA INFILE,在服务器主机上你必须有file的权限。使用这种SELECT INTO OUTFILE语句,在服务器主机上你必须有FILE权限。
为了避免重复记录,在表中你需要一个PRIMARY KEY或UNIQUE索引。当在唯一索引值上一个新记录与一个老记录重复时,REPLACE关键词使得老记录用一个新记录替代。如果你指定IGNORE,跳过有唯一索引的现有行的重复行的输入。如果你不指定任何一个选项,当找到重复索引值时,出现一个错误,并且文本文件的余下部分被忽略时。
如果你指定关键词LOW_PRIORITY,LOAD DATA语句的执行被推迟到没有其他客户读取表后。
使用LOCAL将比让服务器直接存取文件慢些,因为文件的内容必须从客户主机传送到服务器主机。在另一方面,你不需要file权限装载本地文件。如果你使用LOCAL关键词从一个本地文件装载数据,服务器没有办法在操作的当中停止文件的传输,因此缺省的行为好像IGNORE被指定一样。
当在服务器主机上寻找文件时,服务器使用下列规则:
l 如果给出一个绝对路径名,服务器使用该路径名。
l 如果给出一个有一个或多个前置部件的相对路径名,服务器相对服务器的数据目录搜索文件。
l 如果给出一个没有前置部件的一个文件名,服务器在当前数据库的数据库目录寻找文件。
假定表tbl_name具有一个PRIMARY KEY或UNIQUE索引,备份一个数据表的过程如下:
1、锁定数据表,避免在备份过程中,表被更新
mysql>LOCK TABLES READ tbl_name;
关于表的锁定的详细信息,将在下一章介绍。
2、导出数据
mysql>SELECT * INTO OUTFILE ‘tbl_name.bak’ FROM tbl_name;
3、解锁表
mysql>UNLOCK TABLES;
相应的恢复备份的数据的过程如下:
1、为表增加一个写锁定:
mysql>LOCK TABLES tbl_name WRITE;
2、恢复数据
mysql>LOAD DATA INFILE ‘tbl_name.bak’
->REPLACE INTO TABLE tbl_name;
如果,你指定一个LOW_PRIORITY关键字,就不必如上要对表锁定,因为数据的导入将被推迟到没有客户读表为止:
mysql>LOAD DATA LOW_PRIORITY INFILE ‘tbl_name’
->REPLACE INTO TABLE tbl_name;
3、解锁表
mysql->UNLOCAK TABLES;
5.3.2使用mysqlimport恢复数据
如果你仅仅恢复数据,那么完全没有必要在客户机中执行SQL语句,因为你可以简单的使用mysqlimport程序,它完全是与LOAD DATA 语句对应的,由发送一个LOAD DATA INFILE命令到服务器来运作。执行命令mysqlimport --help,仔细查看输出,你可以从这里得到帮助。
shell> mysqlimport [options] db_name filename ...
对于在命令行上命名的每个文本文件,mysqlimport剥去文件名的扩展名并且使用它决定哪个表导入文件的内容。例如,名为“patient.txt”、“patient.text”和“patient”将全部被导入名为patient的一个表中。
常用的选项为:
-C, --compress 如果客户和服务器均支持压缩,压缩两者之间的所有信息。
-d, --delete 在导入文本文件前倒空表格。
l, --lock-tables 在处理任何文本文件前为写入所定所有的表。这保证所有的表在服务器上被同步。
--low-priority,--local,--replace,--ignore分别对应LOAD DATA语句的LOW_PRIORITY,LOCAL,REPLACE,IGNORE关键字。
例如恢复数据库db1中表tbl1的数据,保存数据的文件为tbl1.bak,假定你在服务器主机上:
shell>mysqlimport --lock-tables --replace db1 tbl1.bak
这样在恢复数据之前现对表锁定,也可以利用--low-priority选项:
shell>mysqlimport --low-priority --replace db1 tbl1.bak
如果你为远程的服务器恢复数据,还可以这样:
shell>mysqlimport -C --lock-tables --replace db1 tbl1.bak
当然,解压缩要消耗CPU时间。
象其它客户机一样,你可能需要提供-u,-p选项以通过身分验证,也可以在选项文件my.cnf中存储这些参数,具体方法和其它客户机一样,这里就不详述了。
5.3.3 使用mysqldump备份数据
同mysqlimport一样,也存在一个工具mysqldump备份数据,但是它比SQL语句多做的工作是可以在导出的文件中包括SQL语句,因此可以备份数据库表的结构,而且可以备份一个数据库,甚至整个数据库系统。
mysqldump [OPTIONS] database [tables]
mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
mysqldump [OPTIONS] --all-databases [OPTIONS]
如果你不给定任何表,整个数据库将被倾倒。
通过执行mysqldump --help,你能得到你mysqldump的版本支持的选项表。
1、备份数据库的方法
例如,假定你在服务器主机上备份数据库db_name
shell> mydqldump db_name
当然,由于mysqldump缺省时把输出定位到标准输出,你需要重定向标准输出。例如,把数据库备份到bd_name.bak中:
shell> mydqldump db_name>db_name.bak
你可以备份多个数据库,注意这种方法将不能指定数据表:
shell> mydqldump --databases db1 db1>db.bak
你也可以备份整个数据库系统的拷贝,不过对于一个庞大的系统,这样做没有什么实际的价值:
shell> mydqldump --all-databases>db.bak
虽然用mysqldump导出表的结构很有用,但是恢复大量数据时,众多SQL语句使恢复的效率降低。你可以通过使用--tab选项,分开数据和创建表的SQL语句。
-T,--tab= 在选项指定的目录里,创建用制表符(tab)分隔列值的数据文件和包含创建表结构的SQL语句的文件,分别用扩展名.txt和.sql表示。该选项不能与--databases或--all-databases同时使用,并且mysqldump必须运行在服务器主机上。
例如,假设数据库db包括表tbl1,tbl2,你准备备份它们到/var/mysqldb
shell>mysqldump --tab=/var/mysqldb/ db
其效果是在目录/var/mysqldb中生成4个文件,分别是tbl1.txt、tbl1.sql、tbl2.txt和tbl2.sql。
2、mysqldump实用程序时的身份验证的问题
同其他客户机一样,你也必须提供一个MySQL数据库帐号用来导出数据库,如果你不是使用匿名用户的话,可能需要手工提供参数或者使用选项文件:
如果这样:
shell>mysql -u root –pmypass db_name>db_name.sql
或者这样在选项文件中提供参数:
[mysqldump]
user=root
password=mypass
然后执行
shell>mysqldump db_name>db_name.sql
那么一切顺利,不会有任何问题,但要注意命令历史会泄漏密码,或者不能让任何除你之外的用户能够访问选项文件,由于数据库服务器也需要这个选项文件时,选项文件只能被启动服务器的用户(如,mysql)拥有和访问,以免泄密。在Unix下你还有一个解决办法,可以在自己的用户目录中提供个人选项文件(~/.my.cnf),例如,/home/some_user/.my.cnf,然后把上面的内容加入文件中,注意防止泄密。在NT系统中,你可以简单的让c:\my.cnf能被指定的用户访问。
你可能要问,为什么这么麻烦呢,例如,这样使用命令行:
shell>mysql -u root –p db_name>db_name.sql
或者在选项文件中加入
[mysqldump]
user=root
password
然后执行命令行:
shell>mysql db_name>db_name.sql
你发现了什么?往常熟悉的Enter password:提示并没有出现,因为标准输出被重定向到文件db_name.sql中了,所以看不到往常的提示符,程序在等待你输入密码。在重定向的情况下,再使用交互模式,就会有问题。在上面的情况下,你还可以直接输入密码。然后在文件db_name.sql文件的第一行看到:
Enter password:#……..
你可能说问题不大,但是mysqldump之所以把结果输出到标准输出,是为了重定向到其它程序的标准输入,这样有利于编写脚本。例如:
用来自于一个数据库的信息充实另外一个MySQL数据库也是有用的:
shell>mysqldump --opt database | mysql --host=remote-host -C database
如果mysqldump仍运行在提示输入密码的交互模式下,该命令不会成功,但是如果mysql是否运行在提示输入密码的交互模式下,都是可以的。
如果在选项文件中的[client]或者[mysqldump]任何一段中指定了password选项,且不提供密码,即使,在另一段中有提供密码的选项password=mypass,例如
[client]
user=root
password
[mysqldump]
user=admin
password=mypass
那么mysqldump一定要你输入admin用户的密码:
mysql>mysqldump db_name
即使是这样使用命令行:
mysql>mysqldump –u root –ppass1 db
也是这样,不过要如果-u指定的用户的密码。
其它使用选项文件的客户程序也是这样
3、有关生成SQL语句的优化控制
--add-locks 生成的SQL 语句中,在每个表数据恢复之前增加LOCK TABLES并且之后UNLOCK TABLE。(为了使得更快地插入到MySQL)。
--add-drop-table 生成的SQL 语句中,在每个create语句之前增加一个drop table。
-e, --extended-insert 使用全新多行INSERT语法。(给出更紧缩并且更快的插入语句)
下面两个选项能够加快备份表的速度:
-l, --lock-tables. 为开始导出数据前,读锁定所有涉及的表。
-q, --quick 不缓冲查询,直接倾倒至stdout。
理论上,备份时你应该指定上诉所有选项。这样会使命令行过于复杂,作为代替,你可以简单的指定一个--opt选项,它会使上述所有选项有效。
例如,你将导出一个很大的数据库:
shell> mysqldump --opt db_name > db_name.txt
当然,使用--tab选项时,由于不生成恢复数据的SQL语句,使用--opt时,只会加快数据导出。
4、恢复mysqldump备份的数据
由于备份文件是SQL语句的集合,所以需要在批处理模式下使用客户机
l 如果你使用mysqldump备份单个数据库或表,即:
shell>mysqldump --opt db_name > db_name.sql
由于db_name.sql中不包括创建数据库或者选取数据库的语句,你需要指定数据库
shell>mysql db2 < db_name.sql
l 如果,你使用--databases或者--all-databases选项,由于导出文件中已经包含创建和选用数据库的语句,可以直接使用,不比指定数据库,例如:
shell>mysqldump --databases db_name > db_name.sql
shell>mysql <db_name.sql
l 如果你使用--tab选项备份数据,数据恢复可能效率会高些
例如,备份数据库db_name后在恢复:
shell>mysqldump --tab=/path/to/dir --opt test
如果要恢复表的结构,可以这样:
shell>mysql < /path/to/dir/tbl1.sql
…
如果要恢复数据,可以这样
shell>mysqlimport -l db /path/to/dir/tbl1.txt
…
如果是在Unix平台下使用(推荐),就更方便了:
shell>ls -l *.sql | mysql db
shell>mysqlimport --lock-tables db /path/to/dir/*.txt
5.3.4 用直接拷贝的方法备份恢复
根据本章前两节的介绍,由于MySQL的数据库和表是直接通过目录和表文件实现的,因此直接复制文件来备份数据库数据,对MySQL来说特别方便。而且自MySQL 3.23起MyISAM表成为缺省的表的类型,这种表可以为在不同的硬件体系中共享数据提供了保证。
使用直接拷贝的方法备份时,尤其要注意表没有被使用,你应该首先对表进行读锁定。
备份一个表,需要三个文件:
对于MyISAM表:
tbl_name.frm 表的描述文件
tbl_name.MYD 表的数据文件
tbl_name.MYI 表的索引文件
对于ISAM表:
tbl_name.frm 表的描述文件
tbl_name.ISD 表的数据文件
tbl_name.ISM 表的索引文件
你直接拷贝文件从一个数据库服务器到另一个服务器,对于MyISAM表,你可以从运行在不同硬件系统的服务器之间复制文件,例如,SUN服务器和INTEL PC机之间。
5.3.5 总结
本节介绍了备份恢复数据库的多种方法,读者可以根据需要选用,对于文中涉及到的SQL语句、工具主要有:
1、 SELECT…INTO OUTFILE和LOAD DATA INFILE
2、 mysqldump
3、 mysqlimport
对于这些内容,读者需要注重掌握的是mysqldump实用程序的使用,以及mysql批处理模式运行包含SQL语句的文件的方法。这在备份和恢复数据库表中非常常用。另外要注意的是直接拷贝的方法。
5.4 使用更新日志文件
你不可能随时备份数据,但你的数据丢失时,或者数据库目录中的文件损坏时,
你只能恢复已经备份的文件,而在这之后的插入或更新的数据,就无能为力了。解决这个问题,就必须使用更新日志。更新日志可以实时记录更新、插入和删除记录的SQL语句。
5.4.1 启用日志
当以--log-update=file_name选项启动时,mysqld将所有更新数据的SQL命令写入记录文件中。文件被写入数据目录并且有一个名字file_name.#,这里#是一个数字,它在每次执行mysqladmin refresh或mysqladmin flush-logs、FLUSH LOGS语句、或重启服务器时加1。
如果你不指定file_name,缺省使用服务器的主机名。
如果你在文件命中指定扩展名,那么更新日志不再使用顺序文件,使用指定的文件。但是当你它在每次执行mysqladmin refresh或mysqladmin flush-logs、FLUSH LOGS语句、或重启服务器时日志文件被清空。
更新记录很聪明,因为它仅仅记载真正更新数据的语句。因此一个用WHERE的UPDATE或DELETE找不到行,它就不被写入记录文件。它甚至跳过将设置一个列为它已经有的值的UPDATE语句。
5.4.2 重写日志
必须着重指出的是,在下列情况之一,将使用新的日志文件——日志文件的顺序自动增加(未指定file_name或者指定的file_name不包括扩展名)或者清空文件(指定的file_name包括扩展名):
l 命令mysqladmin refresh
l 命令mysqladmin flush-logs
l SQL语句FLUSH LOGS
l 服务器重新启动
5.4.3 恢复日志内容
对于所有的更新日志文件,你都可以把它指定为mysql客户机的输入,来执行其中的SQL语句,恢复数据。例如:
shell>mysql <hostname.nnn
但是,你可能因为执行DROP DATABASE误删除了,希望只恢复该数据库的内容,为了这个目的,你可以使用--one-database选项:
shell>mysql --one-database db_name < hostname.nnn
如果你要批量恢复更新日志的数据,在Unix中可以这样:
$ ls –t –r –l hostname.[0-9]* | xargs cat | mysql --one-database db_name
注意由于文件是按时间时间排序的,如果你修改的其中的任何文件,都会因为顺序的错误导致可能导入错误的数据。
如果按文件顺序恢复数据,就去掉-t和-r选项:
$ ls -l hostname.[0-9]* | xargs cat | mysql --one-database db_name
5.4.4 总结
本节介绍了有关日志文件尤其是更新日志的操作。需要注意的是如何启用更新日志、服务器重写日志的时机、以及如何恢复更新日志的内容。尤其是其中的各种技巧,例如如何按照日志文件生成的时间顺序恢复日志,如何只恢复指定数据库的内容。
5.5 使用MySQL内建复制功能
MySQL内部复制功能是建立在两个或两个以上服务器之间,通过设定它们之间的主-从关系来实现的。其中一个作为主服务器,其它的作为从服务器。本节将详细讨论如何配置两台服务器,将一个设为主服务器,另一个设为从服务器。并且描述一下在它们之间进行切换的处理过程。本节是在MySQL的3.23.25版本上进行的配置设置过程,并且也是在这个版本上进行的测试。MySQL开发人员建议最好使用最新版本,并且主-从服务器均使用相同的版本。同时MySQL 3.23版本仍然是beta测试版,而且这个版本可能不能向下兼容。
5.5.1 配置主服务器
我们将指定两台服务器。A(IP为192.168.0.1)作为主服务器(简称为主机)。B(IP为192.168.0.2)作为从服务器(简称为从机)。
1、建立用于备份的帐号
MySQL的复制功能的实现过程为:从机(B)与主机(A)连接,然后读出主机的二进制更新日志,再将发生的变化合并到自已的数据库中。从机需要一个用户帐号来与主机连接,所以在主机上创建一个帐号,并只给它FILE权限,如下操作:
mysql>GRANT FILE ON *.* TO replicate@192.168.0.2 IDENTIFIED BY \'password\';
有关授权的知识将在第七章介绍
为了从机能够与主机连接,要在主机上运行\'FLUSH PRIVILEGES\':
mysql> \'FLUSH PRIVILEGES;
不过不要担心,因为我们将在下面的步骤中停掉服务器。
2、修改选项文件
现在我们需要主机数据库的一个快照,并且对主机进行配置,允许生成二进制的更新日志。首先编辑\'my.cnf\'文件,以便允许二进制更新日志,所以在[mysqld]部分的下面某个地方增加一行:\'log-bin\'。在下一次服务器启动时,主机将生成二进制更新日志(名为:<主机名>-bin.<增量序号#>)。
[mysqld]
… …
log-bin
为了让二进制更新日志有效,关闭MySQL服务程序,然后将主机上的所有数据库目录到另一个目录中,接着重新启动mysqld。
3得到服务器数据库的一个快照
请确定得到了所有数据库,否则在进行复制时,如果一个表在主机上存在但在从机上不存在,将因为出错而退出。现在你已经得到了数据的快照,和一个从建立快照以来的二进制日志,上面记录着任何对数据库的修改。
请注意MySQL数据文件(*.MYD,*.MYI和*.frm)是不依赖于文件系统的,但是ISAM表的数据文件是依赖系统的,但是MySQL3.23以上均采用MyISAM表。所以你可以仅仅进行文件传输,如从Solaris到Linux。只有你处于一个异种的服务器环境,并且仅仅复制不能共享数据表文件时,你将不得不使用mysqldump实用程序或其它的定制脚本来得到数据快照,但是这种可能性还是很小的。
5.5.2 配置从服务器
1、迁移主机的数据库目录
停掉从机上的MySQL服务程序,并且把从主机上拷贝来的数据库目录移到从机上的data目录下。请确认将目录的拥有者和属组改变为MySQL用户相应值,并且修改文件模式为660(只对拥有者和属组可读、可写),目录本身为770(只对拥有者和属组可读、可写和可执行)。
在从机上启动MySQL服务程序,确认MySQL工作正常。运行几个select查询(不要update或insert查询),看一看在第一步中得到的数据快照是否成功。接着,在测试成功后关掉MySQL服务程序。
2、修改选项文件
在从机上配置需要访问的主机,以便接收主机的更改。所以需要编辑务机上的\'my.cnf\'文件,在[mysqld]部分中增加下面几行:
master-host=192.168.0.1
master-user=replicate
master-password=password
在启动从机服务程序后,从机服务程序将查看在\'my.cnf\'文件中所指定的主机,查看是否有改变,并且将这些改变合并到自已的数据库中。从机保持了主机的更新记录,这些记录是从主机的\'master.info\'文件中接收下来的。从机线程的状态可以通过sql命令\'SHOW SLAVE-STATUS\'看到。在从机上处理二进制日志中如果发生错误,都将导致从机线程的退出,并且在*.err的日志文件中生成一条信息。然后错误可以被改正,接着可以使用sql语句\'SLAVE START\'来重新启动从机线程。线程将从主机二进制日志处理中断的地方继续处理。
至此,在主机上所发生的数据改变应该已经复制到从机上了,要测试它,你可以在主机上插入或更新一条记录,而在从机上选择这条记录。
现在我们拥有了从A机到B机的这种主-从关系,这样当A机可能当机的时候,允许我们将所有的查询重定向到B机上去,但是当A机恢复时,我们没有办法将发生的改变恢复到A机中去。为了解决这个问题,我们创建从B机到A机的主-从关系。
5.5.3 创建相互的主从关系
1、从机的配置
首先在B机上的my.cnf文件中,在[mysqld]部分中加入\'log-bin\',接着重新启动mysqld,然后创建可在它的上面执行复制功能的用户帐号,使用:
GRANT FILE ON *.* TO replicate@192.168.0.1 IDENTIFIED BY \'password\';
在B机上运行\'FLUSH PRIVILEGES\'命令,以便装入在加入复制用户后的新的授权表。
2、主机的配置
接着回到A机上,在它的\'my.cnf\'中加入下面几行:
master-host=192.168.0.2
master-user=replicate
master-password=password
在重启A机的服务程序之后,现在我们一拥有了在A机与B机之间的相互主-从关系。不管在哪个服务器上更新一条记录或插入一条记录,都将被复制到另一台服务器上。要注意的是:我不敢确定一个从机合并二进制日志变化的速度有多快,所以用这种方法来进行插入或更新语句的负载平衡可能不是一个好办法。
5.5.4 总结
首先,要确定得到了一个完整的数据快照。如果忘记拷贝一个表或数据库将导致从机线程序停止。生成快照的时刻是很关健的。你应该确保在拷贝数据文件之前二进制日志功能是无效的。如果在得到快照之前就允许了二进制日志功能,从机的线程可能会停止,原因就是当线程试图导入重要的记录时,可能会由于主键重复而停止。最好就是接照第二部分所讨论的处理办法来做:关闭-拷贝-允许二进制日志功能重启。
你可能想要按照最初的一种方式来配制复制处理,并且在合适的时间关注从机,确保从机与主机保持同步。
5.5 总结:备份恢复数据的一般步骤
在上面的各节中详细叙述了备份和恢复数据的方方面面,读者可能还是对整个过程没有一个明确的认识,在这一节中,笔者将作一个简单的总结,是读者能够把握备份和恢复数据的一般过程。
下面是备份一个数据库的例子:
1、备份前读锁定涉及的表
mysql>LOCK TABLES tbl1 READ,tbl1 READ,…
如果,你在mysqldump实用程序中使用--lock-tables选项则不必使用如上SQL语句。
2、导出数据库中表的结构和数据
shell>mysqldump --opt db_name>db_name.sql
3、启用新的更新日志
shell>mysqladmin flush-logs
这样可以记录你备份后的数据改变为恢复数据准备。
4、解除表的读锁
mysql>UNLOCK TABLES;
为了加速上述过程,你可以这样做:
shell> mysqldump --lock-tables --opt db_name>db_name.sql; mysqladmin flush-logs
但是这样可能会有点小问题。上命令在启用新的更新日志前就恢复表的读锁,
在更新繁忙的站点,可能有备份后的更新数据没有记录在新的日志中。
现在恢复上面备份的数据库
1、对涉及的表使用写锁
mysql>LOCK TABLES tbl1 WRITE,tbl1 WRITE,…
2、恢复备份的数据
shell>mysql db_name < db_name.sql
3、恢复更新日志的内容
shell>mysql --one-database db_name < hostname.nnn
假设需要使用的日志名字为hostname.nnn
4、启用新的更新日志
shell>mysqladmin flush-logs
5、解除表的写锁
mysql>UNLOCK TABLES;
希望上面的例子能给你启发,因为备份数据的手法多种多样,你所使用的和上面所述可能大不一样,但是对于备份和恢复中,表的锁定、启用新的更新日志的时机应该是类似的,仔细考虑这个问题。
思考题
请在完成这些思考题之前,启用常规日志和更新日志,因为下面的思考题将涉及到这个问题。
1、 使用带有带有--all-databases选项的mysqldump实用程序,备份你现有的所有数据到一个文件all.sql中(如果你的数据不太多的话),查看输出的SQL语句。
2、 使用带有--ab选项的mysqldump,把你的test数据库中的表结构和数据分别备份到一个目录中。检查一下生成的SQL语句与上题中备份文件中的有什么不同。
3、 建立一个新的数据库test1,把上题的备份文件恢复到该数据库中。请简述一下过程。
4、 查看你的更新日志和常规日志,看看上述操作是否都留下了记录以及留下了什么记录。
5、 先在test数据库中的任意一个表中INSERT一个记录,然后在删除这个记录。(目的是在更新日志中留下记录。)删除数据库test1,试试如何从更新日志恢复test1数据库。