网站建设资讯

NEWS

网站建设资讯

mysql数据迁移怎么搞,mysql上亿数据如何快速迁移

mysql5.1的数据库如何迁移至mysql5.7?

安全的办法是在旧环境导出表数、在新环境建立数据库后导入表,可以使用SQL或者TXT为中间文件。

在云霄等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站设计、网站制作 网站设计制作定制网站开发,公司网站建设,企业网站建设,高端网站设计,成都全网营销,外贸网站建设,云霄网站建设费用合理。

MySQL8数据迁移大表捷径【表空间迁移】

0. 目标端必须有同名表,没有则建一个空表;

####################################

1、 源端文件准备

源端: 

flush tables t for export; 

复制 

t.ibd, t.cfg到目标端。 

###############################

flush tables tt7   for export; 

cp  tt7*   ../ops

2、 目标端存在同样的表则丢弃原来的数据文件

目标端: 

alter table tt7  discard tablespace;

3、 目标端加载新的数据文件 t.ibd

alter table tt7 import tablespace; 

4、源端释放锁

源端: 

unlock tables; 

过程中主要异常处理:

#####################################################

SELECT  * FROM   ops2.tt7    ;

SELECT  * FROM   ops.tt7    ;

import tablespace报错:

mysql alter table tt7 import tablespace; 

ERROR 1812 (HY000): Tablespace is missing for table ops.tt7.

确认再相应的目录存在两个文件

确认属主和权限

#####################################################

过程

[root@qaserver120 ops]# ll

total 80

drwxr-xr-x 2 root  root      36 Dec  2 21:42 000

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

[root@qaserver120 ops]# 

[root@qaserver120 ops]# 

[root@qaserver120 ops]# 

[root@qaserver120 ops]# cp 000

[root@qaserver120 ops]# ll

drwxr-xr-x 2 root  root      36 Dec  2 21:42 000

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r----- 1 root  root     627 Dec  2 21:45 tt7.cfg

-rw-r----- 1 root  root  114688 Dec  2 21:45 tt7.ibd

[root@qaserver120 ops]# chown mysql.mysql tt7*

[root@qaserver120 ops]# 

[root@qaserver120 ops]# ll

drwxr-xr-x 2 root  root      36 Dec  2 21:42 000

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r----- 1 mysql mysql    627 Dec  2 21:45 tt7.cfg

-rw-r----- 1 mysql mysql 114688 Dec  2 21:46 tt7.ibd

[root@qaserver120 ops]# 

#####################################################

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

| tt7           |

+---------------+

2 rows in set (0.00 sec)

mysql select * from tt7;

ERROR 1814 (HY000): Tablespace has been discarded for table 'tt7'

mysql alter table tt7 import tablespace; 

ERROR 1812 (HY000): Tablespace is missing for table ops.tt7.

mysql 

mysql alter table tt7 import tablespace;

Query OK, 0 rows affected (0.08 sec)

mysql 

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql

###############################################

################################################

mysql mysql show tables;

+----------------+

| Tables_in_ops2 |

+----------------+

| tt2            |

| tt3            |

| tt7            |

+----------------+

3 rows in set (0.00 sec)

mysql 

mysql use ops

Database changed

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

+---------------+

1 row in set (0.00 sec)

mysql 

mysql use ops2;

Database changed

mysql select * from tt7;

+--------+------+

| x      | y    |

+--------+------+

| BBBBBB | NULL |

+--------+------+

1 row in set (0.00 sec)

mysql 

mysql 

mysql insert into tt7 select * from tt3;

Query OK, 3 rows affected (0.00 sec)

Records: 3  Duplicates: 0  Warnings: 0

mysql insert into tt7 select * from tt3;

Query OK, 3 rows affected (0.00 sec)

Records: 3  Duplicates: 0  Warnings: 0

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql 

mysql commit;

Query OK, 0 rows affected (0.00 sec)

mysql 

mysql exit

Bye

[root@qaserver120 pkg]# cd /data/mysql/ops2

[root@qaserver120 ops2]# ll

total 240

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt3.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:36 tt7.ibd

[root@qaserver120 ops2]# 

[root@qaserver120 ops2]# 

[root@qaserver120 ops2]# 

[root@qaserver120 ops2]# mysql -u'root'  -p'fgxkB9;Zq40^MFQUi$PJ'        -A

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 56

Server version: 8.0.18 MySQL Community Server - GPL

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql use ops2

Database changed

mysql 

mysql flush tables tt7   for export; 

Query OK, 0 rows affected (0.00 sec)

mysql show tables;

+----------------+

| Tables_in_ops2 |

+----------------+

| tt2            |

| tt3            |

| tt7            |

+----------------+

3 rows in set (0.01 sec)

mysql exit

Bye

[root@qaserver120 ops2]# ll

total 240

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt3.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:36 tt7.ibd

[root@qaserver120 ops2]# ll

total 240

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt3.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:36 tt7.ibd

[root@qaserver120 ops2]# pwd

/data/mysql/ops2

[root@qaserver120 ops2]# cd  cd /data/mysql 

-bash: cd: cd: No such file or directory

[root@qaserver120 ops2]#  cd /data/mysql/ops2

[root@qaserver120 ops2]# ll

total 240

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:17 tt3.ibd

-rw-r----- 1 mysql mysql 114688 Dec  2 21:36 tt7.ibd

[root@qaserver120 ops2]# ll -al

total 244

drwxr-x---  2 mysql mysql     51 Dec  2 21:38 .

drwxr-xr-x 12 mysql mysql   4096 Dec  2 21:17 ..

-rw-r-----  1 mysql mysql 114688 Dec  2 21:17 tt2.ibd

-rw-r-----  1 mysql mysql 114688 Dec  2 21:17 tt3.ibd

-rw-r-----  1 mysql mysql 114688 Dec  2 21:36 tt7.ibd

[root@qaserver120 ops2]# pwd

/data/mysql/ops2

[root@qaserver120 ops2]# mysql -u'root'  -p'fgxkB9;Zq40^MFQUi$PJ'        -A

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 57

Server version: 8.0.18 MySQL Community Server - GPL

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql use ops2

Database changed

mysql show tables;

+----------------+

| Tables_in_ops2 |

+----------------+

| tt2            |

| tt3            |

| tt7            |

+----------------+

3 rows in set (0.00 sec)

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql flush tables tt7   for export; 

Query OK, 0 rows affected (0.00 sec)

mysql use ops

Database changed

mysql ll

- ;

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'll' at line 1

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

+---------------+

1 row in set (0.00 sec)

mysql 

mysql 

mysql alter table tt7 import tablespace; 

ERROR 1100 (HY000): Table 'tt7' was not locked with LOCK TABLES

mysql 

mysql 

mysql use ops2

Database changed

mysql show tables;

+----------------+

| Tables_in_ops2 |

+----------------+

| tt2            |

| tt3            |

| tt7            |

+----------------+

3 rows in set (0.00 sec)

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql unlock tables;

Query OK, 0 rows affected (0.00 sec)

mysql show create table  tt7;

+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table                                                                                                                                                                                         |

+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| tt7   | CREATE TABLE `tt7` (

`x` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_as_cs DEFAULT NULL,

`y` int(11) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_as_cs |

+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

1 row in set (0.00 sec)

mysql use ops

Database changed

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

+---------------+

1 row in set (0.01 sec)

mysql  CREATE TABLE `tt7` (

-   `x` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_as_cs DEFAULT NULL,

-   `y` int(11) DEFAULT NULL

- ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_as_cs ;

Query OK, 0 rows affected, 1 warning (0.02 sec)

mysql 

mysql 

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

| tt7           |

+---------------+

2 rows in set (0.00 sec)

mysql select * from tt7;

Empty set (0.00 sec)

mysql 

mysql alter table tt7  discard tablesapce; 

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'tablesapce' at line 1

mysql alter table tt7  discard tablespace;

Query OK, 0 rows affected (0.03 sec)

mysql 

mysql 

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

| tt7           |

+---------------+

2 rows in set (0.00 sec)

mysql select * from tt7;

ERROR 1814 (HY000): Tablespace has been discarded for table 'tt7'

mysql 

mysql 

mysql 

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

| tt7           |

+---------------+

2 rows in set (0.00 sec)

mysql select * from tt7;

ERROR 1814 (HY000): Tablespace has been discarded for table 'tt7'

mysql 

mysql 

mysql alter table tt7 import tablespace; 

ERROR 1812 (HY000): Tablespace is missing for table `ops`.`tt7`.

mysql 

mysql 

mysql 

mysql alter table tt7 import tablespace;

Query OK, 0 rows affected (0.08 sec)

mysql 

mysql 

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql SELECT  * FROM   ops2.tt7    ;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql SELECT  * FROM   ops.tt7    ;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql 

mysql 

mysql 

mysql unlock tables; 

Query OK, 0 rows affected (0.00 sec)

mysql unlock tables; 

Query OK, 0 rows affected (0.00 sec)

mysql use ops

Database changed

mysql show tables;

+---------------+

| Tables_in_ops |

+---------------+

| tt2           |

| tt7           |

+---------------+

2 rows in set (0.00 sec)

mysql 

mysql 

mysql 

mysql use ops2;

Database changed

mysql 

mysql 

mysql show tables;

+----------------+

| Tables_in_ops2 |

+----------------+

| tt2            |

| tt3            |

| tt7            |

+----------------+

3 rows in set (0.01 sec)

mysql 

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

mysql 

mysql use ops;

Database changed

mysql 

mysql 

mysql select * from tt7;

+--------------+------+

| x            | y    |

+--------------+------+

| BBBBBB       | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

| AAAAAA       | NULL |

| BBBBBB       | NULL |

| 555555555555 | NULL |

+--------------+------+

7 rows in set (0.00 sec)

MySQL 数据文件迁移至新硬盘

[mysqld]

# * Basic Settings

user            = mysql

pid-file        = /var/run/mysqld/mysqld.pid

socket          = /var/run/mysqld/mysqld.sock

port            = 3306

basedir        = /usr

datadir        = /data/c/mysql 修改

#datadir        =/var/lib/mysql

这个原因有二,其中任意的一个原因都会造成你被系统告知这个warning。如果你不是一个专业的linux系统安全工程师,或者你只是个PHP程序员,并没有对系统安全有深入的研究,你就不会太容易找到它的答案。

第一,selinux,记得当年念书时,字符界面安装redhat(很古老的操作系统么。。。)的时候,有这么一个选项,通常大家都听取前辈的建议,改变默认值以不安装它。但如果你恰好要操作的这台机器开着selinux,它确实能够使你的mysql无法在新目标位置进行mysql_install_db的操作,并爆出标题所示的警告。一个简单的解决办法是使用命令暂时关闭selinux,以便让你的操作可以继续下去 setenforce 0 但最好使用一个永久方法,以便在重启后继续不要这货。 修改/etc/selinux/config文件中设置SELINUX=disabled ,然后重启或等待下次重启。

第二,apparmor,这个坑爹货和selinux一样的坑爹,它也对mysql所能使用的目录权限做了限制 在 /etc/apparmor.d/usr.sbin.mysqld 这个文件中,有这两行,规定了mysql使用的数据文件路径权限

/var/lib/mysql/ r, /var/lib/mysql/** rwk,

你一定看到了,/var/lib/mysql/就是之前mysql安装的数据文件默认路径,apparmor控制这里mysqld可以使用的目录的权限 我想把数据文件移动到/data/mysql下,那么为了使mysqld可以使用/data/mysql这个目录,照上面那两条,增加下面这两条就可以了

/data/mysql/ r, /data/mysql/** rwk,

/var/lib/mysql/ r,

/var/lib/mysql/** rwk,

/datc/c/mysql/ r,

/data/c/mysql/** rwk,

/var/lib/mysql-files/ r,

/var/lib/mysql-files/** rwk,

/data/c/mysql-files/ r,

/data/c/mysql-files/** rwk,

/var/lib/mysql-keyring/ r,

/var/lib/mysql-keyring/** rwk,

/data/c/mysql-keyring/ r,

/data/c/mysql-keyring/** rwk,

apparmor,/etc/inid.d/apparmor restart////////////     /etc/init.d/apparmor restart

如何迁移MySQL数据库

MySQL数据库迁移

MySQL数据库迁移(数据文件直接迁移)

在今年10月下旬的时候,公司的服务器需要迁移,其中涉及到了MySQL数据库迁移。查看了一下MySQL数据文件的大小,接近60G的大小(实际数据并没用那么多)。由于服务器上业务需要,要尽量减少服务器迁移时的损失。所以迁移时间选在了晚上零点开始,而且要尽量减少迁移所用的时间。

在迁移之前有三种方案:

数据库直接导出,拷贝文件到新服务器,在新服务器上导入。

使用【MySQL

GUI

Tools】中的

MySQLMigrationTool。

数据文件和库表结构文件直接拷贝到新服务器,挂载到同样配置的MySQL服务下。

我在我的电脑上用虚拟机测试后,选中了占用时间最少的第三种方案。下面是三种方案的对比:

第一种方案的优点:会重建数据文件,减少数据文件的占用空间。

第一种方案的缺点:时间占用长。(导入导出都需要很长的时间,并且导出后的文件还要经过网络传输,也要占用一定的时间。)

第二种方案的优点:设置完成后传输无人值守

第二种方案的缺点:

设置繁琐。

传输中网络出现异常,不能及时的被发现,并且会一直停留在数据传输的状态不能被停止,如不仔细观察不会被发现异常。

传输相对其他fang时间长。

异常后很难从异常的位置继续传输。

第三种方案的优点:时间占用短,文件可断点传输。操作步骤少。(绝大部分时间都是在文件的网络传输)

第三种方案的缺点:可能引起未知问题,暂时未发现。

下面介绍一下第三种方案d迁移步骤:

保证Mysql版本一致,安装配置基本一致(注意:这里的数据文件和库表结构文件都指定在同一目录data下)

停止两边的Mysql服务(A服务器--迁移--B服务器)

删除B服务器Mysql的data目录下所有文件

拷贝A服务器Mysql的data目录下除了ib_logfile和.err之外的文件到B服务器data下

启动B服务器的Mysql服务,检测是否发生异常

迁移完成后,服务启动正常,未发现其他异常问题。

备注:经测试,源mysql的安装目录及数据文件目录

可以与

目标Mysql的安装目录及数据文件目录

不一致。

此时,只需要拷贝您所需移动的dbname(如上:pa、testdb)及'mysql'和'ibdata1',即可。

急:我的MYSQL数据库装在C盘的,怎么移到D盘啊?

1、首先在桌面上双击打开“此电脑”软件。

2、然后在打开的此电脑页面中,找到并双击打开C盘。

3、选中需要移动的文件,再右击选中的文件,从弹出的快捷菜单中选择“剪切”命令。

4、在窗口中双击打开D盘或E盘。

5、最后鼠标右击窗口空白处,从弹出的快捷菜单中选择“粘贴”命令即可。


当前题目:mysql数据迁移怎么搞,mysql上亿数据如何快速迁移
网页链接:http://cdweb.net/article/dssjcde.html