load data infile的用法

2020-08-11 14:05:05 阅读：223 来源： 互联网

简单来两个例子

创建要插入的表

use database bastion;

create table tmp(
id int,
data varchar(40)
);

插入data2.txt的数据，默认字段分隔符为tab字符

load data infile '/tmp/data2.txt' into table tmp;

插入data.txt的数据，分割符为“,”

load data infile '/tmp/data.txt' into table tmp fields terminated by ',';

data2.txt

1       test1
2       test2
3       test3

data.txt

4,test4
5,test5
6,test6

--------------------------------------------------------------------------------------------------------------------------

下面为基础知识

有时需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用mysql load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。

LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必须是一个文字字符串

1、首先查询，Mysql服务是否正在运行，且local_infile功能是否开启
netstat -tulpn|grep mysql
mysql -uroot -p -e "show variables like '%infile%';"

可在配置文件中永久开启或设置变量临时开启或使用mysql程序使用响应选项

2、当读取位于服务器上的文本文件时，文本文件必须处于数据库目录或可被mysql用户读取或可被所有人读取

基本语法：
load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name
[fields
[terminated by '\t'] 　　　　　　　　　　　　　　 #字段的分隔符（即指定文本文件中列之间的分隔符）,默认情况下是一个tab字符（\t）
[OPTIONALLY] enclosed by ''] 　　　　　　　　 #字段括起字符，即字段的引用字符
[escaped by'\' ]　　　　　　　　　　　　　　　 #转义字符，默认的是反斜杠（backslash\）
]

[lines
[terminated by '\n'] 　　　　　　　　　　　　　 #每条记录的分隔符，默认为'\n'即为换行符
[ignore number lines]
[(col_name, )]
]

1 如果你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。
可以使用如下的命令：
load data low_priority infile "/home/mark/data.sql" into table test.Orders; 　　　　　　　　 #test是库名，Orders是表名

2 如果指定local关键词，则表明从其他客户主机读文件；如果local没指定，文件必须位于mysql服务器上（当从本机读取文件时也可以带上local关键词）

3 replace和ignore关键词控制对现有的唯一键记录的重复的处理：

· 如果你指定replace，新行将代替有相同的唯一键值的现有行（文本文件中的记录将会覆盖当前表中的同名记录）。
· 如果你指定ignore，跳过有唯一键的现有行的重复行的输入（文本文件中的记录将会被忽略，不会覆盖当前表中的同名记录）。
· 如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。

例如：
load data low_priority infile "/home/mark/data sql" replace into table test.Orders;

4 分隔符
（1） fields关键字指定了文本文件中字段的分割格式，如果使用这个关键字，MySQL剖析器希望看到至少有下面的一个选项：

terminated by 字段的分隔符,默认情况下是一个tab字符（\t）
enclosed by 字段括起字符,即字段的引用字符
escaped by 转义字符，默认的是反斜杠（backslash：\ ）

例如：load data infile "/home/mark/Orders txt" replace into table test.Orders fields terminated by',' enclosed by '"';

（2）lines 关键字指定了每条记录的分隔符，默认为'\n'即为换行符

如果两个字段都指定了那fields必须在lines之前。
如果不指定fields关键字，则默认使用： fields terminated by'\t' enclosed by'"' escaped by'\'
如果不指定一个lines子句，则moren默认使用： lines terminated by'\n'

例如：
load data infile "/jiaoben/load.txt" replace into table test.Orders fields terminated by ',' lines terminated by '/n';

5 load data infile 可以按指定的列把文件导入到数据库中（即只导入文本文件中的某些列而不是全部），当我们要把数据的一部分内容导入的时候，需要加入一些栏目（列/字段/field）到MySQL数据库中，以适应一些额外的需要。
比方说，我们要从Access数据库升级到MySQL数据库的时候

下面的例子显示了如何向表中指定的字段(field)中导入数据：
load data infile "/home/Order txt" into table test.Orders(Order_Number, Order_Date, Customer_ID);

6 当在mysql服务器主机上寻找文件时，服务器使用下列规则：
（1）如果给出一个绝对路径名，服务器使用该路径名。
（2）如果给出一个有一个或多个前置部件的相对路径名，服务器相对服务器的数据目录搜索文件。
（3）如果给出一个没有前置部件的一个文件名，服务器在当前数据库的数据库目录寻找文件。
例如： /myfile txt”给出的文件是从服务器的数据目录读取，而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。

注意：文本文件中字段中的空值用\N表示

可能会遇到的问题：

1.local_infile OFF问题

mysql> show variables like 'local_infile';  
+---------------+-------+  
| Variable_name | Value |  
+---------------+-------+  
| local_infile  | OFF   |  
+---------------+-------+  
1 row in set (0.00 sec)  
  
mysql> load data local infile 'D:\\ATMP\\mysql_repl\\5.6_local\\data.txt' into table test.t fields terminated by ',' OPTIONALLY ENCLOSED BY '\'' lines terminated by '\r\n';  
ERROR 1148 (42000): The used command is not allowed with this MySQL version  
mysql> set global local_infile=ON;  
Query OK, 0 rows affected (0.00 sec)

2.secure-file-priv 选项禁止导入导出问题

MYSQL导入CSV格式文件数据执行提示错误（ERROR 1290）：

The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.

【1】分析原因

其实原因很简单，因为在安装MySQL的时候限制了导入与导出的目录权限。只允许在规定的目录下才能导入。

可以通过以下命令查看secure-file-priv当前的值是什么

SHOW VARIABLES LIKE "secure_file_priv";

结果：

可以看到，本地value的值为NULL。NULL代表什么意思呢？经查资料：

（1）NULL，表示禁止。

（2）如果value值有文件夹目录，则表示只允许该目录下文件（PS：测试子目录也不行）。

（3）如果为空，则表示不限制目录。

【2】解决方案

问题原因找到了，解决方案因业务需求而定。

（1）方案一：

把导入文件放入secure-file-priv目前的value值对应路径即可。

（2）方案二：

把secure-file-priv的value值修改为准备导入文件的放置路径。

（3）方案三：修改配置

去掉导入的目录限制。可修改mysql配置文件（Windows下为my.ini, Linux下的my.cnf），在[mysqld]下面，查看是否有：

secure_file_priv =

如上这样一行内容，如果没有，则手动添加。如果存在如下行：

secure_file_priv = /home

这样一行内容，表示限制为/home文件夹。而如下行：

secure_file_priv =

这样一行内容，表示不限制目录，等号一定要有，否则mysql无法启动。

修改完配置文件后，重启mysql生效。

重启后：

关闭：service mysqld stop

启动：service mysqld start

再查询结果：

经验证，导入文件正常。

Good Good Study, Day Day Up.

顺序选择循环总结

3.No database selected最常见的问题，没有选择数据库

--------------------------------------------------------------------------------------------------------------------------

参考文章：

基础知识：https://www.cnblogs.com/wyzhou/p/9765977.html

secure-file-priv问题：https://www.cnblogs.com/Braveliu/p/10728162.html

local_infile OFF问题：https://blog.csdn.net/mingjinlai/article/details/52797822

标签：load,data,mysql,txt,local,infile
来源： https://www.cnblogs.com/soymilk2019/p/13475156.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

load data infile的用法

可能会遇到的问题：