使用 LOAD DATA INFILE 导入 MySQL 表时如何跳过 CSV 文件中的列？

Question

我有一个包含 11 列的 CSV 文件，还有一个包含 9 列的 MySQL 表。

CSV 文件如下所示：

col1, col2, col3, col4, col5, col6, col7, col8, col9, col10, col11

MySQL 表如下所示：

col1, col2, col3, col4, col5, col6, col7, col8, col9

我需要将 CSV 文件的第 1-8 列直接映射到 MySQL 表的前 8 列。然后，我需要跳过 CSV 文件中的接下来两列，然后将 CSV 文件的第 11 列映射到 MySQL 表的第 9 列。

目前我正在使用以下 SQL 命令：

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table
FIELDS TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\n'

但是上面的代码将 CSV 文件的前 9 列映射到 MySQL 表中的 9 列。

Answer 1

来自Mysql文档：

您还可以通过以下方式丢弃输入值 将其分配给用户变量并 不将变量分配给表 栏目：

LOAD DATA INFILE 'file.txt'  
INTO TABLE t1 (column1, @dummy, column2, @dummy, column3);

Answer 2

第1步.处理awk。

cat file.txt |awk -F',' '{print $1","$2","$5...}'>new_file.txt

step2.加载到mysql中。

load data local infile 'new_file' into table t1(...)

下面的方法很简单，但是低版本的mysql不允许。

LOAD DATA INFILE 'file.txt'  
INTO TABLE t1 (column1, @dummy, column2, @dummy, column3);

Answer 3

@deemi:

忽略

@dummy

的唯一方法是将字段的默认值设置为

AUTO INCREMENT

。 所以你可以跳过该字段并像这样编码，

LOAD DATA INFILE 'file.txt'  
INTO TABLE t1 (column2, column3, column4, column5);

//假设字段名称

column1

默认设置为

AUTO INCREMENT

。

Answer 4

我认为代码中还有一处变化：

以下 SQL 命令：

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table
FIELDS TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\n'

-可能会导致数据截断错误。

所以最好使用

LINES TERMINATED BY '\r\n'

而不是

LINES TERMINATED BY '\n'

所以代码将是：

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table
FIELDS TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\r\n'