我在LINUX服务器上存储了CSV文件(大约10,000行;每行有300列)。我想将这个CSV文件分成500个CSV文件,每个文件有20条记录。 (每个都具有与原始CSV中相同的CSV标题)
是否有任何linux命令来帮助这种转换?
把它变成一个功能。你现在可以打电话给splitCsv <Filename> [chunkSize]
splitCsv() {
HEADER=$(head -1 $1)
if [ -n "$2" ]; then
CHUNK=$2
else
CHUNK=1000
fi
tail -n +2 $1 | split -l $CHUNK - $1_split_
for i in $1_split_*; do
echo -e "$HEADER\n$(cat $i)" > $i
done
}
发现于:http://edmondscommerce.github.io/linux/linux-split-file-eg-csv-and-keep-header-row.html
使用Linux split命令:
split -l 20 file.txt new
将文件“file.txt”拆分为以“new”开头的文件,每个文件包含20行文本。
在Unix提示符下键入man split
以获取更多信息。但是,您必须先从file.txt中删除标题(例如,使用tail
命令),然后将其重新添加到每个拆分文件中。
这应该为你做 - 你的所有文件最终将被称为Part1-Part500。
#!/bin/bash
FILENAME=10000.csv
HDR=$(head -1 $FILENAME) # Pick up CSV header line to apply to each file
split -l 20 $FILENAME xyz # Split the file into chunks of 20 lines each
n=1
for f in xyz* # Go through all newly created chunks
do
echo $HDR > Part${n} # Write out header to new file called "Part(n)"
cat $f >> Part${n} # Add in the 20 lines from the "split" command
rm $f # Remove temporary file
((n++)) # Increment name of output part
done
这应该工作!!!
file_name
=您要拆分的文件的名称。
10000
=每个拆分文件包含的行数
file_part_
=拆分文件名的前缀(file_part_0,file_part_1,file_part_2..etc继续)
split -d -l 10000 file_name.csv file_part_