需要一个 shell 脚本来将逗号分隔符更改为竖线分隔符

Question

我的输入看起来像

"$130.00","$2,200.00","$1,230.63"

等等 我的问题是如何将逗号分隔符更改为 |定界符而不去掉实际输入中的逗号。 只是为了澄清这个输入是在一个有 40 列和 9500 行的 csv 文件中。 我希望我的输出看起来像

"$130.00"|"$2,200.00"|"$1,230.63"

Answer 1

为了可靠地做到这一点，您必须使用状态来跟踪您是否在字符串中。以下 perl 脚本应该可以工作：

#!/usr/bin/perl -w
use strict;
use warnings;

my $state_outside_string = 0;
my $state_inside_string  = 1;

my $state = $state_outside_string;

while (my $line = <>) {
    my @chars = split(//,$line);
    foreach my $char (@chars) {
        if ($char eq '"') {
            if ($state == $state_outside_string) {
                $state = $state_inside_string;
            } else {
                $state = $state_outside_string;
            }
        } elsif ($char eq ',') {
            if ($state == $state_outside_string) {
                print '|';
                next;
            }
        }
        print $char;
    }
}

Answer 2

“让 shell 运行 Perl 脚本”算不算？

如果是这样，我会看看 Perl 的 Text::CSV 模块。您将有两个 CSV 句柄，一个用于读取

sep_char

属性设置为逗号（标准，默认）的文件，另一个用于写入

sep_char

属性设置为管道的文件。

工作脚本

#!/usr/bin/env perl

use strict;
use warnings;
use Text::CSV;

die "Usage: $0 in_file out_file\n" unless scalar @ARGV == 2;
my $in  = Text::CSV->new({ binary => 1, blank_is_undef => 1 })
    or die "Horribly";
my $out = Text::CSV->new({ binary => 1, sep_char => '|',
                           always_quote => 1, eol => "\n" })
    or die "Horribly";
open my $fh_in,  '<', $ARGV[0]
    or die "Failed to open $ARGV[0] for reading ($!)";
open my $fh_out, '>', $ARGV[1]
    or die "Failed to open $ARGV[1] for writing ($!)";

while (my $fields  = $in->getline($fh_in))
{
    $out->print($fh_out, $fields);
}

close $fh_in  or die "Failed to close input ($!)";
close $fh_out or die "Failed to close output ($!)";

样本输入

"$130.00","$2,200.00","$1,230.63"
"EUR1.300,00",,
"GBP1,300.00","$2,200.00",

样本输出

"$130.00"|"$2,200.00"|"$1,230.63"
"EUR1.300,00"||
"GBP1,300.00"|"$2,200.00"|

Answer 3

如果你的文件中没有其他逗号，你可以使用：

sed "s/,/|/g" filename > outputfilename

如果逗号只在

""

之间，那么：

sed 's/","/"|"/g' filename > outputfilename

像这样工作：

sh-3.1$ echo '"123,456","123,454"' |sed 's/","/"|"/g'
"123,456"|"123,454"

如果您仍然可以在输入中使用像

","

这样的引号表达式并且不想更改它，那么我认为它会变得有点复杂:)

---

另一个使用专用模块的 Python 解决方案，在安全性和所需代码方面可能是最好的：

import csv
inFilename = 'input.csv'
outFilename = 'output.csv'

r = csv.reader(open(inFilename))
w = csv.writer(open(outFilename,'w'), delimiter='|', quotechar='"', quoting=csv.QUOTE_NONNUMERIC)
w.writerows(list(r))

安全简单。您可以轻松地将其调整为其他格式，参数非常简单。

Answer 4

Ruby 的 CSV 库在 1.9 中被替换为 FasterCSV；在早期版本中，您可以使用

fastercsv

gem.

#!/usr/bin/env ruby

require "csv"

output = CSV.read("test.csv").map do |row|
  row.to_csv(:col_sep => "|")
end
puts output

Answer 5

我有同样的问题我没有任何完美的解决方案所以我尝试如下：

for file in `find $1 -name "*.csv"`
        do
            extension=`echo $file | awk -F . '{print $NF}'`
            fileName=`basename $file .csv`
            cat $file | awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "~", $i) } 1' > "$fileName.txt"
            cat "$fileName.txt" | sed 's/,/|/g' > pipedelimited.txt
            cat pipedelimited.txt | sed 's/~/,/g' > "$fileName.txt"
            rm -rf pipedelimited.txt
            echo "File Convert is complted for $file"
done

这将为传递给 shell 脚本的目录下的所有文件创建管道分隔文件。这也处理在列中有额外逗号的转义字符。