在文件夹中的gzip压缩文件中查找字符串

问题描述 投票:43回答:7

我目前的问题是我有大约10个文件夹,其中包含gzipped文件(平均每个文件大约5个)。这使得打开和查看50个文件。

是否有更简单的方法来查明文件夹中的gzip压缩文件是否具有特定模式?

zcat ABC/myzippedfile1.txt.gz | grep "pattern match"
zcat ABC/myzippedfile2.txt.gz | grep "pattern match"

对于所有文件夹和子文件夹,我可以在一行中执行相同操作,而不是编写脚本吗?

for f in `ls *.gz`; do echo $f; zcat $f | grep <pattern>; done;
linux shell directory grep gzip
7个回答
48
投票

zgrep会查找gzip文件,有-R递归选项,-H显示文件名选项:

zgrep -R --include=*.gz -H "pattern match" .

20
投票

你不需要zcat,因为有zgrep和zegrep。

如果要在目录层次结构上运行命令,请使用find:

find . -name "*.gz" -exec zgrep ⟨pattern⟩ \{\} \;

并且“ls *.gz”也没用,你应该在将来使用“* .gz”。


8
投票

zgrep如何不支持-R

我认为“Nietzsche-you”的解决方案可能是一个更好的答案,但我会添加选项-H来显示这样的文件名

find . -name "*.gz" -exec zgrep -H 'PATTERN' \{\} \;

7
投票

使用find命令

find . -name "*.gz" -exec zcat "{}" + |grep "test"

或者尝试使用zcat的递归选项(-r)


6
投票

稍晚一点,有一个类似的问题,并能够解决使用;

zcat -r /some/dir/here | grep "blah"

详情如下;

http://manpages.ubuntu.com/manpages/quantal/man1/gzip.1.html

但是,这不显示结果匹配的原始文件,而是显示“(标准输入)”,因为它从管道进入。 zcat似乎也不支持输出名称。

在性能方面,这就是我们得到的;

$ alias dropcache="sync && echo 3 > /proc/sys/vm/drop_caches"

$ find 09/01 | wc -l
4208

$ du -chs 09/01
24M

$ dropcache; time zcat -r 09/01 > /dev/null
real    0m3.561s

$ dropcache; time find 09/01 -iname '*.txt.gz' -exec zcat '{}' \; > /dev/null
0m38.041s

正如您所看到的,使用find|zcat方法比处理即使是少量文件时使用zcat -r要慢得多。我也无法使zcat输出文件名(使用-v显然会输出文件名,但不会在每一行输出)。看来目前还没有一种工具可以提供速度和名称与grep的一致性(即-H选项)。

如果您需要识别结果所属文件的名称,那么您需要编写自己的工具(可以在50行Python代码中完成)或使用较慢的方法。如果您不需要识别名称,请使用zcat -r

希望这可以帮助


2
投票

find . -name "*.gz"|xargs zcat | grep "pattern"应该这样做。


1
投票

zgrep "string" ./*/*

您可以使用上面的命令在string目录的.gz文件中搜索dir,其中dir具有以下子目录结构:

/dir
    /childDir1
              /file1.gz
              /file2.gz
    /childDir2
              /file3.gz
              /file4.gz
    /childDir3
              /file5.gz
              /file6.gz
© www.soinside.com 2019 - 2024. All rights reserved.