从压缩文本文件中读取行

Question

是否可以使用 Python 从 gzip 压缩的文本文件中读取一行而不完全解压文件？我有一个

text.gz

文件，大约 200 MB。当我解压它时，它变成了7.4 GB。这不是我必须阅读的唯一文件。对于整个过程，我必须读取 10 个文件。尽管这将是一项连续的工作，但我认为在不提取全部信息的情况下完成它是明智的做法。如何使用 Python 来完成此操作？我需要逐行读取文本文件。

Answer 1

使用gzip.GzipFile：

import gzip

with gzip.open('input.gz','rt') as f:
    for line in f:
        print('got line', line)

注意：

gzip.open(filename, mode)

是

gzip.GzipFile(filename, mode)

的别名。 我更喜欢前者，因为它看起来类似于用于打开未压缩文件的

with open(...) as f:

。

Answer 2

您可以在Python中使用标准的gzip模块。只需使用：

gzip.open('myfile.gz')

像其他文件一样打开该文件并读取其行。

更多信息请参见：Python gzip 模块

Answer 3

您尝试过使用gzip.GzipFile吗？参数类似于

open

。

Answer 4

gzip 库（显然）使用

gzip

，这可能有点慢。您可以通过对 pigz（

gzip

的并行化版本）的系统调用来加快速度。缺点是你必须安装

pigz

，并且在运行过程中会占用更多的核心，但它的速度要快得多，而且不会占用更多的内存。然后，对文件的调用将变为

os.popen('pigz -dc ' + filename)

而不是

gzip.open(filename,'rt')

。 Pigz 标志是

-d

用于解压缩，

-c

用于标准输出输出，然后可以通过

os.popen

获取。

以下代码接受一个文件和一个数字（1 或 2），并计算文件中不同调用的行数，同时测量代码所花费的时间。在

unzip-file.py

中定义以下代码：

#!/usr/bin/python
import os
import sys
import time
import gzip

def local_unzip(obj):
    t0 = time.time()
    count = 0
    with obj as f:
        for line in f:
            count += 1
    print(time.time() - t0, count)

r = sys.argv[1]
if sys.argv[2] == "1":
    local_unzip(gzip.open(r,'rt'))
else:
    local_unzip(os.popen('pigz -dc ' + r))

使用

/usr/bin/time -f %M

调用这些函数，测量 28G 文件上进程的最大内存使用量，我们得到：

$ /usr/bin/time -f %M ./unzip-file.py $file 1
(3037.2604110240936, 1223422024)
5116

$ /usr/bin/time -f %M ./unzip-file.py $file 2
(598.771901845932, 1223422024)
4996

表明使用基本相同的最大内存，系统调用速度大约快五倍（10 分钟与 50 分钟相比）。还值得注意的是，根据您在文件中每行读取的内容可能不是限制因素，在这种情况下，您采取的选项并不重要。