推荐使用哪种 Python 内存分析器？ [已关闭]

Question

我想知道我的Python应用程序的内存使用情况，特别想知道哪些代码块/部分或对象消耗了最多的内存。 Google 搜索显示商业版是 Python Memory Validator（仅限 Windows）。

开源的是 PySizer 和 Heapy。

我没有尝试过任何人，所以我想知道哪一个是最好的考虑：

1. 提供了大部分细节。

2. 我必须对我的代码进行最少的更改或无需更改。

Answer 1

我的模块 memory_profiler 能够打印内存使用情况的逐行报告，并且可以在 Unix 和 Windows 上运行（最后一个需要 psutil）。输出不是很详细，但目标是让您概述代码在哪里消耗了更多内存，而不是对分配的对象进行详尽的分析。

用

@profile

装饰函数并使用

-m memory_profiler

标志运行代码后，它将打印如下逐行报告：

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

Answer 2

guppy3 使用起来非常简单。在代码中的某个时刻，您必须编写以下内容：

from guppy import hpy
h = hpy()
print(h.heap())

这会给你一些像这样的输出：

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以找到引用对象的位置并获取有关该对象的统计信息，但不知何故，相关文档有点稀疏。

还有一个用 Tk 编写的图形浏览器。

对于 Python 2.x，请使用 Heapy。

Answer 3

我推荐Dowser。设置非常简单，并且您不需要对代码进行零更改。您可以通过简单的 Web 界面查看每种类型的对象随时间变化的计数、查看活动对象列表、查看对活动对象的引用。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

导入memdebug，然后调用memdebug.start。仅此而已。

我还没有尝试过 PySizer 或 Heapy。我很感激其他人的评论。

更新

以上代码适用于

CherryPy 2.X

，

CherryPy 3.X

server.quickstart

方法已被删除，并且

engine.start

不采用

blocking

标志。所以如果你正在使用

CherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

Answer 4

考虑 objgraph 库（请参阅 此博文了解示例用例）。

Answer 5

Muppy 是（又一个）Python 内存使用分析器。该工具集的重点是内存泄漏的识别。

Muppy 试图帮助开发人员识别 Python 应用程序的内存泄漏。它可以跟踪运行时的内存使用情况并识别泄漏的对象。此外，还提供了一些工具，可以定位未释放对象的来源。

Answer 6

我正在开发一个名为 memprof 的 Python 内存分析器：

http://jmdana.github.io/memprof/

它允许您在执行修饰方法期间记录和绘制变量的内存使用情况。您只需使用以下命令导入库即可：

from memprof import memprof

并使用以下方法装饰你的方法：

@memprof

这是一个关于绘图的示例：

该项目托管在GitHub：

https://github.com/jmdana/memprof

Answer 7

我发现 meliae 比 Heapy 或 PySizer 更实用。如果您碰巧正在运行 wsgi web 应用程序，那么 Dozer 是 Dowser

的一个很好的中间件包装器

Answer 8

也可以尝试使用 pytracemalloc 项目，它提供了每个 Python 行号的内存使用情况。

编辑（2014/04）：现在有一个 Qt GUI 来分析快照。