Jupyter Notebook 内核一直死机 - 内存不足？

Question

我正在尝试两行不同的代码，它们都涉及计算 df 与 500k 行的行组合。

我认为由于大量的组合，内核不断死亡。有办法解决这个问题吗？

崩溃的两行代码是

pd.merge(df.assign(key=0), df.assign(key=0), on='key').drop('key', axis=1)

和

index_comb = list(combinations(df.index, 2))

两者都是实现相同所需 df 的不同方法，但 kernal 都失败了。

非常感谢任何帮助:/

更新：我尝试在终端中使用代码，它给了我一个错误：killed 9：它在终端中也使用了太多内存？

Answer 1

据我所知，这里没有解决方案。 Jupyter Notebook 根本就不是为处理大量数据而设计的。在终端中编译代码，应该可以工作。

如果您在使用终端时遇到同样的问题，请查看此处：Python Killed: 9 当使用从 2 个 csv 文件创建的字典运行代码时

编辑：我最终找到了一种可能解决此问题的方法：增加容器大小应该可以防止 Jupyter 内存不足。为此，请打开笔记本主目录中的 jupyter 文件

settings.cfg

要编辑的行是这一行：$CHORUS_NOTEBOOK_HOME

每个容器的默认值应为 1 GB，将其增加到 2 或 4 GB 应该有助于解决与内存相关的崩溃。但是我不确定这对性能有什么影响，所以请注意！