如何仅将csv文件中的特定列加载到DataFrame中

Question

假设我有一个包含400列的csv文件。我无法将整个文件加载到DataFrame中（不适合内存）。但是，我只想要50列，这将适合内存。我没有看到任何内置的Pandas方式来做到这一点。你有什么建议？我愿意使用PyTables接口或pandas.io.sql。

最好的情况是像pandas.read_csv（....，columns = ['name'，'age'，...，'income']）这样的函数。即我们传递将要加载的列名（或数字）列表。

Answer 1

现在没有默认方法可以做到这一点。我建议分块文件并迭代它并丢弃你不想要的列。所以像pd.concat([x.ix[:, cols_to_keep] for x in pd.read_csv(..., chunksize=200)])

Answer 2

伊恩，我实施了一个usecols选项，它完全符合你的描述。它将在即将到来的熊猫0.10;开发版即将推出。

---

从0.10，你可以使用usecols之类的

df = pd.read_csv(...., usecols=['name', 'age',..., 'income'])