如何使用较大的TSV文件

Question

我有一个5GB以上的TSV文件。我需要可视化它包含的数据，但是Excel无法打开文件（显然太大）。 Tableau不适用于TSV文件，Access也不适用。我尝试使用010编辑器，它可以打开文件，但不能以有用的格式导出文件。如何打开/导出/转换它？

Answer 1

我以前遇到过此问题。问题在于，为了在Excel中打开文件，通常必须将整个文件加载到内存中。当文件大小为50或500k时很好，但是当文件大小为5GB时，系统无法将其加载到内存中。

为了处理大量数据，您确实需要将其加载到数据库中并在数据库上运行查询。数据库经过优化，可处理大量数据（甚至超过5GB）。

棘手的部分将把这些数据加载到数据库中。您需要一个程序来解析文件（逐行读取）并将每个TSV值插入相应的数据库列中。编写应用程序自己执行此操作可能是最好的。如果您是Windows用户，则可以使用C＃（http://www.microsoft.com/visualstudio/eng/products/visual-studio-2010-express）和MSSQL Express（http://www.microsoft.com/en-us/download/details.aspx?id=29062）。这是用于解析（Modify CSV Parser to work with TSV files C#）的有用资源。这是用于将行插入MSSQL（How to insert data into SQL Server）

的资源

Answer 2

同意Dan，此类数据应加载到数据库中并在数据库上运行查询。一种方便的工具是DB Browser for SQLite。您可以将csv，tsv文件作为表格导入其中，并在其上运行SQL查询。它使用sqlite下划线并支持大多数SQL函数。同样适用于Mac和Windows。