我有 10 个 csv，每个大约 7 GB；文件没有索引。我正在使用的机器有 32 GB 内存 - 出于数据隐私原因，这无法更改。我想创建一个 SQL 数据库（稍微偏爱 SQLite，但我不喜欢它）以使将来的查询更容易。首选解决方案将在 R 中实现，但我熟悉 Python，所以也可以。我知道 RSQLite 库，但如果我错误地认为 R 必须将所有文件加载到内存中，请纠正我？
这听起来像是 duckdb 的一个非常巧妙的用例，它专门用于低内存/无内存本地 SQL 存储分析，并且速度非常快！事实上，您可以使用它来将 CSV 直接读入数据库，这是一个使用 R 包/API 专门执行此操作的示例。
这是一个相关的问题/答案！ 使用 Duckdb 或 R 中的 arrow 处理大型 CSV 文件