当连接到Monetdblite / RSQLite数据库外部硬盘驱动器上Dplyr速度?

问题描述 投票:0回答:2

初学者的问题。

我使用的R 2与dplyr分析大量数据,但我没有访问基于服务器的数据库。另外,我的电脑的内部硬盘驱动器是我需要创建数据库太小。我一直在使用monetdbliteRSQLite存储数据为止。

问:多少monetdblite / RSQLite下降的情况下,速度我省外部硬盘驱动器上的数据库,并通过USB连接到电脑上?哪些因素决定如何可行,这是?

还是有更好的替代方法(仍然依赖dplyr的数据库连接)在我的情况?

r dplyr rsqlite monetdblite
2个回答
1
投票

它真的很难说,外部驱动器是否较慢。例如,如果内部驱动器是一个SSD和外部之一的经典的“转盘”,性能下降或多或少可以预料的,使用复杂的查询时尤其如此。我建议你只需用一个合理规模的数据库和查询两个磁盘上的尝试。此外,还有各种磁盘性能检测工具(例如XBench上OSX),你可以用它来检查性能。有趣的指标,了解这里的顺序扫描速度和随机存取速度。


0
投票

我用monetDBLite对大量数据加载到Rstudio。出于安全原因,我有一个USB 3.0外置固态硬盘,但我的内置硬盘也是SSD。我已经使用了几个月,我的经验总结在下面的查询:

SELECT * FROM drug_db WHERE ATC = 'L02BX03' 或ATC = 'L02BB04';

上建于:<2秒,

在外部:6-7分钟

通过〜15 GB的数据库查询扫描,并返回〜14个变量的30个000行。根据我的经验,它实际上是更快的文件复制到内置驱动器,并运行查询,那么,相对于运行针对外部SSD查询。

© www.soinside.com 2019 - 2024. All rights reserved.