R中如何在本地处理大于内存的数据?

问题描述 投票:0回答:0

我有 83GB 的 CSV 形式的数据存储在

AWS S3
中。通常我会在
Spark
中使用R(
sparklyr
)中的
AWS EMR
实现来处理授予足够内存的作业。

但是,我无法访问我的

AWS EMR
帐户(出于这个问题的目的,假设我在不久的将来将无法访问)。
R
中有哪些好的替代方法可以在不导致内存崩溃的情况下进行相同的处理(即使需要很长时间)?

r apache-spark memory sparklyr
© www.soinside.com 2019 - 2024. All rights reserved.