Spark的PCA实现可以处理多少列？

Question

例如，我可以计算1,000,000列的主要成分吗？

Answer 1

列的最大数量为65,535。

在RowMatrix中强制执行此限制，我们在此处看到此注释：

This cannot be computed on matrices with more than 65535 columns

https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/RowMatrix.scala#L380