Greenplum PXF是否支持HDFS短路读取？

Question

我想知道当我们将pxf和datanode放在同一主机上时，Greenplum PXF是否可以利用HDFS短路读取的优势。我们进行了初步测试，但是，pxf似乎没有利用短路读数。谷歌搜索后几乎没有任何东西，因此我们不确定是否错过了什么。我们使用Greenplum 6.4（社区版本），pxf 5.11.2和CDH 6.3。

非常感谢任何参考，建议或评论。

Answer 1

具有hawq的PXF的旧版本实际上位于数据节点中，并利用短路读取。当前的PXF已更改为驻留在Greenplum段主机中，并充当hdfs客户端。我认为您可以在短路读取的数据节点上调整pxf源代码和设置pxf。但是，可以加快hdfs pxf的通信速度，但会减慢pxf greenplum段的通信速度。