为Apache TinkerPop的Spark-Gremlin指定工作池-DataStax-Enterprise Graph-Analytics

Question

我需要指定一个特定的工作池来运行gremlin olap查询。当我使用gremlin控制台或datastax studio运行gremlin olap查询时，它在默认池下运行（这不是我想要的）。我想在特定的工人池下运行gremlin olap查询，例如gremlin_olap或能够指定内存和执行程序。我尝试了dse.yaml（在位置资源/ dse / conf中）和olap.properties（在位置资源/ graph / conf中）中的一些设置，重新启动了集群，但仍然无法强制使用gremlin_olap工作池。

olap.properties

spark.scheduler.pool=gremlin_olap
spark.executor.cores=2
spark.executor.memory=2g

dse.yaml

resource_manager_options:
    worker_options:
        cores_total: 0.7
        memory_total: 0.6

        workpools:
            - name: alwayson_sql
              cores: 0.25
              memory: 0.25
            - name: gremlin_olap
              cores: 0.25
              memory: 0.25

Gremlin控制台bin / dse gremlin-console

         \,,,/
         (o o)
-----oOOo-(3)-oOOo-----
plugin activated: tinkerpop.server
plugin activated: tinkerpop.tinkergraph
gremlin> :remote config alias g identity.a
==>g=identity.a
gremlin> g.V().groupCount().by(label)
==>{identity=50000}
gremlin>

我想念什么吗？

Answer 1

这些指示应有所帮助：

https://docs.datastax.com/en/dse/6.8/dse-dev/datastax_enterprise/graph/graphAnalytics/graphAnalyticsSparkGraphComputer.html#SettingSparkpropertiesfromGremlin

这并不会完全创建一个Spark资源池-但确实会影响Gremlin OLAP Spark应用程序将使用的资源-并且它在DSE Graph中的工作方式是，只会出现以下其中一种应用程序，因此它与具有Spark资源池具有相同的效果。