我正在尝试通过pyspark使用连接详细信息从服务器中提取配置单元表。
这里是代码：
from pyspark.sql.session import SparkSession
from pyspark import SparkContext
from pyspark.sql import SQLContext
database = "some_db_name"
table = "some_table_name"
user = "user"
password = "pwd"
#read table data into a spark dataframe
jdbcDF = spark.read.format("jdbc") \
.option("url", f"jdbc:hive2://dbslp_server:10159/{database};") \
.option("dbtable", table) \
.option("user", user) \
.option("password", password) \
.option("driver", "org.apache.hive.jdbc.HiveDriver") \
.load()
我基本上是尝试连接到其中具有hive表的服务器，同时使用hive驱动程序向该服务器验证我的凭据。但是我得到以下错误：
Py4JJavaError Traceback（最近的呼叫最后）10 .option（“用户”，用户）\11 .option（“密码”，密码）\---> 12 .option（“ driver”，“ org.apache.hive.jdbc.HiveDriver”）\13 .load（）
/ anaconda3 / lib / python3.6 / site-packages / pyspark / sql / readwriter.py在加载（自身，路径，格式，架构，**选项）170返回self._df（self._jreader.load（self._spark._sc._jvm.PythonUtils.toSeq（path）））其他171条：-> 172返回self._df（self._jreader.load（））173174 @since（1.4）
/ anaconda3 / lib / python3.6 / site-packages / py4j / java_gateway.py在呼叫（self，* args）1255答案= self.gateway_client.send_command（命令）1256 return_value= get_return_value（-> 1257答案，self.gateway_client，self.target_id，self.name）1258 1259对于temp_args中的temp_arg：
/ anaconda3 / lib / python3.6 / site-packages / pyspark / sql / utils.py在装饰（* a，** kw）61 def deco（* a，** kw）：62试试：---> 63返回f（* a，** kw）64，除了py4j.protocol.Py4JJavaError如e：65秒= e.java_exception.toString（）
/ anaconda3 / lib / python3.6 / site-packages / py4j / protocol.py在get_return_value（答案，gateway_client，target_id，名称）第326章327“调用{0} {1} {2}时发生错误。\ n”。-> 328格式（target_id，“。”，名称），值）329其他：330提高Py4JError（
Py4JJavaError：调用o623.load时发生错误。 ：java.sql.SQLException：在以下位置不支持该方法org.apache.hive.jdbc.HiveStatement.setQueryTimeout（HiveStatement.java:739）在org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD $ .resolveTable（JDBCRDD.scala：60）在org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation $ .getSchema（JDBCRelation.scala：210）在org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation（JdbcRelationProvider.scala：35）在org.apache.spark.sql.execution.datasources.DataSource.resolveRelation（DataSource.scala：318）在org.apache.spark.sql.DataFrameReader.loadV1Source（DataFrameReader.scala：223）在org.apache.spark.sql.DataFrameReader.load（DataFrameReader.scala：211）在org.apache.spark.sql.DataFrameReader.load（DataFrameReader.scala：167）在sun.reflect.GeneratedMethodAccessor12.invoke（未知源）处sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）在java.lang.reflect.Method.invoke（Method.java:498）在py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:244）在py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）在py4j.Gateway.invoke（Gateway.java:282）在py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:132）在py4j.commands.CallCommand.execute（CallCommand.java:79）处py4j.GatewayConnection.run（GatewayConnection.java:238）在java.lang.Thread.run（Thread.java:748）
我了解这是与驱动程序相关的错误，曾尝试更改其他与Hive相关的驱动程序，但都没有成功，因为相同的错误仍然存在。我必须下载任何驱动程序。显式还是以其他任何方式链接？
任何人都可以在这个问题上有所启发，让我知道我该如何解决？还是有其他方法可以实现这一目标？