尝试从 Hive_MetaStore 查看示例数据时 Databricks“套接字已关闭”

Question

当尝试从 Hive_MetaStore 查看示例数据时，我不断收到错误套接字已关闭。

有人可以告诉我这个问题的原因是什么吗？

Answer 1

错误信息 [DataDirect][ODBC Progress OpenEdge Wire Protocol 驱动程序]套接字已关闭 [DataDirect][ODBC DB2 有线协议驱动程序]套接字已关闭

“Socket Closed”错误通常表示客户端和服务器之间的网络连接问题， 可能是由于防火墙设置、网络配置或中断等问题。

以下可能是一些原因：

• 网络故障
• 防火墙超时
• 数据库意外终止连接
• 账户权限

需要 ODBC 跟踪来查看返回的 “套接字已关闭” 的 ODBC 调用。

Trace=1 [开始跟踪] TraceOptions=3 [还存在线程标识和时间戳信息] ODBCTraceFlush=1 【帮助将所有内容写入文件】

了解更多信息在 Windows 平台上创建 ODBC 跟踪日志（嵌入视频）

使用以下方法，您可以通过设置适当的配置参数来增加连接超时。

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("Increase Connection Timeout") \
    .config("spark.sql.hive.metastore.jars", "600s") \
    .getOrCreate()

spark.sql.hive.metastore.jars 配置属性为 600 秒，这意味着连接超时将增加到 10 分钟。

参考： DataDirect ODBC 驱动程序中的“套接字已关闭”错误意味着什么？