我将 HiveContext 与 SparkSQL 结合使用,并且尝试连接到远程 Hive 元存储,设置 Hive 元存储的唯一方法是在类路径中包含 hive-site.xml (或将其复制到 /etc/spark /conf/).
有没有办法在 java 代码中以编程方式设置此参数而不包含 hive-site.xml ?如果是这样,要使用什么 Spark 配置?
对于 Spark 1.x,您可以设置:
System.setProperty("hive.metastore.uris", "thrift://METASTORE:9083");
final SparkConf conf = new SparkConf();
SparkContext sc = new SparkContext(conf);
HiveContext hiveContext = new HiveContext(sc);
或者
final SparkConf conf = new SparkConf();
SparkContext sc = new SparkContext(conf);
HiveContext hiveContext = new HiveContext(sc);
hiveContext.setConf("hive.metastore.uris", "thrift://METASTORE:9083");
如果您的 Hive 已 Kerberized,请更新:
在创建 HiveContext 之前尝试设置这些:
System.setProperty("hive.metastore.sasl.enabled", "true");
System.setProperty("hive.security.authorization.enabled", "false");
System.setProperty("hive.metastore.kerberos.principal", hivePrincipal);
System.setProperty("hive.metastore.execute.setugi", "true");
在 Spark 2.0.+ 中,它应该看起来像这样:
不要忘记将“hive.metastore.uris”替换为您的。这 假设您已经启动了 Hive Metastore 服务(不是 蜂巢服务器)。
val spark = SparkSession
.builder()
.appName("interfacing spark sql to hive metastore without configuration file")
.config("hive.metastore.uris", "thrift://localhost:9083") // replace with your hivemetastore service's thrift url
.enableHiveSupport() // don't forget to enable hive support
.getOrCreate()
import spark.implicits._
import spark.sql
// create an arbitrary frame
val frame = Seq(("one", 1), ("two", 2), ("three", 3)).toDF("word", "count")
// see the frame created
frame.show()
/**
* +-----+-----+
* | word|count|
* +-----+-----+
* | one| 1|
* | two| 2|
* |three| 3|
* +-----+-----+
*/
// write the frame
frame.write.mode("overwrite").saveAsTable("t4")
我也遇到同样的问题,但解决了。只需按照 Spark 2.0 版本中的步骤操作即可
Step1: 将 hive-site.xml 文件从 Hive conf 文件夹复制到 Spark conf。
第2步:编辑spark-env.sh文件并配置您的mysql驱动程序。 (如果您使用 Mysql 作为 Hive 元存储。)
或者将 MySQL 驱动程序添加到 Maven/SBT(如果使用这些)
Step3: 创建 Spark 会话时添加enableHiveSupport()
val Spark = SparkSession.builder.master("local").appName("testing").enableHiveSupport().getOrCreate()
示例代码:
package sparkSQL
/**
* Created by venuk on 7/12/16.
*/
import org.apache.spark.sql.SparkSession
object hivetable {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder.master("local[*]").appName("hivetable").enableHiveSupport().getOrCreate()
spark.sql("create table hivetab (name string, age int, location string) row format delimited fields terminated by ',' stored as textfile")
spark.sql("load data local inpath '/home/hadoop/Desktop/asl' into table hivetab").show()
val x = spark.sql("select * from hivetab")
x.write.saveAsTable("hivetab")
}
}
输出:
一些类似的问题被标记为重复,这是从 Spark 连接到 Hive,而不使用
hive.metastore.uris
或单独的 thrift 服务器(9083),并且不将 hive-site.xml 复制到 SPARK_CONF_DIR。
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("hive-check")
.config(
"spark.hadoop.javax.jdo.option.ConnectionURL",
"JDBC_CONNECT_STRING"
)
.config(
"spark.hadoop.javax.jdo.option.ConnectionDriverName",
"org.postgresql.Driver"
)
.config("spark.sql.warehouse.dir", "/user/hive/warehouse")
.config("spark.hadoop.javax.jdo.option.ConnectionUserName", "JDBC_USER")
.config("spark.hadoop.javax.jdo.option.ConnectionPassword", "JDBC_PASSWORD")
.enableHiveSupport()
.getOrCreate()
spark.catalog.listDatabases.show(false)
在尝试从 Spark 连接到 Hive Metastore 而不使用 hive-site.xml 时,我观察到一种奇怪的行为。
当我们在创建 SparkSession 时在 Spark 代码中使用
hive.metastore.uris
属性时,一切正常。
但是,如果我们不在代码中指定,而是在使用 spark-shell
或 spark-submit
和 --conf
标志时指定,它将不起作用。
它将抛出如下所示的警告,并且不会连接到远程元存储。
Warning: Ignoring non-Spark config property: hive.metastore.uris
解决此问题的一种方法是使用以下属性。
spark.hadoop.hive.metastore.uris
Spark版本:2.0.2
蜂巢版本:1.2.1
下面的 Java 代码帮助我从 Spark 连接到 Hive 元存储:
import org.apache.spark.sql.SparkSession;
public class SparkHiveTest {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.config("spark.master", "local")
.config("hive.metastore.uris",
"thrift://abc123.com:9083")
.config("spark.sql.warehouse.dir", "/apps/hive/warehouse")
.enableHiveSupport()
.getOrCreate();
spark.sql("SELECT * FROM default.survey_data limit 5").show();
}
}
对于 Spark 3.x:
// Scala
import org.apache.spark.sql.{Row, SaveMode, SparkSession}
val spark = SparkSession
.builder()
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", "hive_warehouse_hdfs_path")
.enableHiveSupport()
.getOrCreate()
# Python
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL Hive integration example") \
.config("spark.sql.warehouse.dir", "hive_warehouse_hdfs_path") \
.enableHiveSupport() \
.getOrCreate()
检查可用数据库:
spark.catalog.listDatabases().show()
下面的代码对我有用。我们可以忽略本地metastore的
hive.metastore.uris
配置,spark将在本地的spare-warehouse目录中创建hive对象。
import org.apache.spark.sql.SparkSession;
object spark_hive_support1
{
def main (args: Array[String])
{
val spark = SparkSession
.builder()
.master("yarn")
.appName("Test Hive Support")
//.config("hive.metastore.uris", "jdbc:mysql://localhost/metastore")
.enableHiveSupport
.getOrCreate();
import spark.implicits._
val testdf = Seq(("Word1", 1), ("Word4", 4), ("Word8", 8)).toDF;
testdf.show;
testdf.write.mode("overwrite").saveAsTable("WordCount");
}
}
在 Hadoop 3 Spark 和 Hive 目录中是分开的:
对于 spark-shell (默认情况下带有
.enableHiveSupport()
)只需尝试:
pyspark-shell --conf spark.hadoop.metastore.catalog.default=hive
对于 spark-submit 作业,您可以像这样创建 Spark 会话:
SparkSession.builder.appName("Test").enableHiveSupport().getOrCreate()
然后将此配置添加到您的 Spark-submit 命令中:
--conf spark.hadoop.metastore.catalog.default=hive
但是对于 ORC 表(以及更一般的内部表),建议使用 HiveWareHouse Connector。
设置spark.hadoop.metastore.catalog.default=hive对我有用。
我在 Spark 2.4.8 或 Spark 3.1.3 或 Spark 3.2.2 中收到以下错误。 hadoop版本是3.2,Hbase 2.4.14和Hive 3.1.13和Scala 2.12
线程“main”中出现异常 java.io.IOException:由于先前的错误,无法创建记录读取器。请查看任务完整日志中的先前日志行以了解更多详细信息。 在org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:253) 在 org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:131) 在 org.apache.spark.rdd.RDD.$anonfun$partitions$2(RDD.scala:300) 我按如下方式调用 Spark-Submit。
export HBASE_JAR_FILES="/usr/local/hbase/lib/hbase-unsafe-4.1.1.jar,/usr/local/hbase/lib/hbase-common-2.4.14.jar,/usr/local/hbase/lib/hbase-client-2.4.14.jar,/usr/local/hbase/lib/hbase-protocol-2.4.14.jar,/usr/local/hbase/lib/guava-11.0.2.jar,/usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar"
/opt/spark/bin/spark-submit --master local[*] --deploy-mode client --num-executors 1 --executor-cores 1 --executor-memory 480m --driver-memory 512m --driver-class-path $(echo $HBASE_JAR_FILES | tr ',' ':') --jars "$HBASE_JAR_FILES" --files /usr/local/hive/conf/hive-site.xml --conf "spark.hadoop.metastore.catalog.default=hive" --files /usr/local/hbase/conf/hbase-site.xml --class com.hbase.dynamodb.migration.HbaseToDynamoDbSparkMain --conf "spark.driver.maxResultSize=256m" /home/hadoop/scala-2.12/sbt-1.0/HbaseToDynamoDb-assembly-0.1.0-SNAPSHOT.jar
The code is as follows.
val spark: SparkSession = SparkSession.builder()
.master("local[*]")
.appName("Hbase To DynamoDb migration demo")
.config("hive.metastore.warehouse.dir", "/user/hive/warehouse")
.config("hive.metastore.uris","thrift://localhost:9083")
.enableHiveSupport()
.getOrCreate()
spark.catalog.listDatabases().show()
val sqlDF = spark.sql("select rowkey, office_address, office_phone, name, personal_phone from hvcontacts")
sqlDF.show()
hive 外部表是在 Hbase 之上创建的,如下所示。
create external table if not exists hvcontacts (rowkey STRING, office_address STRING, office_phone STRING, name STRING, personal_phone STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,Office:Address,Office:Phone,Personal:name,Personal:Phone') TBLPROPERTIES ('hbase.table.name' = 'Contacts');
Metastore位于mysql中,我可以查询tbls表来验证hive中的外部表。还有其他人面临类似问题吗?
注意:我在这里没有使用 Hive Spark 连接器。