Spark Python API（PySpark）将apache-spark编程模型暴露给Python。
我在S3上有一个包含1000个文件的存储桶。每个约1GB。我想阅读这些文件的随机样本。让我们说5％的文件。这是我怎么做的fileDF = sqlContext.jsonRDD（self.sc ....
我需要使用limit函数从数据帧中获取n个条目/行。我知道这是不可取的，但这是一个预处理步骤，在实际实施时不需要......
我正在使用以下形式的JSON对象：{“docId”：“1”，“links”：{“一个链接”：[“端点1”，“端点2”]，“另一个链接”：[“端点3“]}，”......
SQLException上的sqlContext HiveDriver错误：不支持方法
我一直在尝试使用sqlContext.read.format（“jdbc”）。options（driver =“org.apache.hive.jdbc.HiveDriver”）将Hive表放入Spark而没有任何成功。我做过研究并阅读如下：如何......
我一直在寻找一种动态更新selectForm默认值的方法。我的代码如下：％spark2.pyspark d_var = {} d_var ['one'] = [“0”] d_var ['two'] = [“1”] keys = [] values = [（'...
PySpark MLLib Zeppelin Logistic回归度量标准错误：AssertionError：维度不匹配
我正在尝试使用MLLib在Pyspark中运行逻辑回归。该模型运行但我无法获得任何指标。我的数据采用csv格式，我将其转换如下：def load（prefix）：...
找不到'cairo.Context'的外来struct转换器
又是我。这是一个与我正在做的项目相关的代码，称为Twitter数据上的情感分析。以下代码主要用于显示正负推文的数量...
我正在阅读防火墙日志数据，其中包括以下内容：（UniqueID，start_or_stop，timestamp）在某些时候，每个“start”后面都是stop，当它出现时我想输出（UniqueID，...
仅在关闭应用程序后才能在套接字中发送DStream的rdds
我正在尝试Spark Streaming设置，其中应用程序接收文本（行），对其进行计数，然后将结果发送回服务器。这就是我现在正在尝试的：sc = ...
我对用于教育目的的Spark RDD谱系或运算符图表的清晰表达感兴趣。我试过.toDebugString（）但是我很难把它打印得很漂亮（...
使用负索引从pyspark字符串列的最后一个索引中对多个字符进行子字符串
与以下内容密切相关：Spark Dataframe列，其他列的最后一个字符，但我想从-1索引中提取多个字符。我有以下pyspark数据帧df + ---------- + ----...
假设我有一个RDD，我需要映射一个可能失败的任务rdd = sc.parallelize（[1,2,3]）rdd.map（a_task_that_can_fail）有没有办法设置spark以最好地运行任务努力的基础。我......
我想将值传递给python中的livy代码。但是我传递的值在每次调用后都会发生变化，但是传给livy的值仍然相同。 data_while_loop = {'code'：textwrap.dedent（“”“...
我的问题有两个部分。第一个是理解Spark的工作方式，第二个是优化。我有一个火花数据框，它有多个分类变量。对于每一个......
spark magic - 输入sql context作为字符串
连接到livy上的spark可以在Jupyter中正常工作，以下是火花魔法：%% spark -c sql select * from some_table现在我如何使用字符串变量来查询表？以下是......
如何在pyspark中读取和写入coordinateMatrix到文件
我在pyspark中有一个非常稀疏的数据帧，我将这个数据帧转换为CoordinatedMatrix。现在我想在hdfs上保存这个矩阵，以便稍后重用它来训练我的模型。不幸的是，我没有......
我必须在pyspark（spark 2.0）的大型DataFrame中对列进行编码。所有值几乎都是唯一的（约1000mln值）。最好的选择可能是StringIndexer，但由于某种原因它始终......
我有一个包含以下列和相应值的数据帧（原谅我的格式但不知道如何以表格格式）：Src_ip dst_ip V1 V2 V3 top“A”“...
我有一个Pyspark DataFrame有两列：sendtime和charge_state，如果charge_state从“off”变为“on”，则新的充电周期开始。现在我想标记每个充电周期给我...
当列表值与Pyspark数据帧中的列值的子字符串匹配时，填充新列
我在Pyspark有一个数据框，如下面的df.show（）+ --- + ---------------------- + | ID |精读| + --- + ---------------------- + | 3 | mac，mac pro | | 1 | iphone5的，iphone | | ...