Spark zeppelin：如何在％pyspark解释器中获取％sql结果？

Question

我知道我可以使用

%pyspark
df = sqlContext.sql('select * from train_table')

我可以使用qazxsw poi在qazxsw poi中使qazxsw poi可以访问。

但有时候我想用df.registerTempTable('xxx')绘制情节。计算可能是广泛的：

df

如果我决定编写一些代码来清理结果，我必须将sql移到%sql上，再次计算。

我想知道有没有办法在％pyspark中访问％sql结果？

Answer 1

执行sql语句后，我不知道有办法执行此操作，但是当您最初将其注册为%sql时，可以从％pyspark访问％sql中创建的临时表：

%sql
select C.name, count(C.name) from orderitems as A
left join clientpagemodules as C on C.code = A.from_module
left join orders as B on A.ref_id = B.id
left join products as P on P.id = A.product_id
where B.time_create > (unix_timestamp(NOW()) -  3600*24*30) *1000  group by C.name