我想从我的oracle中读取数据,我使用pandas的read_sql
并设置参数chunksize=20000
,
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine("my oracle")
df = pd.read_sql("select clause",engine,chunksize=20000)
它返回一个迭代器,我想使用df = pd.DataFrame(df)
将这个生成器转换为数据帧,但这是错误的,如何将迭代器转换为数据帧?
这个迭代器可以连接,然后返回一个数据帧:
df = pd.concat(df)
您可以查看pandas.concat文档。
如果您不能直接使用concat
,请尝试以下操作:
gens = pd.read_sql("select clause",engine,chunksize=20000)
dflist = []
for gen in gens:
dflist.append(gen)
df = pd.concat(dflist)