[嗨,我想将Parquet文件上传到ADLS第2代Blob。我正在使用下面的代码行创建blob并在其中上传实木复合地板文件。
blob = BlobClient.from_connection_string(conn_str="Connection String", container_name="parquet", blob_name=outdir)
df.to_parquet('logs.parquet',compression='GZIP') #df is dataframe
with open("./logs.parquet", "rb") as data:
blob.upload_blob(data)
os.remove("logs.parquet")
i我不会遇到任何错误,并且文件也被写入blob。但是,我认为我做的不正确,因为ADX / kusto查询无法理解该文件,并且那里没有可见的数据。
以下是我在Azure数据资源管理器中执行的从第二代ADLS中的上载实木复合地板文件中获取记录的步骤。>>
创建的外部表:
.create external table LogDataParquet(AppId_s:string,UserId_g:string,Email_s:string,RoleName_s:string,Operation_s:string,EntityId_s:string,EntityType_s:string,EntityName_s:string,TargetTitle_s:string,TimeGenerated:datetime) kind=blob dataformat=parquet ( h@'https://streamoutalds2.blob.core.windows.net/stream-api-raw-testing;secret' ) with ( folder = "ExternalTables" )
外部表列映射:
.create external table LogDataParquet parquet mapping "LogDataMapparquet" '[{ "column" : "AppId_s", "path" : "$.AppId_s"},{ "column" : "UserId_g", "path" : "$"},{ "column" : "Email_s", "path" : "$.Email_s"},{ "column" : "RoleName_s", "path" : "$.RoleName_s"},{ "column" : "Operation_s", "path" : "$.Operation_s"},{ "column" : "EntityId_s", "path" : "$.EntityId_s"}]'
外部表不提供记录
external_table('LogDataParquet')
无记录
external_table('LogDataParquet') | count
1条记录-计数0
我在流分析中使用了类似的方案,在该方案中,我接收传入的流并将其以拼花形式保存到ADLS。在这种情况下,ADX中的外部表可以很好地获取记录。我感觉镶木地板文件在blob中的写入方式存在错误-(使用open(“ ./ logs.parquet”,“ rb”)作为数据:)
[嗨,我想将Parquet文件上传到ADLS第2代Blob。我正在使用下面的代码行创建blob并在其中上传实木复合地板文件。 blob = BlobClient.from_connection_string(conn_str =“连接字符串”,...
根据日志,外部表的定义如下: