如何将CSV解析为BigQuery加载错误

Question

在将csv文件加载到BQ表中时遇到以下错误。当我们加载大小为TB的文件时，没有遇到这个问题

'读取数据时出错，错误消息：为读取CSV设置的选项可防止BigQuery拆分文件以并行读取，并且当无法拆分文件时，至少一个文件大于允许的最大大小。大小为：7561850767。允许的最大大小为：4294967296。'

Answer 1

如果未压缩文件，则应检查文件中是否有双引号字符（“）。不匹配的双引号字符可能会导致无法拆分的较大字段（大于4GB）。

您可以尝试使用类似以下方式从命令行加载文件：

bq --project_id <project_id> load --source_format=CSV --autodetect --quote $(echo -en '\000') <dataset.table> <path_to_source>

想法是将默认引号设为双引号（“）。

确切的命令请参考CLI documentation。