Inserting rows into Microsoft SQL Server using pandas raises precision error

Question

我正在尝试将数据插入 mssql 数据库。为此，我需要尽可能快的方法，所以我将 fast_executemany 参数设置为 true。上传大部分工作正常，但如果其中一列是带时区的日期时间，它会崩溃并引发：

(pyodbc.Error) ('HY104', '[HY104] [Microsoft][ODBC Driver 17 for SQL Server]Invalid precision value (0) (SQLBindParameter)')

如果我使用 fast_executemany 插入与 False 相同的数据，那么一切正常。有没有人遇到过类似的问题或知道可能是什么问题？

示例代码

from sqlalchemy import create_engine, engine
import pytz
import pandas as pd
from sqlalchemy.dialects.mssql import DATETIMEOFFSET
import datetime


engine_url = engine.URL.create(
            drivername='mssql',
            username='admin',
            password='**',
            host='**',
            port='1433',
            database='mytestdb1',
            query={'driver': "ODBC Driver 17 for SQL Server"}
        )
mssql_engine = create_engine(engine_url, echo=False, fast_executemany=True)



base = datetime.datetime.today().replace(tzinfo=pytz.utc)
date_list = [base - datetime.timedelta(days=x) for x in range(20)]
df = pd.DataFrame(date_list, columns = ['date_time'])
df.to_sql('test_insert', mssql_engine, schema='testschema1', if_exists='replace', dtype = {'date_time':DATETIMEOFFSET})

回复：

DBAPIError: (pyodbc.Error) ('HY104', '[HY104] [Microsoft][ODBC Driver 17 for SQL Server]Invalid precision value (0) (SQLBindParameter)')
[SQL: INSERT INTO testschema1.test_datetime ([index], date_time) VALUES (?, ?)]
[parameters: ((0, '2022-05-06 16:40:05.434984 +00:00'), (1, '2022-05-05 16:40:05.434984 +00:00'), (2, '2022-05-04 16:40:05.434984 +00:00'), (3, '2022-05-03 16:40:05.434984 +00:00'), (4, '2022-05-02 16:40:05.434984 +00:00'), (5, '2022-05-01 16:40:05.434984 +00:00'), (6, '2022-04-30 16:40:05.434984 +00:00'), (7, '2022-04-29 16:40:05.434984 +00:00')  ... displaying 10 of 20 total bound parameter sets ...  (18, '2022-04-18 16:40:05.434984 +00:00'), (19, '2022-04-17 16:40:05.434984 +00:00'))]
 (Background on this error at: http://sqlalche.me/e/14/dbapi)

sqlalchemy==1.4，pyodbc==4.0.32 和 pandas==1.2.0

正如我所说，如果我不使用 fast_executemany，代码将完美运行。

Answer 1

可以使用 SQLAlchemy 1.4.0 重现此问题。它已在 SQLAlchemy 1.4.1 中修复。

Answer 2

我通过更改连接字符串中的驱动程序找到了解决方案。我曾经使用：{SQL Server}。 然后我将其更改为：{ODBC Driver 17 for SQL Server}