将中等大小的 CSV 导入 JawsDB MySQL 数据库

Question

我目前有一个共享的 leopard Mysql DB 连接到我的 heroku 实例。提供者是 JawsDB。我需要导入一个中等大小的 CSV，大约 160,000 条记录。我目前正在使用 mysql 工作台，并尝试了几种方法来导入它，但没有成功。我第一次尝试使用导入向导，我很快就遇到了 max_questions 资源，并且暂时无法运行任何查询。我尝试使用 LOAD DATA LOCAL INFILE 但没有管理员权限来实际加载此文件。我在网上找不到其他好的答案，有什么建议吗？

Answer 1

在本地计算机中创建 Csv 文件

pip install pandas

Python 脚本 [import_csv_to_mysql.py] -

import pandas as pd
import sqlalchemy

# Replace with your database connection details
database_url = "mysql://user_name:password@host_name:PORT/database_name"

# Read the CSV file
csv_path = "path/to/your/csv/file.csv"

db = pd.read_csv(csv_path)

# Create a database engine
engine = sqlalchemy.create_engine(database_url)

# Insert the data into the database
db.to_sql("table-name", engine, if_exists="replace", index=False)
engine.dispose()

运行Python脚本-

python import_csv_to_mysql.py