JMeter将所有记录从CSV插入到sql数据库中

问题描述 投票:0回答:1

我有来自主数据库的大量数据,通过应用一些逻辑来清理数据,我正在读写CSV数据。这是一个超过100K的大数据集。我正在使用beanshell写入CSV,速度非常快。

现在的最终目标是将数据写入下一个mySQL DB。

理想情况下,我不希望涉及CSV并直接写入mySQL DB,但这可能会有一个问题,那就是我需要添加JDBC步骤来调用它以获取10万条记录。

所以我想仍然写到CSV,然后从那里我想将记录分成1000或2000组,以减少SQL查询的负担。

注意:我无法删除beanshell部分,因为我正在解析JSON响应,然后写入CSV,因此必须对其进行处理。

任何建议解决方案将受到高度赞赏。

mysql csv jmeter bulkinsert
1个回答
0
投票

如果您需要将整个CSV最快最快地插入MySQL数据库,最简单的方法是使用LOAD DATA语句,例如:

LOAD DATA INFILE '/path/to/your/file.csv' INTO TABLE YOUR_TABLE_NAME_HERE FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\\r\\n'

[我也建议重新考虑您的“ beanshell”方法,since JMeter 3.1 it's recommended to use JSR223 Test Elements and Groovy language用于脚本编写,Groovy performs much better并具有built-in JSON support(以及SQL support)。

© www.soinside.com 2019 - 2024. All rights reserved.