mysql中迅速插入百万条测试数据的方法

2024-07-24 12:49:22

字体：大中小

来源：转载

供稿：网友

对比一下，首先是用 mysql 的存储过程弄的:
复制代码代码如下:

mysql>delimiter $
mysql>SET AUTOCOMMIT = 0$$
mysql> create procedure test()
begin
declare i decimal (10) default 0 ;
dd:loop
INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES
(268, 2, '0,262,268,', 0, '2342', '423423', '123123', '2012-01-09 09:55:43', 'upload/product/20111205153432_53211.jpg', 'upload/product/thumb_20111205153432_53211.jpg', 1, 0, 0, 0, 'admin', '0', 0, 0, 0);
commit;
set i = i+1;
if i= 1000000 then leave dd;
end if;
end loop dd ;
end;$
mysql>delimiter ;
mysql> call test;

结果
mysql> call test; Query OK, 0 rows affected (58 min 30.83 sec)
非常耗时。
于是我又找了一个方法
先用PHP代码生成数据，再导入：
复制代码代码如下:

<?php
$t=mktime();
set_time_limit(1000);
$myFile="e:/insert.sql";
$fhandler=fopen($myFile,'wb');
if($fhandler){
$sql="268/t2/t'0,262,268,'/t0/t '2342'/t'423423'/t'123123'/t'23423423'/t'2012-01-09 09:55:43'/t'upload/product/20111205153432_53211.jpg'/t'upload/product/thumb_20111205153432_53211.jpg'/tNULL/tNULL/t38/t'件'/t''/t123/t123/t0";
$i=0;
while($i<1000000)//1,000,000
{
$i++;
fwrite($fhandler,$sql."/r/n");
}
echo"写入成功,耗时：",mktime()-$t;
}

然后再导入
复制代码代码如下:

LOAD DATA local INFILE 'e:/insert.sql' INTO TABLE tenmillion(`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `description`, `add_date`, `picture_url`, `thumb_url`, `shop_url`, `shop_thumb_url`, `brand_id`, `unit`, `square_meters_unit`, `market_price`, `true_price`, `square_meters_price`);

注意字段不再以逗号分割，以/t分割，条记录以/r/n分割。结果我插入10次数据，100W平均只要1分钟搞定。
第二种方式mysql中间省略了很多中间步骤，导致插入速度远胜于第一种，具体的没有研究。

快速生成mysql上百万条测试数据
由于测试需要，原表中只有1万条数据，现在随机复制插入记录，快速达到100万条。

itemid是主键。

运行几次下面代码。随机取1000条插入，

insert into downitems (chid,catid,softid,....)
SELECT chid,catid,softid... FROM `downitems` WHERE itemid >= (SELECT floor(RAND() * (SELECT MAX(itemid) FROM `downitems`))) ORDER BY itemid LIMIT 1000;

然后可以修改1000的数字了。改为5000或者1万。很快可以达到100万的数据量了。

您可能感兴趣的文章:

MYSQL开发性能研究之批量插入数据的优化方法MySql批量插入优化Sql执行效率实例详解mysql如何优化插入记录速度MySQL实现批量插入以优化性能的教程解析优化MySQL插入方法的五个妙招深入mysql并发插入优化详解MySQL 大数据量快速插入方法和语句优化分享mysql 数据插入优化方法MySql中把一个表的数据插入到另一个表中的实现代码MySQL批量SQL插入性能优化详解

上一篇：深入理解mysql SET NAMES和mysql(i)_set_charset的区别

下一篇：揭秘SQL优化技巧改善数据库性能