MYSQL开发性能研究之批量插入数据的优化方法

一、我们遇到了什么问题

在标准SQL里面，我们通常会写下如下的SQL insert语句。

很显然,在MYSQL中，这样的方式也是可行的。但是当我们需要批量插入数据的时候，这样的语句却会出现性能问题。例如说，如果有需要插入100000条数据，那么就需要有100000条insert语句，每一句都需要提交到关系引擎那里去解析，优化，然后才能够到达存储引擎做真的插入工作。

正是由于性能的瓶颈问题，MYSQL官方文档也就提到了使用批量化插入的方式，也就是在一句INSERT语句里面插入多个值。即，

这样的做法确实也可以起到加速批量插入的功效，原因也不难理解，由于提交到服务器的INSERT语句少了，网络负载少了，最主要的是解析和优化的时间看似增多，但是实际上作用的数据行却实打实地多了。所以整体性能得以提高。根据网上的一些说法，这种方法可以提高几十倍。

然而，我在网上也看到过另外的几种方法，比如说预处理SQL，比如说批量提交。那么这些方法的性能到底如何？本文就会对这些方法做一个比较。

二、比较环境和方法
我的环境比较苦逼，基本上就是一个落后的虚拟机。只有2核，内存为6G。操作系统是SUSI Linux，MYSQL版本是5.6.15。

可以想见，这个机子的性能导致了我的TPS一定非常低，所以下面的所有数据都是没有意义的，但是趋势却不同，它可以看出整个插入的性能走向。

由于业务特点，我们所使用的表非常大，共有195个字段，且写满（每个字段全部填满，包括varchar）大致会有略小于4KB的大小，而通常来说，一条记录的大小也有3KB。

由于根据我们的实际经验，我们很肯定的是，通过在一个事务中提交大量INSERT语句可以大幅度提高性能。所以下面的所有测试都是建立在每插入5000条记录提交一次的做法之上。

最后需要说明的是，下面所有的测试都是通过使用MYSQL C API进行的，并且使用的是INNODB存储引擎。

三、比较方法

理想型测试（一）——方法比较

目的：找出理想情况下最合适的插入机制

关键方法：

1. 每个进/线程按主键顺序插入

2. 比较不同的插入方法

3. 比较不同进/线程数量对插入的影响

*“普通方法”指的是一句INSERT只插入一个VALUE的情况。

*“预处理SQL”指的是使用预处理MYSQL C API的情况。

* “多表值SQL(10条）”是使用一句INSERT语句插入10条记录的情况。为什么是10条？后面的验证告诉了我们这样做性能最高。