首页 > 学院 > 开发设计 > 正文

JDBC批处理

2019-11-09 13:33:59
字体:
来源:转载
供稿:网友

因业务需要,要对Excel文档进行解析与入库,先期写的代码是使用poi解析一行入库一行

后续业务越来越多,解析的excel文档越发大,导入时间变得很长。

刚开始时是考虑使用异步的方式进行数据入库,后台收到了文件直接响应前端,然后开始进行文件的解析入库。,这里就涉及到一个用户体验的问题,因为用户角度看过去,文档已经上传完成。对应的,上传完成的东西应该已经可用。实际上..............

后来则采用了jdbc批处理来进行操作:

                  
                  Connection conn = null;	          PReparedStatement ps = null;		  //单次处理个数		  int count = 1000;	          try {	              conn = JdbcUtils.getConnection();	              String sql = "insert into user(name,age) values (?, ?) ";	              ps = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);	              int i = 0;	              for (Object object : list) {	                  ps.setString(1, object.getName());	                  ps.setInt(2, object.getAge());	                  ps.addBatch();	                  i++;			  //防止列表sql太多,出现outOfMemory	                  if(i==count){				  //执行列表中的sql	                	  ps.executeBatch();				  //清空当前sql命令列表	                	  ps.clearBatch();	                	  i=0;	                  }	              }	              if(list.size()<count){	            	  ps.executeBatch();                	  ps.clearBatch();	              }	          } finally {	              关闭各种连接	          }
时间变短,说明效果还是有的。

原理说明:

在大部分的应用当中,最耗时的操作应该是操作数据库(特殊不计),数据库操作中最耗时的是建立连接的过程。6000次的插入操作如果不做处理,需要做6000次的数据库连接操作。如果是批处理,则连接操作个数大大减小,自然速度变快


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表