因业务需要,要对Excel文档进行解析与入库,先期写的代码是使用poi解析一行入库一行
后续业务越来越多,解析的excel文档越发大,导入时间变得很长。
刚开始时是考虑使用异步的方式进行数据入库,后台收到了文件直接响应前端,然后开始进行文件的解析入库。,这里就涉及到一个用户体验的问题,因为用户角度看过去,文档已经上传完成。对应的,上传完成的东西应该已经可用。实际上..............
后来则采用了jdbc批处理来进行操作:
Connection conn = null; PReparedStatement ps = null; //单次处理个数 int count = 1000; try { conn = JdbcUtils.getConnection(); String sql = "insert into user(name,age) values (?, ?) "; ps = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS); int i = 0; for (Object object : list) { ps.setString(1, object.getName()); ps.setInt(2, object.getAge()); ps.addBatch(); i++; //防止列表sql太多,出现outOfMemory if(i==count){ //执行列表中的sql ps.executeBatch(); //清空当前sql命令列表 ps.clearBatch(); i=0; } } if(list.size()<count){ ps.executeBatch(); ps.clearBatch(); } } finally { 关闭各种连接 }时间变短,说明效果还是有的。原理说明:
在大部分的应用当中,最耗时的操作应该是操作数据库(特殊不计),数据库操作中最耗时的是建立连接的过程。6000次的插入操作如果不做处理,需要做6000次的数据库连接操作。如果是批处理,则连接操作个数大大减小,自然速度变快
新闻热点
疑难解答