大数据分页实现与性能优化

大数据分页实现与性能优化

摘要：Web 应用程序中经常使用数据分页技术，该技术是提高海量数据访问性能的主要手段。实现web数据分页有多种方案，本文通过实际项目的测试，对多种数据分页方案深入分析和比较，找到了一种更优的数据分页方案Row_number()二分法。它依靠二分思想，将整个待查询记录分为2部分，使扫描的记录量减少一半，进而还通过对数据表及查询条件进行优化，实现了存储过程的优化。根据Row_number()函数的特性，该方案不依赖于主键或者数字字段，大大提高了它在实际项目中的应用，使大数据的分页效率得到了更显著的提高。

关键词：数据分页；性能优化； web应用

中图分类号： 文献标识码： 文章编号：

Big Data Paging Implementation and Performance Optimization

WangLing

(College of information science and technology of Shijiazhuang Railway University, Hebei Shijiazhuang 050043)

Web applications often use data paging technology, which is to imPRove the massive primary means of data access performance. Web data paging to achieve a variety of programs, this test through practical projects, a variety of data paging scheme in-depth analysis and comparison found a better data paging scheme Row_number () dichotomy, it relies on two points thoughts, the entire subject to query log is divided into two parts, so that scanned records reduced by half, and then through a data table and query optimization, optimized to achieve a stored procedure. According Row_number () function characteristics, the program does not depend on the primary key or a numeric field, greatly improving its practical application in the project, so that large data paging efficiency has been more significant increase.

KeyWords： data paging ； web application ； performance optimization

0引言

在web应用程序开发过程中，不可避免的要频繁查询数据库中的数据。随着互联网的飞速发展，中大型系统的数据量变得庞大而复杂，要提高系统的响应性能，就需要降低客服端和服务器端数据的传输量，因此大数据分页的功能不可或缺。若选择一个不合理的数据分页方案，大数据在查询时就会引发网络资源严重浪费【1】，网站拥堵，查询界面等待时间过长等一系列严重影响系统性能的问题。所以，一个有效的大数据分页方案对于系统的性能而言至关重要。解决大数据分页的问题，不同的人会采用不同的方法，其访问性能各有优劣。笔者通过比较多种分页研究方案【2】，根据实际案例的测试结果，综合分析各种分页方案的利弊，扬长避短，最终找到一种更优于以往的分页方案，Row_number()二分法。二分思想在计算机中早有应用，二分查找算法就是二分思想的具体体现，将它引入到存储过程中，依靠二分法的思想，对Row_number()存储过程分页进行优化设计，从而加快查询速度，提高大数据的分页效率。

1 动态网页数据分页

Web数据分页是基于降低数据传输量来提高服务响应时间的分页方法。但是不同的数据分页方法，带给Web主机的系统I/O访问性能是不同的。无论是java平台，还是.NET平台，对数据的分页都提供了多种方法，主要分为2大类：一类是内存数据分页，一类是数据源分页。

1．1内存数据分页

所谓内存数据分页【3】就是当客户端向 Web服务器发出查询请求时，Web 服务器响应请求并构建 SQL 语句发送到数据库服务器，数据库服务器执行 SQL 语句并返回整个结果集给 Web 服务器，Web 服务器再执行内存数据分页操作并把该页数据发往客户端，完成一次查询。内存数据分页的流程如图1所示：