数据库加速解决方案

2024-07-21 02:39:09

字体：大中小

来源：转载

供稿：网友

　　一. 数据库为什么要加速
　　随着互联网和电子商务的迅猛发展，传统的大型结构化数据库系统越来越多的应用在Internet/Internet上，并担当着企业业务和信息系统核心的重任。
　　但是，本来是为了传统业务的开展而设计出来的数据库系统，已经越来越多的受到超大规模数据量和高强度瞬时并发访问的折磨和考验。无论是企业在Internet上的企业商务网站，还是企业内部Intranet/ERP/CRM等内部业务治理系统，随着数据量和业务量的不断高速增长，数据库系统的执行效率的低下，已经越来越成为制约整个系统性能和效率提升的瓶颈。目前企业级数据库系统面临的挑战：
　　1）企业业务信息和数据随业务的发展而持续膨胀
　　2）企业数据库访问量随着数据量本身增长而快速增长
　　3）信息数据来源的多样化，导致了数据治理的复杂化
　　4）数据统一集中治理后系统负载大规模增加
　　5）要对海量数据信息的整合处理
　　6）数据的深层次挖掘和分析的需求
　　7）企业数据的智能化处理的迫切要求
　　8）提供更个性化与专业化相结合的新服务
　　9）服务模式由以服务器为中心转变为以客户为中心，对数据库系统提出了更高的要求
　　10）信息系统的负载严重不均衡，急需有高强度瞬时大规模并发操作的能力
　　所以，我们认为，对于数据库企业级应用来说，应当采用加速技术，确保企业利益。
　　二. 如何为数据库加速
　　我们认为，为数据库提速应当包括三方面的含义：
　　◆提高数据库在大规模并发访问时的数据处理能力；
　　◆提高数据库索引的效率，从而大幅度提高单机数据查询效率；
　　◆丰富信息查询手段，适应网站信息查询的要求。
　　所以，我们建议用三个步骤来达到这个目的。
　　第一步：使用I-Search for DataBase提高单机检索速度
　　为了达到提高数据库索引的效率，丰富信息查询手段，提高数据库复合查询效率的目的，我们推荐使用I-Search for Database产品。I-Search for Database产品是I-Search检索系统与大型关系型数据库无逢对接的产品。
　　◆提高数据库索引的效率
　　我们将以往的全文信息检索的核心技术应用到提高数据库索引的效率方面来，形成了自己独特的I-Search for Database数据库内嵌式产品。
　　全文检索核心算法，其稳定性、安全性和高效性早已被象新华社这样的庞大信息量级的用户所验证。该系统主要是针对中文自然语言的特点，大量借鉴计算机技术、通讯网络技术、人工智能、汉语语言学、情报学、图书馆学等多学科多领域的成熟理论和技术，实现了一系列要害技术的突破，，如"混合索引机制"、"智能检索"、"机器学习机制" 、"中英文混合索引" 等等。这些技术被用户所普遍认同、被业界同行所接受并逐步学习。　
　　◆丰富信息查询手段，提高数据库复合查询效率
　　I-Search for Database通过建立"进阶"索引的方式，可以提高多字段联合查询的效率。而多字段联合查询则是复合查询中一种较为简单的查询方式。
　　而I-Search 作为专业的检索系统，本身就提供了十几种专业的信息查询方式，例如：词检索、字包含检索、联想检索、智能检索等等。而且，I-Search还支持二次检索，支持检索词之间的逻辑运算。甚至专业的搜索引擎功能，也可以被I-Search很好的支持。
　　第二步：采用分布式检索方案提高并发检索效率
　　单机系统（不管是NT还是UNIX）的系统负载能力总是有限度的，当系统负载达到极限时，系统整体的运作效率就会严重下降。根本解决这个问题的方法，就是采用多机分布式计算方案。采用分布式检索技术并辅以负载
　　均衡设备（软件或硬件），可以使系统大幅度提高并发检索的效率。其系统信息流程结构图如下：
　　　数据库加速解决方案（图一）

　　第三步：采用Cache Server提高大规模并发检索效率
　　采用多WWW服务器和多数据库服务器与高速缓存服务器，将多用户并发检索访问时的系统检索效率提高到一个新的水平。
　　　数据库加速解决方案（图二）

　　在WWW的内存和多CPU，其单机内存缓冲能力可达100万至1000万条纪录，并且可以达到200~400次/秒的并发处理能力，在经过一段时间的实际使用后，通过内部的自学习和自适应机制，可以为数据库缓解50%至80%的数据查询压力。这就是说，会有50%~80%的查询请求根本不通过数据库，即可得到查询结果。网站整体效率可以提高100%~500%。大大缓解了数据库服务器数据查询压力的作用。
　　而且，I-Cache也可以把不同的查询请求"分发"给不同的数据库服务器，进一步降低单台数据库服务器的数>据查询压力，并且形成一套完整的分布式计算的应用。　
　　该方案的特点是，可以通过增加WWW服务器的方式提高网站的负载能力，并且通过增加数据库服务器的方式，来提高并发检索的效率。

　　三. 数据库加速带来的利益与好处
　　数据库加速解决方案（图三）