Microsoft SQL Server 2005 中的 XML 支持（1）

　　本文探讨 sql server 2005 中内置的 xml 支持。描述了这种支持如何与 .net 框架 v2.0 和本机代码（例如 oledb 和 sqlxml）均支持的客户端编程相集成。

　　一、简介

　　可扩展标记语言 (xml) 作为一种与平台无关的数据表示形式已被广泛采用。它对于在松散耦合且完全不同的系统，以及各种企业到企业 (b2b) 应用和工作流范畴内交换信息是很有用的。数据交换已成为 xml 技术的主要驱动力之一。.

　　xml 在企业应用程序中的使用正日益广泛，它主要用于对半结构化和非结构化数据进行建模。文档管理就是这样的一种应用程序。像电子邮件这样的文档是半结构化性质的。如果文档以 xml 的形式存储在数据库服务器中，就可以开发功能强大的应用程序来根据文档内容检索文档、查询部分内容（例如查找标题包含单词“背景”的部分），以及查询文档聚合。如果存在能够生成和使用 xml 的应用程序，则这样的方案就变得可行了。例如，microsoft office 2003 系统允许用户以 xml 标记的形式生成 word、excel、visio 和 infopath 文档。

　　这一部分简要概述了 sql server 2000 中的 xml 支持，以及随后发布的 sqlxml 客户端编程平台 web 版，它提供了丰富的支持来将关系数据映射到 xml 数据或将 xml 数据映射到关系数据。

　　在服务器上，xml 数据可以从表生成，并通过在 select 语句中使用 for xml 子句来查询结果。这对于数据交换和 web 服务应用程序是很理想的。for xml 的逆函数是一个名为 openxml 的关系行集合生成器函数；它通过求 xpath 1.0 表达式的值来从 xml 数据提取值，并将其放到行集合的列中。应用程序使用 openxml 来“切碎”传入 xml 数据，并将其存放到表中，或者用于通过 t-sql 语言进行的查询。

　　sql server 2000 对客户端编程的支持称为 sqlxml。这项技术的核心是 xml 视图，它是 xml 架构和关系表之间的双向映射。sql server 2000 只支持 xdr 架构的映射，尽管在后续的 web 版中增加了对 xsd 的支持。xml 视图允许使用 xpath 1.0 的一个子集来进行查询，其中，可以使用映射将路径表达式转换成底层表中的 sql 查询，并且将查询结果打包成 xml 结果。

　　sqlxml 还支持您创建 xml 模板，这使得您可以创建带有动态部分的 xml 文档。在 xml 文档中，您可以嵌入 for xml 查询和/或映射查询之上的 xpath 1.0 表达式。在执行 xml 模板时，可以用查询的结果来替换查询块。通过这种方式，您可以创建带有某些静态内容和某些数据驱动的动态内容的 xml 文档。

　　在sql server 2000 中，有两种访问 sqlxml 功能的主要方法：

　　服务器和客户端编程平台为基于表格和 xml 数据之间的映射生成和使用 xml 数据提供了丰富的支持。这能够相当好地处理结构化 xml 数据。在 sqlxml 中，查询语言是 xpath 1.0 的一个子集，并且有一些局限性。例如，不支持 descendant-or-self 轴 (//)。因此，在开发某些解决方案时会存在一定的限制。例如，不保存 xml 文档顺序，而这对于像文档管理这样的应用程序来说是非常关键的。此外，还不支持递归的 xml 架构。尽管存在这样一些局限性，但是客户端 sqlxml 和服务器 xml 功能还是在应用程序开发中得到了广泛的使用。sql server 2005 解决了许多这样的限制，扩展了关系 xml 交换功能，并且还提供了原生 xml 支持。

　　这一部分简要概述了 sql server 2005 中增加的新的 xml 支持，它是通过.net 框架 v2.0 中的支持和本机客户端数据访问（如 ole db）进行补充的。

　　xml 数据模型具有一些特性，这些特性使得映射到关系数据模型非常困难，如果不是完全不可能的话。xml 数据具有可以递归的层次结构；关系数据库提供对层次数据（建模为外键关系）的弱支持。文档顺序是 xml 实例的固有属性，并且必须保存在查询结果中。这与关系数据形成了对比，关系数据是无序的，必须通过附加的排序列来强制进行排序。在查询时重新组合结果是很费力的，因为实际的 xml 架构将 xml 数据分解到大量的表中。

　　sql server 2005 引入了一种称为 xml 的本机数据类型。用户可以创建这样的表，它在关系列之外还有一个或多个 xml 类型的列；此外，还允许带有变量和参数。为了更好地支持 xml 模型特征（例如文档顺序和递归结构），xml 值以内部格式存储为大型二进制对象 (blob)。

　　sql server 2005 提供了 xml 架构集合，可以将其作为一种方法来以元数据的形式管理 w3c xml 架构。xml 数据类型可以与 xml 架构集合相关联，以便对 xml 实例强加架构限制。当 xml 数据与 xml 架构集合相关联时，它称为类型化的 xml；否则，就称为非类型化的 xml。在一个框架中可以同时容纳类型化的 xml 和非类型化的 xml，保留 xml 数据模型，并且强制采用 xml 语义进行查询处理。底层关系基础结构被广泛用于这一目的。它支持关系数据和 xml 数据之间的互操作，这为更广泛地采用 xml 功能开辟了道路。

　　可以使用 t-sql select 语句来检索 xml 实例。在 xml 数据类型中提供了五种内置的方法来查询和修改 xml 实例。

　　xml 数据类型的方法接受 xquery，它是一种新出现的 w3c 标准语言（目前处于 last call（最后请求）状态），并且包括导航语言 xpath 2.0。也可以使用一种语言来修改 xml 数据，比如添加或删除子树和更新标量值。与一大组函数一起，嵌入式的 xquery 和数据修改语言为处理 xml 数据提供了丰富的支持。

　　xquery 类型系统与 w3c xml 架构类型是一致的。大多数 sql 类型与 xquery 类型系统是兼容的（例如，小数）。少数类型（例如，xs:duration）是以内部格式存储的，并且可以通过适当的解释来与 xquery 类型系统兼容。

　　编译阶段检查 xquery 表达式和数据修改语句的静态类型的正确性，并且在类型化 xml 的情况下使用 xml 架构来进行类型推理。如果表达式由于类型安全冲突而在运行时失败，则会产生静态类型错误。

　　查询执行在运行时处理每个 xml 实例；如果 xml 值比较大或需要在表的许多行中对查询进行求值，则查询执行就会变得非常费时。因此提供了一种索引 xml 列的机制来加速查询。

　　b+ 树广泛用于建立关系数据的索引。xml 列的主 xml 索引在该列中 xml 实例的所有标记、值和路径上都创建一个 b+ 树索引。通过这种方式，可以有效地对 xml 数据中的查询进行求值，并且在保留文档顺序和文档结构的同时从 b+ 树重新组合 xml 结果。

　　可以在 xml 列中创建次 xml 索引来加速不同类别的常见查询：path 索引（用于基于路径的查询）、property 索引（用于属性包的情况）和 value 索引（用于基于值的查询）。

　　xml 列、变量和参数可以根据 xml 架构的集合（它可能与另一个集合相关（例如，通过使用 ）或不相关）有选择地进行类型化。每个类型化的 xml 实例都从它遵循的 xml 架构集合指定目标命名空间。数据库引擎在数据分配和修改时根据 xml 架构来验证实例的有效性。

　　xml 架构信息用于存储和查询优化。类型化的 xml 实例在内部的二进制表示中包含类型化的值，这与 xml 索引中的一样。通过这种方式，可以有效地处理类型化 xml 数据。

　　用户可以在同一个数据库中存储关系数据和 xml 数据。简而言之，数据库引擎除了知道如何遵循关系数据模型之外，还知道如何遵循 xml 数据模型。在升级到 sql server 2005 之后，关系数据和 sql 应用程序仍然能够正常工作。在服务器上，可以将驻留在文件和文本或图像列中的 xml 数据移到 xml 数据类型的列中。通过使用 xml 数据类型的方法，可以建立 xml 列的索引，并对其进行查询和修改。

　　数据库利用现有的关系基础结构和引擎组件（例如存储引擎和查询处理器）来进行 xml 处理。例如，xml 索引可以创建 b+ 树，而且可以在 showplan 输出中查看查询计划。通过集成到关系框架中，数据管理功能（如备份/恢复和复制）可用于 xml 数据。同样地，新的数据管理功能（如数据库镜像和快照隔离）可以处理 xml 数据类型，以提供无缝的用户体验。

　　结构化数据应该存储在表和关系列中。当应用程序需要执行细粒度查询和数据修改时，对于使用 xml 的半结构化数据和标记数据，xml 数据类型是比较合适的选择。

　　现有的 for xml 功能已经在几个方面得到了增强。它能够处理 xml 数据类型的实例和其他新的 sql 类型，例如 [n]varchar(max)。

　　新的 type 指令生成的 xml 数据类型实例可以分配给 xml 列、变量或参数，也可以使用 xml 数据类型的方法进行查询。这允许嵌套 select ...for xml type 语句。

　　path 模式允许用户指定出现列值的 xml 树中的路径，并且与上述嵌套一起使用时比 for xml explicit 更易于编写。

　　xsinil 指令与 elements 一起使用，可以将 null 映射到带有属性 xsi:nil="true" 的元素。另外，新的 root 指令还允许在所有的 for xml 模式下指定根节点。新的 xmlschema 指令生成 xsd 内联架构。

　　openxml 的功能增强包括在 sp_preparedocument 中接受 xml 数据类型以及在行集中生成 xml 和新的 sql 类型的列。

　　客户端可以通过几种方式访问服务器中的 xml 数据。使用 odbc 和 ole db 的本机 sql 客户端访问以 unicode 字符串的形式传递 xml 数据类型。ole db 还提供对流 unicode 数据的 xml 数据类型的 isequentialstream 访问。

　　托管访问通过 .net 框架 v2.0 中的 ado.net 将 xml 数据作为一个名为 sqlxml 的新类进行传递。它支持一个名为 createreader() 的方法，该方法返回 xmlreader 实例来读取返回的 xml。同样地，数据集能够将 xml 数据类型的实例加载到中间层的列，中间层可以作为 xml 文档进行编辑，并且重新保存到 sql server。这两者都支持对服务器发出 sql 查询，以检索在中间层操作的 xml 列。

　　在 sql server 2005 中，可以使用直接对 http 终结点进行的soap 访问来查询、检索和修改 xml 数据。

　　本机和托管客户端技术都提供了新的接口来检索类型化 xml 列的 xml 架构集合。

　　除了使用 ado.net 来检索表并将结果存放到关系数据集中之外,您还可以使用 xquerycommand 类将关系数据直接加载到中间层的 xml 文档。该类提供了一个中间层 xquery 处理器，它能够将 t-sql 语句作为 xquery 语言的一部分嵌入。通过这种方式，您可以查询本地 xml 文件，也可以从 sql server 检索数据（直接从表或者通过数据库存储程序），再将数据构造成 xml 格式，然后将其加载到中间层 xml 文档。这大大简化了 sql server 中的查询，将查询结果构造成特定的 xml 格式，并使其流向业务合作伙伴，而不需要将数据加载到数据集来执行数据转换。

　　二、推动 xml 存储方案

　　xml 数据变得越来越普遍.它可以表示客户数据，带有或不带有描述数据的 xml 架构均可。xml 数据和 xml 架构需要在一起进行管理。实际应用程序的 xml 架构通常比较复杂，因而将这样的 xml 架构映射到表和列是一项复杂的任务。当 xml 架构改变或新的架构加入系统时，长时间维护这样的映射是一件很麻烦的事情。通常，xml 数据存储在文件系统或数据库服务器的文本列中。文本列有数据管理方面的好处（例如，复制和备份/恢复），但是不提供任何基于数据的 xml 结构的查询支持。在具有原生 xml 支持的情况下，使用 xml 进行应用程序开发变得更快。

　　一些应用程序（例如用户界面软件）允许用户从一组固定的属性中进行选择。而其他应用程序则允许用户定义他们自己感兴趣的属性。如果这样的自定义属性是以 xml 的格式存储的，它们就可以很好地进行管理。应用程序可以支持标量属性以外的属性：

　　可以将对象属性存储在 xml 数据类型的列中并建立索引，从而提高查询处理的效率。

　　xml 允许采用平台无关的方式在应用程序之间交换数据。可以使用 xml 标记将这样的数据建模为消息。代替不断地分割和生成 xml 消息，以 xml 的格式存储消息是明智的。这正是数据流所需要的。到达工作流阶段的 xml 消息携带着当前的状态。每个消息都需要进行处理，处理的进展记录在 xml 内容中（如状态改变），然后将 xml 数据转发到工作流处理的下一个阶段。消息可能是不同类型的，甚至可能是半结构化的，并且有不同的 xml 架构与它们相关联，因此将它们映射到表并不总是一件轻而易举的事。

　　针对不同垂直领域（如金融数据和地理空间数据）的基于 xml 的标准正在形成。这些标准根据可以查询和更新的实例数据来描述数据的结构。通常，实际数据采用的是二进制形式，而 xml 数据提供关于它们的元数据信息。

　　举一个简单的例子，为了将一个输入参数表传送到存储程序或函数，应用程序首先将数据转换成 xml，然后将其作为一个 xml 数据类型参数进行传递。在存储过程或函数内，从 xml 参数重新生成行集。

　　假设有一个呼叫中心，它采用 xml 文档来维护患者记录和谈话。当患者发起呼叫时，呼叫中心希望恢复前面的谈话以设置传入呼叫的情景。这可以通过查询 xml 标记实现，从而给应用程序带来好处。此外，还可以方便地检索以前谈话的细节并记录当前的谈话。

　　像电子邮件之类的文档本质上是半结构化的。带有 xml 标记的文档正变得越来越容易创建，例如，使用 office 2003。可以将这些 xml 文档存储在 xml 列中，并建立索引，进行查询和更新。因此，通过利用原生 xml 支持，开发人员可以做更多的事情。

　　三、sql server 2005 中的服务器端 xml 处理

　　sql server 2005 支持包括提供一个数据库，在这个数据库中，您可以存储关系数据和 xml 数据。

　　您可以使用普通的 create table 语句来创建带有 xml 列的表。然后就可以采用一种特别的方式来建立 xml 的索引。

　　sql server 2005 xml 数据类型实现了 iso sql-2003 标准 xml 数据类型。因此，它不仅可以存储格式良好的 xml 1.0 文档，而且可以存储所谓的 xml 内容片段（带有文本节点和任意数目的顶层元素）。在对数据进行格式良好性检查时，并不要求将 xml 数据类型绑定到 xml 架构，但是格式不规范的数据将被拒绝。

　　当架构不是已知先验的 并且因此而导致基于映射的解决方案不可能实现时，就可以使用非类型化的 xml。如果架构是已知的，但映射到关系数据模型非常复杂并且难于维护，或者存在多个架构而且这些架构是后来根据外部要求绑定到数据的，也可以使用非类型化的 xml。

　　例:表中非类型化的 xml 列

　　下面的语句创建一个名为“docs”的表，该表带有整型主键“pk”和非类型化的 xml 列“xcol”：

　　也可以创建一个包含多个 xml 列或关系列、带主键或不带主键的表。

　　如果 xml 架构集合中有描述 xml 数据的 xml 架构，就可以将 xml 架构集合与产生类型化 xml 的 xml 列相关联。可以使用 xml 架构来验证数据的有效性，在编译查询和数据修改语句时执行比非类型化的 xml 更精确的类型检查，以及优化存储和查询处理。

　　类型化的 xml 列、参数和变量可以存储 xml 文档或内容，可以在声明时将其指定为一个选项（分别为document 或 content，默认为 content）。此外，还必须提供 xml 架构集合。如果每个 xml 实例都正好有一个顶层元素，则指定 document；否则，使用 content。查询编译器在类型检查中使用 document 标记来推理 singleton 顶层元素。

　　例:表中的类型化 xml 列

　　xml 列、变量和参数可以绑定到一个 xml 架构集合（请参阅本文后面的“xml 架构处理”一节以获得更多的详细信息和示例）。假定 mycollection 代表这样一个集合。下面的语句创建一个表 xmlcatalog，带有使用 mycollection 进行类型化的 xml 列文档。类型化的 xml 列还被指定为接受 xml 片段，而不只是 xml 文档。

　　在下列条件下使用约束：

　　例:约束 xml 列

　　要确定<book>的<author>的<last-name> 不同于<author>的<first-name> ，可以指定下列 check 约束：

　　create table docs (pk int primary key, xcol xml not nullconstraint ck_name check (xcol.exist('/book/author[first-name = last-name]') = 0))

　　sql server 2005 将 xml 数据存储为 unicode (utf-16)。从服务器检索的xml 数据，其结果也是 utf-16 编码的。如果想要采用一种不同的编码方式，就需要在检索数据之后进行必要的转换，转换的方法有两种，一种是通过强制类型转换，另一种是在中间层执行转换。例如，可以在服务器上将 xml 数据强制转换成 varchar 类型，在这种情况下，数据库引擎会通过 varchar 类型的排序所确定的编码方式来序列化 xml。

　　可以通过多种方式为 xml 列、参数或变量提供 xml 值。

　　对提供的值进行格式良好性检查，并且允许存储 xml 文档和 xml 片段。如果数据没有通过格式良好性检查，则拒绝它，并发出一个适当的错误消息。

　　对于类型化的 xml，需要检查提供的值是否符合已注册到类型化 xml 列的 xml 架构集合的 xml 架构。如果该 xml 实例没有通过这种有效性验证，则拒绝它。此外，仅当 content 允许提供 xml 文档和内容时，类型化的 xml 中的 document 标记才将所接受的值限制为 xml 文档。

　　例:将数据插入非类型化的 xml 列

　　下列语句在表 docs 中新插入一行，其中在整型的 pk 列插入的值为 1，而在 xml 列插入的是 实例。 数据（作为字符串提供）被隐式地转换为 xml 数据类型，并且在插入的过程中进行格式良好性检查。

　　例:将来自文件的数据插入非类型化的 xml 列

　　如下所示的 insert 语句使用 openrowset 读取文件 c: empxmlfile.xml 的内容作为 blob。在表 docs 中新插入一行，值 10 作为主键，而 blob 作为 xml 列 xcol。格式良好性检查出现在文件内容分配到 xml 列时。

　　例:将数据插入类型化的 xml 列

　　类型化的 xml 列需要 xml 实例数据指定用于对其进行类型化的 xml 架构的目标命名空间（该命名空间可以为空）。在下面的示例中，这是通过命名空间声明 xmlns=http://mydvd 来实现的。

　　例:存储使用带有 type 指令的 for xml 生成的 xml 数据

　　通过 type 指令增强的 for xml 可以生成像 xml 数据类型实例这样的结果。结果 xml 可以分配到 xml 列、变量或参数。在下面的语句中，使用 for xml type 生成的 xml 实例被分配给 xml 数据类型的变量 @xvar。可以使用 xml 数据类型的方法来查询变量。

　　null 返回值可以在外部 select 语句中过滤掉。或者也可以使用 exist() 方法，如下一个示例所示。

　　例:使用 exist() 方法

　　考虑下面的查询，它在表 docs 的 xml 列 xcol 中包括 query() 和 exist() 方法。exist() 方法求路径表达式 /doc[@id = 123] 的值，检查是否存在顶层 元素，该元素具有一个称为 id 的属性，且其值为 123。对于每个这样的行，select 子句中的 query() 方法都会进行求值；在这个示例中，query() 方法在 元素下的任何位置都产生一个 元素序列。从 exist() 方法返回 0 的任何行都会被忽略。

　　例:使用 value() 方法

　　下面的查询使用 value() 方法以 unicode 字符串的形式提取文档第三部分的标题。结果的 sql 类型的 nvarchar(max) 被指定为 value() 方法的第二个参数。xquery 函数 data() 从 节点提取标量值。

　　select xcol.value( 'data((/doc//section[@num = 3]/heading)[1])', 'nvarchar(max)') from docs

　　众多的 xml 都来源于存储在文件系统、web 服务或配置文件中的 office 文档。事实上，以 xml 格式或作为虚拟 xml 文档生成的数据正在不断地增加。为了处理这些数量越来越多的数据，一种强大的查询语言 xquery 应运而生。在 xquery 语言规范（位于 http://www.w3.org/tr/xquery）中将选择 xquery 的理由描述为：

　　内嵌于 t-sql 的 xquery 子集（位于 http://www.w3.org/tr/xquery/）是一种支持查询 xml 数据类型的语言。这种语言正在由 worldwide web consortium (w3c) 进行开发（目前处于最后请求状态），所有主要的数据库厂商（包括 microsoft 在内）都参与其中。我们的实现与 2003 年 11 月发布的 xquery 草案是一致的。

　　xquery 将 xpath 2.0 作为导航语言包括在内。sql server 2005 的 xquery 实现提供了用于遍历节点 (for)、节点检查 (where)、返回值 (return) 和排序 (order by) 的构造。它也提供了用于在查询过程中重新进行数据构形的元素构造。

　　sql server 2005 还提供了用于 xml 数据类型的数据修改 (dml) 的语言构造（请参阅下面的“数据修改”一节以获得更多信息）。下面的示例演示了如何将 xquery 用于 xml 数据类型。

　　例:使用 xquery 中丰富的语言构造

　　下面的查询显示了如何一起使用几个 xquery 语言构造。它从 id 为 123 的文档返回区域号为 3 和更高的区域中的标题，并将其包装在新标记 中。

　　“for”遍历 id 为 123 的<doc> 元素下的所有<section> 元素，并且将每个这样的<section> 元素绑定到变量 $s。“where”确保区域号（<section> 元素的 @num 属性）为 3 或更高。该查询按照文档顺序返回区域<heading> 中的值，并且将其包装在一个称为<topic> 的构造元素中。

　　sql 语句是由 sql 解析器解析的。当它遇到 xquery 表达式时，它就会跳转到 xquery 编译器，然后编译 xquery 表达式。这会产生一个查询树，并将其嫁接到整个查询的查询树上。

　　整个查询树会进行查询优化并产生物理查询计划，该计划是根据基于成本的评估得出的。showplan 输出显示了大部分关系运算符和一些新的运算符（例如，用于 xml 处理的 udx）。

　　查询执行与关系框架中的其余部分一样，都是面向元组的。在表 docs 的每一行上都求 where 子句的值；这需要在运行时解析 xml blob 以求出 xml 数据类型方法的值。如果条件满足，则锁定行，然后在行中求 select 子句的值。结果以 xml 数据类型的形式产生（用于 query() 方法），并且转换成指定的目标类型（用于 value() 方法）。

　　而如果该行不满足 where 子句中的条件，它就会被忽略，执行转到下一行。