数据变换和转换注意事项(SQL)
2024-07-21 02:10:52
供稿:网友
使用数据转换服务 (dts) 转变或转换异类数据和目的服务器之间的数据之前,请考虑不同程序、提供程序以及驱动程序支
持数据类型和 sql 语句的方式的变化。
当使用 microsoft® sql server™ 作为数据源时,请考虑下列事项:
将 real 数据类型转换为 int 数据类型也许不能返回精确的值,因为 sql server 2000 只支持精确度为 6 位数字的
real 数据类型。例如,real 型数字 2147480000 可能生成 2147480065 的 int 值。
从一个文本文件将 string (dbtype_wstr) 列转换为 date (dbtype_date) 或 time (dbtype_time) 列时,ole db 数据转
换服务组件只接受一种日期或时间格式 (yyyy-mm-dd hh:mm:ss.fffffffff)。使用日期时间字符串转换,或者使用 cdate
函数编码 microsoft activex® 脚本转换正确地转换日期。
sql server 2000 不支持 ole db 类型 dbtype_date 或 dbtype_time。sql server 2000 只支持 dbtype_datetime。
若要通过多步骤访问数据,请避免在转换过程中使用 temp 表。应使用全局 temp 表或在 tempdb 中创建永久表。
从 temp 表返回行的存储过程不能用作转换源。可以使用存储过程从全局 temp 表或表返回行。
在转换数据任务、数据驱动的查询任务或 dts 设计器中的执行 sql 任务中使用临时表时,请记住:不能使用 transact-
sql 语句或调用 temp 表的存储过程作为源。
该限制并不应用于 dts 设计器的外部。可使用通过编程方式访问 sql server temp 表的源语句或存储过程。
dts 导入/导出向导和 dts 设计器
当使用 dts 导入导出向导和 dts 设计器创建包时,请考虑以下事项:
dts 用户界面允许共享任务中现有的连接,但是同一个连接不能既用在一个转换的源中又用在该转换的目的中。
使用 dts 设计器或 dts 导入/导出向导,有可能为一些只作为数据源的提供程序指定只读或正在使用状态(例如,
microsoft access 和 odbc dsn )。单击"连接属性"对话框中的"高级"选项卡,然后在"高级连接属性"对话框中,将模式
属性值设置为 1。
使用 dts 导入/导出向导或 dts 设计器创建表时,在目的地上创建的表的所有者为当前用户(通常是 dbo),与谁是源表
的所有者无关。这将产生这种情况:dbo 试图在目的地创建一个表,而该表的名称已经存在,从而导致尝试失败。
当使用 dts 设计器定义数据驱动的查询时,数据目的地必须能够支持 ole db icommand 接口。由于这种限制,类似文本
文件的目的不被支持。
如果 text、ntext 和 image 类型的字段长度超过 8388602 字节,则 dts 的复制 sql server 对象任务将截断超出的部
分。dts 设计器或 dts 导入/导出向导不显示任何错误信息,而是显示任务已成功完成。
唯一的失败指示是一条写入日志文件的日志消息,此文件的名称为 <server>.<database>.log,位于"复制 sql server 对
象任务属性"对话框的"复制"选项卡所指定的脚本文件目录中。此日志消息详细说明表和列,但不指出发生截断的行。无任
何错误记录写入 dts 错误文件或 sql server 日志。
microsoft sna server
当使用 microsoft sna server 作为数据源时,请考虑下列事项:
as/400 和 vsam 的 microsoft ole db 提供程序不支持 dts 导入/导出向导用来创建或截断表的 sql 语句。
microsoft access
使用 access 时,应考虑下列事项:
当从 sql server 2000 中将数据导出到 microsoft access 97 或更早的版本中,access 的 microsoft ole db 提供程序
在内存中为所有插入设置缓冲区,并且只在 dts 导入/导出向导完成操作时提交它们。结果是,可以在导出大量表时,面
对内存较小的形势。然而,可以通过构造在多个传递中发送较少行数的 select 语句解决该问题。
microsoft visual foxpro
microsoft visual foxpro® 只支持 numeric 数据类型的 (15,9) 精度。如果导出到 visual foxpro 的数据超出该精
度,则会被截断并四舍五入。
visual foxpro 不支持 select into 语句。
dts 查询设计器支持 visual foxpro insert value 语句,但不支持使用 select 语句的 insert 语句。
odbc 的 microsoft ole db 驱动程序无法使用 foxpro odbc 驱动程序将 blob 写入 visual foxpro,因为 visual
foxpro 不支持动态游标。
odbc
当连接到 odbc 数据源时,请考虑下列事项:
odbc 的 microsoft ole db 提供程序在执行导出操作时需要一个在带有 blob 数据列的所有目标表上的唯一键。
当使用带有 sql server odbc 驱动程序的 odbc 的 microsoft ole db 提供程序时,在安排带有源行集中其它数据类型的
列之后安排所有 blob 列。可以使用 select 语句重新将 blob 列安排到源行集的末尾。dts 导入/导出向导自动地执行该
操作。
重要 当使用带有 sql server odbc 驱动程序的 odbc 的 microsoft ole db 提供程序时,请尝试预览带有连接忙错误的
存储过程失败。如果使用 sql server 的 microsoft ole db 提供程序,该问题就不会发生。
如果一个用于 sql server 的 microsoft odbc 驱动程序连接由多个线程共享,此连接可能会失败,并返回错误信
息"connection is busy with results for another hstmt"(此连接正忙于其它 hstmt 的结果)。在某些情况下,这将
影响通过 dts 导入/导出向导生成的包。使用以下方法之一解决此问题:
将 maxconcurrentsteps 属性设置为1 以消除竞争的线程。
创建其它的 odbc 连接以消除连接共享。
使用用于 sql server 的 microsoft ole db 提供程序 (sqloledb) 连接数据库。如果需要连接 sql server 6.5 数据
库,则运行 instcatl.sql 以启用通过用于 sql server 的 microsoft ole db 提供程序进行访问。
oracle
当使用 oracle 作为数据源时,请考虑以下事项:
用于 oracle 的 microsoft odbc 和 oledb 驱动程序支持 oracle 7.3 blob 数据类型,不支持 oracle 8.0 数据类型。
例如,不支持 blob、clob、nclob 和 bfile。
用于 oracle 的 microsoft obdc 驱动程序不支持将 unicode 字符串发送到 oracle 服务器中。oracle 要求在 unicode
字符串前加上前缀字母 n。
用于 oracle 的 microsoft obdc 驱动程序不支持 oracle number 数据类型的负向缩放。
用于 oracle 的 microsoft obdc 驱动程序报告无指定精度的 oracle number 数据类型的长度为 20 位数字。当从
oracle (不考虑目的)中导入时,如果有多于 20 位的数字,并且如果目的表还不存在,可能必须手工地增加精度。
在表中 oracle 仅支持一个 long (blob) 数据列。
不能导入或导出拥有混合或小写名称的 oracle 列。也不能通过使用 oracle 列名称(包含使用 dts 导入/导出向导的空
格)来转换或复制数据。oracle 要求精确指定并引用区分大小写的列名称。
若要在 sql server 2000 和 oracle 之间执行分布式事务,必须使用 oracle 8.0.4.1 版本或更新版本。有关更多信息,
请参见分布式事务。
由于用于 oracle 的 microsoft ole db 提供程序不支持 icommandwithparameters,所以它不能用作数据驱动的查询任务
的目的地。在 dts 设计器中使用此提供程序时,转换数据任务、数据驱动的查询任务以及执行 sql 任务上的"参数"按钮
将被禁用。
ibm as/400 上的 db2
当连接到 db2 数据源时,请考虑以下事项:
在 as/400 系统上不支持 unicode 或 blob。
在 as/400 服务器上不能转换任何有 null 列值的表,因为 as/400 在其 create table 语句中不支持 null 语法。然
而,如果编辑 create table 语法以清除对 null 的引用时,则可以发送 null 值。as/400 不支持 not null;如果没指
定就假定为 null。
使用 sybase odbc 驱动程序
当连接到一个 sybase odbc 数据源时,请考虑以下事项:
当使用 dts 导入/导出向导将数据从 sql server 转换到 sybase 11 版本时:
默认情况下,sql server numeric (3,0) 数据类型映射为 sybase smallmoney。为避免数据丢失,请更改此设置。
默认情况下,sql server numeric (18,x 或 19,x) 数据类型映射为 sybase money 数据类型。为避免数据丢失,请更改
此设置。
将数据移动到一个新的 sybase 表时,如果单击了"列映射和转换"对话框中的"确定"按钮,向导会返回错误信息"表已存
在"。应该忽略此消息。
不能使用 dts 导入/导出向导除去并且重新创建 sybase 表。必须不使用向导来执行此操作。
dts 查询设计器不支持 sybase sqlanywhere create table 语句。
由于 sqlanywhere 驱动程序中的限制,dts 导入/导出向导每次只能将一个表移动到 sqlanywhere 数据库。可以使用
dts 设计器来克服此限制。然而,因为 sqlanywhere 驱动程序不是安全线程,所以,必须将每个表的 step 对象的
executeinmainthread 属性设置为 true。
如果表中包含 blob 列,则不能将此表复制到 sybase 目的中。
如果通过编程方式从 sybase 中复制一个包含 image 数据类型的表,则更改默认的 blob 设置会导致失败。
dbase 和 paradox
当连接到 dbase 和 paradox 数据源时,请考虑以下事项:
dbase 和 paradox 中的表名称被限制为八个字符。dbase 中的列名称被限制为 10 个字符。
文件导入或导出
当从文本文件导入或导出数据时,请考虑以下事项:
在 char 或 varchar 列中导入或导出数据时,如果客户端 oem 代码页与服务器上的代码页不同,则某些扩展字符可能不
被复制。在 nchar 或 nvarchar 列中导入或导出数据时,所有字符均能正确复制。
如果将 blob(包括 sql server 的 text 和 ntext 数据类型)列导出到固定长度的文本字段中,则将默认长度设置为
blbo 字段的最大长度(大约 2gb)。通过选择较小的但足够的字段长度来防止磁盘溢出,或者在可能的时候使用分隔格
式。
dts 中使用的用于文本文件的 ole db 提供程序不能处理超过两兆字节 (mb) 的 blob 数据列。
代码页、排序规则和非 unicode 数据问题
使用 dts 在具有不同代码页和排序规则的 sql server 数据库间复制数据时,数据可能会丢失或转换不正确。
为避免出现转换问题,应以 unicode 形式存储国际数据。一旦转换为 unicode 后,便可很容易地将任何排序规则或代码
页中的数据传送到任何 microsoft sql server 2000 或 microsoft sql server 7.0 数据库,而不会出现数据丢失或转换
不正确这类问题。
在 microsoft sql server 2000 中,排序规则与具体的代码页相关联并被指派给各个列。(microsoft sql server 7.0
使用单个的默认代码页且不支持列级排序规则)。如果用于源列和目的列的代码页匹配,则非 unicode 列不会发生数据丢
失。在非 unicode 列间复制数据时,如果源列与目的列不匹配,则将发生数据丢失。在某些情况下,dts 执行最佳的匹配
映射。如果源代码页包含的字符在目的代码页中未出现,则将发生数据丢失。此外,dts 执行复制时不需要任何转换干
预,这将导致在两个代码页中不是由同一个二进制值表示的数据丢失。下面的问题及准则分别针对使用复制 sql server
对象任务的情况,和使用复制列转换在不同排序规则或代码页之间复制数据的情况。
复制 sql server 对象任务
下面论述复制 sql server 对象任务如何处理非 unicode 数据:
在 sql server 2000 实例间复制数据时,只要设置复制 sql server 对象任务的 usecollation 属性,便不会发生数据丢
失。
将数据从 sql server 2000 实例复制到 sql server 7.0 时,对于具有与数据库默认排序规则代码页相匹配的排序规则的
列,使用最佳匹配映射。而具有不同代码页的列中所存储的数据,则被解释为正在用默认代码页进行编码处理,转换过程
中将伴随数据丢失。
将数据从 sql server 7.0 复制到sql server 2000 实例时,由于 sql server 7.0 无法确定其默认代码页所映射的排序
规则,usecollation 属性不可用。执行复制 sql server 对象任务期间不支持任何排序规则,因此,将给非 unicode 目
的列指派目的数据库的默认排序规则。如果与此排序规则相关联的代码页与源数据库的代码页不匹配,dts 将执行最佳匹
配映射。
将数据从 sql server 7.0 复制到 sql server 7.0 时,如果源数据库和目的数据库使用不同的默认代码页,dts 将执行
最佳匹配映射。
若要确保复制非 unicode 时不发生数据丢失,可使用 sql server 大容量复制功能以 unicode 格式导出数据,然后使用
大容量复制或 dts 导入数据。
若要禁用默认排序规则脚本,请添加代码或使用脱接编辑或动态属性任务将 sqldmoscript2_70only 的值添加到复制 sql
server 对象任务的 scriptoptionex 属性中。
复制列转换
下面论述复制列转换如何在不同代码页之间处理非 unicode 数据:
如果源列为 unicode 而目的列为非 unicode,则执行最佳匹配映射,并尝试在源列和目的列之间转换数据。
如果源列为非 unicode 而目的列为 unicode,则不论实际使用的代码页是什么,dts 都将源列视为属于代码页 1252。
如果源列和目的列都为非 unicode,原始数据不经转换即被复制,将发生部分数据丢失。