ELT平台操作手册 .doc

《ELT平台操作手册 .doc》由会员分享，可在线阅读，更多相关《ELT平台操作手册 .doc（111页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、智能数据比对系统ELT平台操作手册【用户手册】广州市灵讯通信科技有限公司2011-01-7目录第1章 系统介绍21.1 系统简介2第2章 系统管理22.1 基本概念22.2 主界面介绍22.3 基本功能2第3章 转换步骤23.1文本文件输入23.2表输入23.3 EXCEL输入23.4 CSV文件输入23.5文本文件输出23.6表输出23.7 EXCEL输出23.8插入/更新23.9更新23.10删除23.11调用DB存储过程23.12 Switch分支23.13 修改Java Script的值23.14 值映射23.15 列转行23.16 去除重复记录23.17去除重复记录（哈希集合）23.

2、18增加常量23.19增加序列23.20字段选择23.21字符串裁剪23.22封锁步骤23.23执行SQL脚本23.24执行SQL脚本行23.25拆分字段23.26排序记录23.27数据库查询23.28数据库连接23.29替换字符串23.30空操作23.31行扁平化23.32行标准化23.33计算器23.34过滤记录23.35追加流23.36从结果中获取文件23.37把文件设置到结果中23.38获取变量23.39获取系统信息23.40设置变量2第4章 作业步骤24.1 Start（开始）24.2 DUMMY24.3 转换24.4 采集作业24.5 Shell24.6 SQL24.7 发邮件24

3、.8 收邮件24.9 消息对话框24.10 FTP24.11 HTTP24.12 SSH2上传24.13 SSH2获取24.14 Zip 文件24.15 上传文件到FTP24.16 从FTP下载文件24.17 使用加密的FTP上传24.18 写到文件24.19 创建一个文件夹24.20 创建文件24.21 删除FTP文件24.22 删除多个文件24.23 删除文件24.24 删除文件夹24.25 在结果中删除文件名24.26 复制或移动结果文件24.27 复制文件24.28 安全的FTP24.29文件比较24.30 比较文件夹24.31 添加文件名到结果24.32 移动文件24.33 等待文件

4、24.34解压zip文件24.35 列在表中存在24.36 判断文件夹是否为空24.37 判断文件是否存在24.38 判断文件的指标24.39 判断是否有文件被锁定24.40 判断表中的行数24.41 文件存在24.42 检查WebService的可用性24.43 检查数据库连接24.44 检查表存在24.45 等待24.46 简单评估2第1章 系统介绍1.1 系统简介ETL平台用于数据的抽取、转换、加载，为数据比对提供数据的采集、转换、导入、导出等功能。第2章 系统管理2.1 基本概念1、 数据库连接：用户自定义的，在转换或作业中使用的数据库连接。2、 转换：数据抽取、转换、加载流程的封装。

5、3、 作业：将多个转换或一些任务封装，用于ETL任务的执行。4、 知识库：固定存储已建立好的连接、转换或作业的位置。5、 数据流：分输入流和输出流，输入流是离开一个步骤时的行的堆栈，输出流是进入一个步骤时的行的堆栈。6、 节点连接：连接两个步骤的连线。2.2 主界面介绍【功能描述】1、 浏览和管理知识库。2、 增加数据库连接。3、 增加转换或作业。4、 导入、导出XML文件。【操作步骤或操作内容】功能1：浏览和管理知识库1、用户进入ETL平台，点击知识库页签，可浏览知识库，如下图所示：2、双击其中一个数据库连接、采集作业或转换，可打开相应的页面，进行查看、运行、修改和删除。功能2：增加数据库连

6、接 单击图标，选择新建数据库连接选项，打开如下图所示窗口：连接类型：选择数据库类型。访问方法：推荐使用JDBC。连接名称：用户自定义。服务器主机：填写数据库服务器IP地址。数据库名称：填写数据库名称。数据库表空间：填写数据库的用户数据表空间名称。索引表空间：填写数据库的索引表空间名称。端口号：填写数据库使用的端口号。用户名和密码：登陆数据库的用户名和密码。功能3：增加转换或作业单击图标，选择新建转换或新建转换选项。功能4：导入、导出XML文件单击图标，可将建立好的转换或作业导出为XML文件，存储在本地，也可从本地XML文件导入到知识库。2.3 基本功能【功能描述】1、 转换管理。2、 作业管理

7、。3、 节点连接类型。【操作步骤或操作内容】功能1：转换管理1、新建或打开一个转换，可看到转换设计页面，如下图： 2、单击主对象树，可将菜单中的转换步骤拖到转换设计页面中。 3、单击可运行转换。 4、右键单击空白区域，可设置转换的属性。功能2：作业管理1、新建或打开一个作业，可看到作业设计页面，如下图： 2、单击主对象树，可将菜单中的作业步骤拖到作业设计页面中。 3、单击可运行作业。4、右键单击空白区域，可设置作业的属性。功能3：节点连接类型1、 在一个节点处按住SHIFT拖动鼠标到另一节点可建立节点连接。2、 改变开始复制的数量有时候多次运行相同的步骤是非常有用的。例如，执行一个数据库查询三

8、次或者三次以上，这是因为数据库连接通常有一个反应时间，改变步骤运行的次数，可以有效的减少反应时间，提高效率。要运行一个步骤的多个副本，你只要在图形界面的步骤上点击鼠标右键，选择“改变开始复制的数量”3、 分发或复制 分发表示所有的行被平均分发到各个目标步骤，复制表示所有行被复制到全部目标步骤。4、 串行或并行仅用在作业中，默认串行，右键单击作业步骤，选择并行，可并行运行一个作业中的各个分步骤。5、 有连接条件和无条件连接仅用在作业中，用于控制连接生效的条件，可设置上一步骤运行成功则运行下一步骤，或上一步骤运行失败则运行下一步骤，或无论成功或失败都运行下一步骤，即无条件连接。如下图：带平行线表示

9、是并行连接；绿色表示该连接生效（灰色表示失效）；勾号表示结果为真运行下一步骤，圆圈表示结果为假运行下一步骤，锁标志表示无条件连接。 第3章 转换步骤 3.1文本文件输入【功能描述】可通过此步骤读取大量不同的文本文件，可指定读取的文件列表，或者用正则表达式表示的目录列表。【操作步骤或操作内容】功能1：文件名称指定1、 指定文件名后，并按“增加”按钮，你可以添加一个文件到“选择文件”中，如下所示：2、 你也可以用指定正则表达式通配符的形式来搜索文件。正则表达式比简单的用“?”和“*” 通配符更有效。文件名正则选择的文件/dirA/.*userdata.*/.txt所有在/dirA/目录下的并且文件

10、名包含userdata、以txt为后缀的文件。/dirB/AAA.*所有在/dirB/目录下的并且文件名以AAA 开头的文件。/dirC/A-Z0-9.*所有在/dirC/目录下的并且文件名以字母开头、紧接着一个数字的文件。功能2：内容指定1、 内容标签允许你指定正在读取的文本文件的格式：2、 下面是标签的选项列表：选项描述文件类型可以是CSV 或者Fixed length(固定长度)。分隔符在文本的单行中，一个或多个字符将被用来分隔字段，比较有代表性的是;或者一个tab 制表符。封闭字符一些字段能够被一对允许分隔的字符来封闭。封闭字符串是可选的。逃逸字符如果你的数据中有逃逸字符，就指定逃逸字

11、符（或者逃逸字符串）。如果作为逃逸字符，文本Not the nineoclock news.(作为封闭字符)，将被解析成Notthe nine oclock news.头部/头部行数量如果你的文本文件有头部行就使用这个。你可以指定头部行出现的次数。尾部/尾部行数量如果你的文本文件有尾部行就使用这个。你可以指定尾部行出现的次数。包装行/包装行数量利用这个来处理被某些页限制包装的数据行。注：头部和尾部从来不考虑被包装。分页布局/每页行数/文档头部行在行打印机上打印的时候，你可以用这个选项作为最终的手段。用头部行的数量来跳过介绍性的文本，用每页的行数来定位数据行。压缩如果你的文件是ZIP 文件或者G

12、ZIP 归档文件，就启用这个。注：此刻归档文件中仅仅第一个文件被读取。没有空行不往下一步发送空行。输出包含文件名如果你想文件名作为输出的一部分，可以启用这个。文件名字段名称包含文件名的字段名称。输出行数如果你想行数作为输出的一部分，可以启用这个。行数字段名称包含行数的字段名称。根据文件获取行数允许每个文件重置的行数。格式可以是DOS、UNIX 或者混合模式。UNIX 行终止可以是回车，DOS 中可以是回车或者换行。如果你选择混合模式，将不会验证。编码方式指定文本文件编码方式。如果不设置就使用系统默认的编码方式。如果想用Unicode，可以指定UTF-8 或者UTF-16。第一次使用的时候，Sp

13、oon 将搜索系统，寻找可用的编码。记录数量限制设置读取记录的行数。0 代表读取所有的。解析日期时是否严格要求如果你想严格的解析数据字段，可以禁用这个选项。如果启用的时候，Jan 32nd 将变成Feb 1st。本地日期格式在本地日期常常被解析为“February wnd,2006”的形式，在用法语本地化的系统中日期将不会被解析，因为在法语本地化中February 不能理解。功能3：错误处理1、 当错误发生的时候，错误处理标签允许你指定这个步骤将重新做些什么。2、 下面是标签的选项列表选项描述忽略错误如果在解析的时候忽略错误，就指定这个选项。跳过错误行使用这个选项来跳过那些出现错误的行。你可以

14、生成另外的文件来包含发生错误的行号。如果不跳过错误行，解析错误字段将是空的。错误计数字段在输出流行中增加一个字段，这个字段将包含错误发生的行数。错误字段字段名在输出流行中增加一个字段，这个字段将包含错误发生的字段名称。错误文本字段名在输出流行中增加一个字段，这个字段将包含解析错误发生字段的描述。警告文件目录当警告发生的时候，它们将被放进这个目录。文件名将是/文件名.。错误文件目录当错误发生的时候，它们将被放进这个目录。文件名将是/文件名.。失败行数文件目录当解析行的时候发生错误，行号将被放到这个目录。文件名将是/文件名.。功能4：过滤1、 在“过滤”标签中，你可以指定文本文件中要过滤的行。2、

15、 下面是标签的选项列表。选项描述过滤字符搜索字符串。过滤位置在行中过滤字符串必须存在的位置。0 是起始位置，如果你指定一个小于0 的值，过滤器将搜索整个字符。停止在过滤器如果你想在文本文件遇到过滤字符的时候，停止处理，就指定Y。功能5：字段1、 设定要导入的字段。2、 选项。选项描述。名称设置要在输出流中显示的字段名称。类型字段类型（String、Date、Number 等）。长度对于Number：有效数的数量。对于String：字符的长度。对于Date：打印输出字符的长度（例如4 代表返回年份）。精度对于Number：浮点数的数量。对于String,Date,Boolean：未使用。货币类型

16、用来解释如$10,000.00 的数字。小数小数点可以是”.”(10;000.00)或者”,”(5.000,00)。分组分组可以是”.”(10;000.00)或者”,”(5.000,00)。如果为空空值如何处理。默认字段为空的时候的默认值。去空字符串处理之前先去空。重复Y/N:如果在当前行中对应的值为空，则重复最后一次不为空的值。3.2表输入【功能描述】这一步常常用来利用连接和SQL，从数据库中读取信息。自动生成基本的SQL 语句。【操作步骤或操作内容】功能1：指定选项选项描述步骤名称步骤的名称，在单一的步骤中，名称必需唯一。连接读取数据的数据库连接。SQLSQL 语句用来从数据库连接中读取数

17、据。从步骤插入数据指定我们期待读取数据的步骤名称。这些信息能被插入到SQL 语句。限制设置从数据库中读取的行数。0 所有行。示例：指定如下SQL语句：注：日期可以从“获取系统信息”步骤类型中获取。3.3 EXCEL输入【功能描述】这个步骤从EXCEL文件输入数据。【操作步骤或操作内容】功能1：指定文件名 参考 3.1 文本文件输入功能2：指定内容选项描述头部检查是否工作表指定了一个头部行。非空记录检查是否不需要空行输出。停在空记录当步骤在读取工作表遇到一个空行的时候停止读取。限制限制输出的行数，0 代表输出所有行。功能3：字段和错误处理 参考 3.1 文本文件输入3.4 CSV文件输入【功能描

18、述】这个步骤从CSV文件输入数据。【操作步骤或操作内容】功能1：指定选项选项描述文件名CSV文件名。分割符文件中使用的分割符。#附件只将符号内的字符串输入。NIO的缓冲区大小定义缓冲区大小。延迟转换是否延迟转换。标题行存在是否去掉标题行。添加文件名到结果是否在结果中输出文件名。行号字段行号字段命名。并行运行指定并行属性。文件编码选择字符集编码。3.5文本文件输出【功能描述】这个步骤将数据流输出到文本文件。【操作步骤或操作内容】功能1：指定文件选项描述文件名称输出文件名。以命令行方式运行根据指定，把结果输出到命令行或者脚本。扩展名在文件名的最后添加一个点和扩展名（.txt）。文件名里包含步骤数如

19、果你在多个拷贝中运行步骤，拷贝的数量将包含到文件名中（在扩展名之前）。文件名包含分区文件名中包含数据分区数量。文件名包含日期文件名中包含系统日期（_）。文件名包含时间文件名中包含系统时间（_235959）。特殊日期格式指定特殊日期格式。功能2：指定内容选项描述追加是否在指定的文件最后追加行。分隔符指定在文本中分隔字段的字符，例如;或者制表符。封闭符封闭字段的一对字符。可选。头部如果你想有一个头部行，使这个选项可用（文件第一行）。尾部如果你想有一个尾部行，使这个选项可用（文件最后一行）。格式DOS 或者UNIX。UNIX 文件行分隔符是换行符。DOS 文件可以是换行符或者回车符。编码指定文件使用

20、的编码。如果空白就使用系统缺省的编码。压缩指定压缩的类型（zip 或者gzip）。长度固定在字段最后添加空格或者删除字符，直到长度达到指定。快速数据导出当处理大量数据到一个文本文件时，提高性能。（不包含任何格式化信息）。分拆每一行如果N 比0 大，用N 行拆分文本文件，分割成多个部分。增加文件结束行指定输出文本的结束行。功能3：指定字段 参考3.1 文本文件输入3.6表输出【功能描述】这个步骤将数据导入数据库表。【操作步骤或操作内容】功能1：指定选项选项描述连接用来写数据的数据库连接。目标模式数据库的模式名。目标表要写数据的表名。提交记录数量在数据表中用事务插入行。如果N 比0 大，每N 行提

21、交一次连接。否则，不使用事务，速度会慢一些。裁剪表在第一行数据插入之前裁剪表。忽略插入错误使Kettle 忽略比喻违反主键约束之类的插入错误，最多20 个警告将被日志记录。在批量插入的时候这个功能不可用。使用批量插入如果你想批量插入的话，就使用这个选项。这个选项的速度最快，默认被选上。表分区数据使用这个选项可以在多个表之间拆分数据。表名定义在一个字段使用这些选项可以拆分数据到一个或者多个表里，目标表名可以用你指定的字段来定义。例如如果你想存储顾客性别数据，这些数据可能会存储到表M和表F里面（female 女性和male 男性表）。这个选项可以阻止这些字段插入到对应的表里。返回一个自动产生的关键

22、字往表中插入行时，是否产生一个关键字。自动产生关键字的字段名称指定包含关键字的输出字段的字段名称。指定数据库字段只导入指定的字段，多余的字段忽略。功能2：字段值与数据流对应3.7 EXCEL输出【功能描述】这个步骤将数据写入EXCEL表。【操作步骤或操作内容】功能1：指定文件选项描述文件名和扩展名用于指定输出文件。不要在启动时创建文件只写入已存在文件。文件名里包含步骤数允许文件并行创建，并在文件名里包含步骤数。文件名里包含日期在文件名里包含日期。文件名里包含时间在文件名里包含时间。指定日期时间格式指定日期时间格式。添加文件名到结果中输出字段中包含文件名字段。功能2：指定内容选项描述追加追加记录

23、。头检查表单是否有头部。脚检查表单是否有尾部。编码指定EXCEL表单使用的编码。分割所有行分割数据到几个输出文件中。使用模板输出的EXCEL 数据是否使用模板。EXCEL模板格式化EXCEL 输出的模板的名称。追加EXCEL模板是否将EXCEL 输出添加到指定的EXCEL 模板中。功能3：指定字段指定你想输出到EXCEL 文件中的字段3.8插入/更新【功能描述】这个步骤利用查询关键字在表中搜索行。如果行没有找到，就插入行。如果能被找到，并且要被更新的字段没有任何改变，就什么也不做。如果有不同，行就会被更新。【操作步骤或操作内容】功能1：指定选项选项描述连接用来写数据的数据库连接。目标模式数据库

24、的模式名。目标表要写数据的表名。提交记录数量提交之前要改变（插入/更新）的行数。不执行任何更新如果被选择，数据库的值永远不会被更新。仅仅可以插入。用来查询的关键字可以指定字段值或者比较符。可以用以下比较符：=，,LIKE,BETWEEN,IS NULL,IS NOT NULL。更新字段指定你想要插入/更新的字段。3.9更新【功能描述】这个步骤查找当前数据库符合要求的记录，并更新指定字段。【操作步骤或操作内容】功能1：指定选项选项描述连接用来写数据的数据库连接。目标模式数据库的模式名。目标表要写数据的表名。提交记录数量提交之前要改变的行数。跳过扫描不执行查询。忽略查询失败如果被选择，则查询失败时

25、不执行任何操作。用来查询值的关键字可以指定字段值或者比较符。可以用以下比较符：=，,LIKE,BETWEEN,IS NULL,IS NOT NULL。更新字段指定你想要更新的字段。3.10删除【功能描述】这个步骤查找当前数据库符合要求的记录，并删除。【操作步骤或操作内容】功能1：指定选项选项描述连接用来写数据的数据库连接。目标模式数据库的模式名。目标表要写数据的表名。提交记录数量提交之前要改变的行数。查询值所需的关键字可以指定字段值或者比较符。可以用以下比较符：=，,LIKE,BETWEEN,IS NULL,IS NOT NULL。3.11调用DB存储过程【功能描述】这个步骤允许你运行一个数据

26、库存储过程，获取返回结果。【操作步骤或操作内容】功能1：指定选项选项描述连接存储过程所有的数据库的连接名称。存储过程名称调用的存储过程或者函数名称。自动提交在运行存储过程的时候自动提交。返回值名称调用存储过程或者函数返回结果的名称。返回值类型调用存储过程或者函数返回结果的类型。参数存储过程或者函数需要的参数列表。3.12 Switch分支【功能描述】这个步骤允许你将数据流按条件分流，输送到不同的下一个步骤。【操作步骤或操作内容】功能1：指定选项选项描述字段名称转换待判断分流条件的字段名。使用字符串包含开启模糊匹配。类型选择数据类型。格式表达式指定数据的格式（数字格式或日期格式）。小数点符号指定

27、小数点符号。分组符号指定分组符号。值指定不同的值，以及相应的目标步骤。3.13 修改Java Script的值【功能描述】这个步骤允许你用JavaScript 语言做复杂的运算。【操作步骤或操作内容】功能1：指定选项 Java脚本功能针对可用的脚本、函数、输入字段和输出字段，提供一个树菜单浏览。 脚本这个区域为你提供脚本的编辑。你可以插入函数、常量、输入字段等等。 字段字段表包含了脚本变量的列表，其中包括元数据。 获取变量获取脚本中的变量列表。 测试脚本测试脚本的语法。3.14 值映射【功能描述】这个步骤简单的映射字符串，从一个值映射到另一个值。例如：如果你想替换Language codes，

28、你可以：使用的字段名：LanuguageCode目标字段名：LanguageDesc源值/目标值：EN/English,FR/French,NL/Dutch,ES/Spanish,DE/German,。【操作步骤或操作内容】功能1：指定选项选项描述使用的字段名待进行值映射转换的字段名。源值转换前的值。目标值转换后的值。3.15 列转行【功能描述】这个步骤允许你将按列存储的数据转换为按行存储。【操作步骤或操作内容】功能1：指定选项选项描述分隔字段需要列转行的字段名。分隔符字段中的分隔符。新字段名转换后的字段名。3.16 去除重复记录【功能描述】这个步骤允许你去除关键字重复的记录。【操作步骤或操作

29、内容】功能1：指定选项选项描述拒绝重复行增加重复行数到输出。错误描述包含重复行号的字段的名称。用来比较的字段指定重复值字段。3.17去除重复记录（哈希集合）【功能描述】参考 3.16 去除重复记录。3.18增加常量【功能描述】这个步骤很简单，主要是添加常量到流中。它的使用也很容易：用字符串形式指定名称，类型和值。利用选择的数据类型指定转换格式。【操作步骤或操作内容】功能1：指定选项选项描述名称增加的字段名称。类型字段类型。格式字段格式（数据格式、日期格式）。长度、精度增加的字段的长度和精度。3.19增加序列【功能描述】这个步骤在流中增加一个序列。一个序列是在某个起始值和增量的基础上，经常改变的

30、整数值。你可以使用数据库的序列，也可以使用ETL工具决定的序列。备注：ETL序列在同一个转换中是唯一使用的。每一次转换运行的时候，序列的值又会重新循环一次（从开始值开始）。【操作步骤或操作内容】功能1：指定选项选项描述值的名称新序列值的名称，将被添加到流中。使用数据库获取序列如果想使用数据库的序列，使用些选项。使用计数器来计算序列如果想使用ETL工具生成的序列，使用此选项。计数器名称（可选）如果一个转换中多个步骤生成同样的值名称，这个选项允许你指定计数器的名称，避免按照先后顺序通过多个步骤。3.20字段选择【功能描述】这个步骤常常用来：选择字段、重命名字段、指定字段的长度或者精度。下面是三个不

31、同标签的功能： 1、选择和修改：指定需要流到输出流中的字段的精确顺序和名称。2、删除：指定必须从输出流中删除的字段。3、元数据：修改元数据字段的名称、类型、长度和精度。【操作步骤或操作内容】功能1：指定选项选项描述字段名称选择或者修改的字段名称。改名如果不想改名，就使用空白。长度输入数字指定长度（-1：代表没有长度指定）。精度输入数字指定精度（-1：代表没有精度指定）。3.21字符串裁剪【功能描述】这个步骤允许你将数据流中的字符串进行裁剪，生成新的字符串。【操作步骤或操作内容】功能1：指定选项选项描述在流中输入流中的原字段名。输出流裁剪后的输出字段名。开始开始裁剪位置（若从第一个字符开始，填0

32、）。结束结束裁剪位置（第一个字符为1，依次类推）。3.22封锁步骤【功能描述】这是一个非常简单的步骤。它冻结所有的输出，直到从上一步骤来的最后一行数据到达,最后一行数据将发送到下一步。你可以使用这个步骤触发常用插件、存储过程和Java Script等等。【操作步骤或操作内容】功能1：指定选项选项描述通过所有行勾选这个选项将使所有行都通过，不勾选则只通过最后一行。3.23执行SQL脚本【功能描述】在这个步骤中你可以执行SQL 脚本，或者在转换初始化的时候执行，或者在步骤的每一个输入行执行。可以在SQL 脚本中使用参数。【操作步骤或操作内容】功能1：指定选项选项描述数据库连接指定一个数据库连接。S

33、QL脚本输入SQL脚本，脚本中的？将被参数替代。执行每一行接收来自前一步骤的每一行，都执行一遍SQL脚本。作为单个语句执行将整个SQL脚本作为单个语句执行。变量替换替换脚本中的变量。参数指定来自前一步骤的参数字段。包含插入状态的字段在输出流中包含插入状态的统计。包含更新状态的字段在输出流中包含更新状态的统计。包含删除状态的字段在输出流中包含删除状态的统计。包含读状态的字段在输出流中包含查询状态的统计。3.24执行SQL脚本行【功能描述】这个步骤允许你运行一个数据库存储过程，获取返回结果。【操作步骤或操作内容】功能1：指定选项选项描述数据库连接指定一个数据库连接。提交一次提交的行数。SQL字段名

34、SQL语句包含的字段名。字段以包含插入的统计在输出流中包含插入状态的统计。字段以包含更新的统计在输出流中包含更新状态的统计。字段以包含删除的统计在输出流中包含删除状态的统计。字段以包含查询的统计在输出流中包含查询状态的统计。3.25拆分字段【功能描述】这个步骤允许你根据分隔符来拆分字段。【操作步骤或操作内容】功能1：指定选项选项描述需要拆分的字段想要拆分的字段的名称。分隔符决定字段结束的分隔符。字段拆分形成的字段列表。例如：SALES_VALUES 字段包含：“500,300,200,100”，使用以下的设置可以将字段拆分成4 个字段： 分隔符：， 字段：SALE1, SALE2, SALE3

35、, SALE4 Id: 移除ID：no,no,no,no 类型：Number, Number, Number, Number 格式：#.#,#,#,#.#,#.# 分组： 十进制： 货币： 长度：3，3，3，3 精度：0，0，0，03.26排序记录【功能描述】这个步骤利用你指定的字段排序行，无论他们是按照升序还是降序。备注：当行数超过5000 行的时候，将使用临时文件来排序行。【操作步骤或操作内容】功能1：指定选项选项描述排序目录临时文件存储的目录。如果缺省则为标准的系统临时文件夹。排序缓存大小存储在内存中的行越多，排序的速度就越快。临时文件前缀选择一个好记的前缀，以便在临时目录中容易寻找。压

36、缩临时文件当需要完成排序的时候，这个选项将压缩临时文件。未使用的内存限值限定内存使用限度。仅仅传递非重复记录去除重复记录。字段指定排序字段，升序或降序等。3.27数据库查询【功能描述】这个步骤允许你运行一个数据库存储过程，获取返回结果。【操作步骤或操作内容】功能1：指定选项选项描述数据库连接指定待查询的数据库连接。查找模式指定数据库模式，一般为数据库用户名。查询的表指定待查询的表名。使用缓存指定是否使用数据库缓存查询结果。查询所需关键字指定查询条件。查询表返回的值指定返回结果。排序指定排序方式。3.28数据库连接【功能描述】这个步骤允许你使用先前步骤的数据，运行一个数据库查询。能够指定查询参数

37、：􀂾 1、在SQL 查询中使用“？”􀂾 2、在SQL 查询中使用数据网格中的字段例如：【操作步骤或操作内容】功能1：指定选项选项描述数据库连接使用的数据库连接。SQL查询脚本，用？号代表参数。返回的行数0 代表所有行，其它数字限制行的输出。外连接如果选中了这个，总是会返回一个结果，就算查询脚本没有结果。替换变量替换查询中的变量。参数查询中使用的参数。3.29替换字符串【功能描述】这个步骤允许你使用指定的字符串替换输入流中的指定字符串，并生成新的输出字段。【操作步骤或操作内容】功能1：指定选项选项描述输入输入流字段名，待替换的字段。输出输出流字段名，替换后的字

38、段。使用正则表达式替换的正则表达式。搜索搜索待替换的字符串。替换替换为何值。全字是否全字替换。区分大小写是否区分大小写。3.30空操作【功能描述】这个操作什么都不做。它的主要作用是，在你想测试什么的时候，充当一个占位符。例如有一个转换，你至少需要两个彼此连接的步骤，再集中输入到一个步骤，你可以将它连接到一个空操作步骤。例如以下的示例：3.31行扁平化【功能描述】这个步骤将数据流中的一个字段拆分为多个字段，从而将多行合并为一行。【操作步骤或操作内容】功能1：指定选项指定需要拆分的字段，以及拆分后的目标字段。示例：Field1Field2Field3FlattenABCOneABCTwo可以扁平化

39、为：Field1Field2Field3Target1Target2ABCOneTwo3.32行标准化【功能描述】这个步骤转动表，标准化数据。例如以下的销售数据：MonthProductAProduct2003/01105172003/0212719你想把它转换成以下数据：MonthProductSales2003/01A102003/01B52003/01C17【操作步骤或操作内容】功能1：指定选项选项描述字段类型字段类型的名称。（例如在示例中的Product）字段字段名称：标准化的字段名称（例如示例中的Product A，Product C 等）。类型：用字符串分类字段（例如示例中的A，B

40、，C）。新字段：你可以指定一个或者多个新值将要转入的字段（例如示例中的sales）。备注：可以一次转换多个字段。3.33计算器【功能描述】这个步骤提供一个功能列表，可以在字段值上运行。计算器的一个重要优势是，它有着几倍于常用的JavaScript 脚本的速度。【操作步骤或操作内容】功能1：指定选项选项描述新字段计算后的字段名。计算选择计算公式。字段ABC用于计算的字段。值类型计算后的数据类型（int、string等）。长度、精度等计算后的字段长度、精度等属性。3.34过滤记录【功能描述】这个步骤允许你根据条件和比较符来过滤记录。一旦这个步骤连接到先前的步骤中，你可以简单的单击“”，“=”和“”

41、区域来构建条件。【操作步骤或操作内容】功能1：指定选项选项描述发送“true”数据给步骤指定条件返回true 的数据将发送到此步骤。发送“false”数据给步骤指定条件返回false 的数据将发送到此步骤。条件指定过滤条件。3.35追加流【功能描述】这个步骤将一个步骤中的数据流追加到另一个步骤。【操作步骤或操作内容】功能1：指定选项选项描述上一步名待追加的数据流。末节点连线追加到的数据流。3.36从结果中获取文件【功能描述】每次在转换、任务、文件细节、任务条目、步骤等处理、使用或者创建一个文件时，文件被捕获并且附加到结果中。你可以使用这个步骤访问那些信息。下面是输出的字段：字段名类型示例TypeStringNormal,Log,Error,Error-line