ETL和DataStage技术讨论_企业应用

PPT 内容

1. ETL和DataStage技术讨论潘桂柱2010.05
2. 概念： E - Extraction：数据抽取 T - Transformation：转换 L - Loading：加载。 ETL的基本概念一功能： ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理（OLAP）、数据挖掘（DM）的基础。
3. 特点：一、数据同步。不是一次性数据倒完就拉到，它是经常性的活动，按照固定周期运行的。甚至现在还有人提出了实时ETL的概念。二、数据量大。一般来说，数据量都是巨大的，值得我们将数据流动的过程拆分成E、T、L的过程。三、速度快。现在ETL的最高装载记录是4TB/h(Greenplum)。在日常运用中，根据我的经验，装载峰值大概在1 – 5万rows/s。速度跟T的逻辑复杂度是密切相关的。ETL的基本概念二
4. ETL本质之一：分类交互式运行环境，你可以指定数据源、目标数据，指定规则，立马ETL 。这种交互式的操作无疑非常方便，但是只能适合小数据量和复杂度不高的ETL过程。专门编码型：它提供一个基于某种语言的程序框架，可以不必将精力放在一些周边的功能上，主要放在规则的实现上面。对于处理大数据量，处理复杂转换逻辑，这种方式的ETL实现是非常直观的。代码生成器型：像ETL代码生成器，提供图形化界面，拖拽设定好转换规则，后台生成基于某语言的程序，编译运行。Datastage是类似这样的产品，设计好的job经过编译，生成类Basic的语言。数据集线器型：顾名思义，他就是像Hub一样地工作。上面三种更多指ETL实现的方法，此类主要从数据处理角度。目前有一些产品属于EAI它的数据集成主要是一种准实时性。
5. ETL本质之二：转换宏观输入输出：一、大小交：一个大表和一堆小表join。一般小表先读如内存。二、大大交：大表表间关联，主表left join辅表。出错几率大，尽量拆分。三、站着进来，躺着出去：窄表宽化处理。Decode是常见手段。四、聚集：粗化数据粒度，沉淀数据。类似group by操作。微观转换规则： 1、直接映射：原封不动照搬 2、字段运算：一个或多个字段运算 3、参照转换：一个或多个字段组合成key去关联数组中找特定值 4、字符串处理：转换截取等 5、空值判断：视为脏数或特定维值 6、日期转换：格式、长度统一 7、日期计算：计算日差、月差、时长等。 8、聚集运算：sum，count，avg，min等 9、既定取值：固定或依赖系统的值
6. ETL本质之三：质量“不要绝对的数据准确，但要知道为什么不准确。” 首先在数据源层面就很难保证数据质量了，这方面的原因可以分为几类： 1、数据格式错误：例如缺失数据、数据值超出范围或是数据格式非法等。原因是处理大数据量的源系统，通常会舍弃一些数据库自身的检查机制。 2、数据一致性：同样，数据源系统为了性能的考虑，会在一定程度上舍弃外键约束，这通常会导致数据不一致。 3、业务逻辑的合理性：这一点很难说对与错。通常，数据源系统的设计并不是非常严谨，例如让用户开户日期晚于用户销户日期都是有可能发生的，一个用户表中存在多个用户ID也是有可能发生的。其次在ETL过程中也会对数据准确性造成重大影响： 1、规则描述错误：设计人员对数据源系统理解的不充分，导致规则理解错误，这是一方面。另一方面，无二义性地描述规则也是很高的要求。 2、ETL开发错误：即使规则很明确，ETL开发的过程中也会发生一些错误，例如逻辑错误、书写错误等。如开闭区间等。 3、人为处理错误：在整体ETL流程没有完成之前，为了图省事，通常会手工运行ETL过程，这其中一个重大的问题就是不按照正常流程去运行，发生的错误可能是误删了数据、重复装载数据等。
7. ETL常见产品IBM（Assencial）DataStageInformaticaPowercenterTeradataETL AutomationOracle Oracle Warehouse BuilderBusiness ObjectsData IntegratorCognosDecisionStreampentahokettletalendtalendenhydraoctopusSpringSpring Batch……　自主开发的ETL程序 C/C++，JAVA，PL/SQL等
8. DataStage2005年3月，IBM以11亿美元收购Ascential公司，补强其信息管理地位。传统的数据整合方式需要大量的手工编码，而采用 DataStage 进行数据整合可以大大的减少手工编码的数量，而且更加容易维护。DataStage 为整个 ETL 过程提供了一个图形化的开发环境。
9. DataStage功能特点一出色的数据源连接能力：数据整合工具的数据源连接能力是非常重要的，这将直接决定它能够应用的范围。DataStage 能够直接连接非常多的数据源，包括： 1、文本文件，excel，txt等 2、 XML 文件 3、企业应用程序，比如 SAP、Siebel、Oracle 以及PeopleSoft 4、几乎所有的数据库系统，比如 DB2、Oracle、SQL Server、Informix等 5、 Web services 6、 WebSphere MQ 强大的数据源连接能力，使开发人员能够专注于数据转换的逻辑而不用太担心数据的抽取和加载。
10. DataStage功能特点二完备的开发环境： DataStage 的开发环境是基于 C/S 模式的，通过 DataStage Client 连接到DataStage Server 上进行开发。这里有一点需要注意，DataStage Client 只能安装在 Windows 平台上面。而 DataStage Server 则支持多种平台，比如 Windows、Redhat Linux、AIX、HP-UNIX。 DataStage Client 有四种客户端工具。分别是 DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。接下来首先介绍这几种客户端工具在 DataStage 架构中所处的位置以及它们如何协同工作来开发 ETL Job 的，接着再分别详细介绍每个工具的功能。
11. DataStage架构图下图描述了DataStage 的整个系统架构。DataStage 的客户端工具连接到DS Server 上进行 ETL Job 的开发，DS Server 再与后台的数据库连接起来进行数据处理。DataStage 的客户端工具之间的是一个相互合作的关系。
12. (本页无文本内容)
13. JOB开发流程客户端工具之间的关系，可以通过下面的ETL job开发流程来简单说明。 ETL Job开发流程： 1．用 DataStage Administrator 新建一个项目； 2．用 DataStage Designer 连接到这个新建的项目上进行ETL Job的设计； 3．用 DataStage Director 对设计好的ETL Job设置运行的模式，比如多长时间运行一次ETL Job； 4．用 DataStage Manager 进行ETL Job的备份等。接下去大致讲一下这个流程。
14. Administrator一DataStage Administrator 的主要功能有以下几个： 1．设置客户端和服务器连接的最大时间。以管理员的身份登陆 DataStage Administrator。你就会看到如下图所示的画面。在这里你可以设置客户端和服务器的最大连接时间，默认的最大连接时间是永不过期。最大连接时间的意思就是如果客户端和服务器的连接时间超过了最大连接时间，那么客户端和服务器之间的连接将被强行断开。
15. Administrator二2．添加和删除项目在 Projects 这个标签中，可以新建或者删除项目，以及设置已有项目的属性。这里有必要介绍一下项目的概念，要用 DataStage 进行 ETL 的开发，首先就要用 DataStage Administrator 新建一个项目，然后在这个项目里面进行 ETL Job 的开发
16. Administrator三3． License的管理可以在Licensing标签中更新License。
17. Designer一DataStage Designer是ETL Job开发的核心环境。值得注意的是，登陆DataStage Designer 的时候，不仅要指定DataStage Server 的IP，而且要指定连接到这个DataStage Server上的哪个项目上面，上面已经提到DataStage的项目是由DataStage Administrator 来创建的。
18. Designer二DataStage Designer的主要功能可以概括为以下三个方面： 1． ETL Job的开发 DataStage Designer里面包含了DataStage为ETL开发已经构建好的组件, 主要分为两种，一种是用来连接数据源的组件，另一种是用来做数据转换的组件。利用这些组件，开发人员可以通过图形化的方式进行ETL Job的开发。
19. Designer二2． ETL Job的编译开发好ETL Job后，可以直接在DataStage Designer里面进行编译。如果编译不通过，编译器会帮助开发人员定位到出错的地方。
20. Designer二3． ETL Job的执行编译成功后，ETL Job就可以执行了，在DataStage Designer里面可以运行ETL Job。ETL Job的运行情况可以在DataStage Director中看到，这方面的内容将在介绍DataStage Director的时候提到。
21. ManagerDataStage Manager主要用来管理项目资源。一个项目可能包含多个ETL Job，可以用DataStage Manager把一个项目里面的ETL Job导出来。然后再用DataStage Manager导入到另外一个项目中去，利用这个功能一方面可以实现ETL Job的备份，另一方面就是可以在多个项目之间来重复使用开发好的ETL Job。在DataStage Manager里面可以把数据库中的表结构直接导入到项目中来，供这个项目中的所有ETL Job使用。DataStage Designer也提供了从数据库中直接导入表结构的功能。
22. DirectorDataStage Director 主要有以下两个功能： 1．监测ETL Job的运行状态 ETL Job在DataStage Designer中编译好后，可以通过DataStage Director来运行它。前面在介绍DataStage Designer的时候提到在DataStage Designer中也可以运行ETL Job，但是如果要监测ETL Job的运行情况还是要登陆到DataStage Director中。在这里，你可以看到ETL Job运行的详细的日志文件，还可以查看一些统计数据，比如ETL Job每秒所处理的数据量。 2．设置何时运行ETL Job ETL Job开发完成后，我们可能希望ETL Job在每天的某个时间都运行一次。DataStage Director为这种需求提供了解决方案。在DataStage Director中可以设置在每天、每周或者每月的某个时间运行ETL Job。
23. ETL job的并行执行ETL Job的并行执行是 DataStage企业版的一大特色。ETL Job开发好以后，可以在多台装有DataStage Server的机器上并行执行，这也是传统的手工编码方式难以做到的。这样，DataStage就可以充分利用硬件资源。而且，当你的硬件资源升级的时候也不用修改已经开发好的ETL Job，只需要修改一个描述硬件资源的文件即可。并行执行能力是DataStage所能处理数据的速度可以得到趋近于线性的扩展，轻松处理大量数据。
24. DataStage的ETL job分类Server Job最为常用的Job类型，Job可以组合使用，Server Job是Job的最小单位。 2. Job SequenceJob Sequence主要用于Job间的协作工作控制，如各Job的实行流程，出错处理，文件监控等。 3. Job ControlJob Control是一种特殊的Server Job，这种Server Job不是通过Designer来设计的，而是直接通过DataStage内嵌支持的Basic语言来开发，因此方式更为灵活，完全可以利用Job Control替代Job Sequence，至少在出错处理和Log输出等方面要灵活很多。
25. (本页无文本内容)
26. Q&A
27. Thanks.

ETL和DataStage技术讨论

shencity

贡献于2011-03-12

ETL和DataStage技术讨论

PPT 内容

PPT 图集

相关PPT