大数据解决方案

guet_lee

贡献于2017-01-12

字数:31418 关键词: 分布式/云计算/大数据 方案 报告 培训 C/C++

© 2011 IBM CorporationSmarter Systems for a Smarter Planet System X, IBM STG IBM资深架构师 何裕涛 heyutao@cn.ibm.com IBM 大数据解决方案 IBM System and Technology Group © 2013 IBM CorporationPage 2 IBM Confidential 议程 • 大数据背景简介 • 大数据平台参考架构 • 推荐软件 • 推荐硬件 • 参考案例 • 解决方案优势分析 IBM System and Technology Group © 2013 IBM CorporationPage 3 IBM Confidential 想象一下可以用哪些方式利用您的数据资源 零售商可以减少80%的查询 时间从而优化库存 证券交易所将2PB数据的查 询时间从26小时缩减到2分钟 政府将声学分析从小时级降 低到70毫秒 基础设施建设通过几分钟内 10 PB 的数据分析能力来避 免停电 电信网络数据流分析使硬件成 本降低90% 医院流数据分析为疾病检测争 取到生死攸关的24小时 今天,每个企业和组织都面临着大数据的挑战 IBM System and Technology Group © 2013 IBM CorporationPage 4 IBM Confidential 大数据的特点 综合分析覆盖面越来越 宽的种类 应对日益增长的速度有效地处理日益 增长的数量 建立大数据来源的 真实性 三分之一商界领袖感到无法信任那些帮 助他们做决策的信息 50x 35 ZB 20202010 300亿 RFID传感器和 计数器 世界上80%的 数据是非结构 化的 IBM System and Technology Group © 2013 IBM CorporationPage 5 IBM Confidential 大数据解决方案出现之前传统的计算模式 数据源 数据抽取 数据仓库 场景模型 策略 / 计划 平衡计分卡 预测 / 预报 绩效分析 价值分析 数据集市 数据分析 前端展示 风险分析 企业数据仓库 数据仓库 事实表 E T L 工 具 数 据 管 理 基于门户的 Web页面 固定报表 多维分析 即席查询 数据集市 MOLAP Relational 立 方 体 管 理 行业情报 ERP HR SCM CRM Statistics 外部数据 财务预算数据 员工状态 设备状态 客户信息 分析报告 ETL: 抽取、转换和加载 IBM System and Technology Group © 2013 IBM CorporationPage 6 IBM Confidential 数据源 数据抽取 数据仓库 场景模型 策略 / 计划 平衡计分卡 预测 / 预报 绩效分析 价值分析 数据集市 数据分析 前端展示 风险分析 企业数据仓库 数据仓库 事实表 E T L 工 具 数 据 管 理 基于门户的 Web页面 固定报表 多维分析 即席查询 数据集 市 MOLAP Relational 立 方 体 管 理 行业情报 ERP HR SCM CRM Statistics 外部数据 财务预算数据 员工状态 设备状态 客户信息 分析报告 ETL: 抽取、转换和加载 电商、微博、社交网 站、平安城市等产生 大量社交数据、日志、 图片、视音频数据„. 海量数据汇总、统 计耗时太长,满足 不了业务部门的时 效性需求; 传统计算模式遇到的困难 某些业务部门需要实 时数据分析,数据一 边产生,一边进行分 析,以应对市场压力 数据产生速度快,数 据量巨大,种类繁多, 非结构化数据占了 80%以上 • 越来越多的客户期望不再依赖价格高昂的大型专有设备,而是希望能通过大量 x86 服务器集群,以最符合经济效益的方式完成庞大的计算任务 IBM System and Technology Group © 2013 IBM CorporationPage 7 IBM Confidential Hadoop Ecosystem IBM System and Technology Group © 2013 IBM CorporationPage 8 IBM Confidential Hadoop 并行计算模式  HDFS—Hadoop Distributed File System。  HDFS为了做到可靠性(reliability)创建了多份数据块(data blocks)的复制( replicas),并将它们放置在服务器群的计算节点中(compute nodes), MapReduce就可以在它们所在的节点上处理这些数据了。  MapReduce IBM System and Technology Group © 2013 IBM CorporationPage 9 IBM Confidential 议程 • 大数据背景简介 • 大数据平台参考架构 • 推荐软件 • 推荐硬件 • 参考案例 • 解决方案优势分析 IBM System and Technology Group © 2013 IBM CorporationPage 10 IBM Confidential IBM 大数据平台参考架构 Streams Internet Scale Traditional Warehouse In-Motion Analytics Data Analytics, Data Operations & Model Building Results Internet Scale Database & Warehouse At-Rest Data Analytics Results Ultra Low Latency Results Big Data Platfrom Moving Beyond the Traditional Warehouse Traditional / Relational Data Sources Non-Traditional / Non-Relational Data Sources Non-Traditional/ Non-Relational Data Sources Traditional/Relational Data Sources IBM System and Technology Group © 2013 IBM CorporationPage 11 IBM Confidential Big Data PlatformData Warehouse Enterprise Integration Traditional Sources New Sources 大数据平台参考架构 - 与其他系统的集成关系 IBM System and Technology Group © 2013 IBM CorporationPage 12 IBM Confidential 传统数据仓库和大数据平台的关系 传统数据仓库 大数据平台 数据来源 业务系统 业务系统,互联网 基础平台 RDBMS Hadoops 访问语言 SQL, Xquery JAQL,Pig,Hive 操作对象 主要是表格 主要是文件 数据 结构化数据 结构化数据或非结构化数据 硬件 企业级硬件 商业硬件 压缩 复杂的数据压缩 简单的文件压缩 提供的应用 报表,多维分析 报表,文本分析,图像分析 ,语音分析 实时处理能力支持 需要扩展能支持 能较好支持 IBM System and Technology Group © 2013 IBM CorporationPage 13 IBM Confidential 大数据应用场景 在速度和规模上实现新产品 创新 了解关于您客户的一切 . 社会媒体 – 产品/品牌情感分析 . 品牌战略 . 市场分析 . 射频识别跟踪和分析 . 交易型分析创建基于产品/服务的视角 . 社交媒体客户情绪分析 . 推广优化 . 市场细分 . 客户利润率 . 点击流分析 . CDR处理 . 多渠道交互分析 . 忠诚度项目分析 . 客户流失预测 零延迟操作 . 智能电网/计量管理 . 分配负荷预测 . 销售报告 . 库存和销售优化 . 期权交易 . ICU患者监控 . 疾病监测 . 交通网络优化 . 存储性能 . 环境分析 . 实验研究 即时的风险和欺诈意识 . 多通道监测 . 网络安全 . 欺诈建模和监测 . 风险建模和管理 . 监管报告 利用仪表化资产 . 网络分析 . 资产管理以及可预见问题的解决 . 网站分析 . IT日志分析 IBM System and Technology Group © 2013 IBM CorporationPage 14 IBM Confidential 运营效率,客户满意度和 生产质量分析 大数据平台 SNMP 和系 统日志 流分析 Internet 规模分析 网络交换机 负载平衡器 应用程序服务器 数据服务器 快照记录、HTTP 日志 应用程序日 志 数据库日志 使用数据 从多个来源收集非结构化数据并使用连接器将它们插入到存储库 中。 来源包括:数据库、CRM/ERP 系统、应用程序服务器、邮件服务器 、Web 服务器、操作系统日志、路由器、交换机和防火墙 搜索 分析 监控和报告传感器和器材 . 跨行业应用: • IT 管理、故障分析, 和法规遵从性。 • 确定客户交易出错问题所在,提高客户满意度。 • 分析器材,传感器数据来优化生产,和改进质量 IBM System and Technology Group © 2013 IBM CorporationPage 15 IBM Confidential 中高端客户交友圈分析 • 可供省、地市进行营销活动时,由分析人员 根据各种条件,从竞争对手用户信息库中筛 选出营销活动的目标用户。 查询条件包括: – 运营商 – 地域 – 入网时间 – 结算费用区间 – 呼入联通用户费用区间 – 联通用户呼出费用区间 – 漫游情况 – 联系联通用户的号码数量 • 构建选中高端客户的交友圈: – 输入:电话/短信详单,高端客户号码列表 – 输出:为每个高端客户构建类似于右图的交友 圈图 • 顶点尺寸:客户在交友圈内的重要程度(某种 客户价值指标) • 颜色:客户在交友圈中的位置 • 形状:区分内网和外网客户 •…… IBM System and Technology Group © 2013 IBM CorporationPage 16 IBM Confidential 金融行业大数据应用场景 —摩根大通 • 已经开始使用Hadoop技术以 满足日益增多的用途,包括 诈骗检验、IT风险管理和自 助服务 • 150PB在线存储数据、 30,000个数据库和35亿个用 户登录账号 • Hadoop能够存储大量非结构 化数据,允许公司收集和存 储Web日志、交易数据和社 交媒体数据 • 数据被汇集至一个通用平台 ,以方便以客户为中心的数 据挖掘与数据分析工具的使 用 IBM System and Technology Group © 2013 IBM CorporationPage 17 IBM Confidential 金融行业大数据应用场景 —花旗银行 • 分析数据包括 – 客户提供的信息(申请、表格等) – 社交网络、公共网页得到客户的信用记录以及信用历史 – 和目标客户有类似行为模式的客户数据 – 金融以及经济数据 • 证券交易委员会文件 • 招股章程、过往贷款记录 • 新闻(以衡量公众意见以及信心) • Facebook在内的来自社交网络的数据(个人、家庭计划等) • 应用 – 信用风险评估(贷款) – 针对性营销 – 以客户为中心 • 客户统一视图(结构化和非结构化数据) • 细分客户,按照客户行为进行分类 • 为客户提供质量一致的客户体验 IBM System and Technology Group © 2013 IBM CorporationPage 18 IBM Confidential 问题:  电信及银行业高速发展,使得高科技的犯罪案件也有增加趋势,如利用电 信以及网络银行来进行诈骗。  三十六个账户,单次诈骗两千两百万元人民币。  合计400起案件中所涉及的诈欺金额竟然超过八千万人民币。 解决方案 & 结果: • 某省公安局不仅发现不同资料之间的关联性,并从大量视觉化的资料中, 找出更强大的相关线索。包括在一大群通话纪录中辨识出特定的通讯群组 ;针对嫌犯相关的出入境资料以及航班纪录进行侦查;使用时间序列分析 技术,由帐户黑名单中寻找潜在的规则与趋势;使用空间分析以及地理资 讯系统来分析嫌犯的犯罪活动线索。 • 警方进行了更大规模的调查行动,针对金钱、内部与外部的网路作战计划 进行了一系列的分析。在掌握IP位置、汇款帐户以及其他与案件相关的线 索之后,更帮助了警方对此一案件了解的程度,进而顺利地逮捕了42位嫌 犯、数台用以犯案的车辆,并查获1000张银行金融卡以及约两百万元人民 币的赃款。 公安大数据应用场景 — 电信诈骗案 IBM System and Technology Group © 2013 IBM CorporationPage 19 IBM Confidential 公安业务人员 Business Services Web Services Business Processes Applications 外部事件源 Alerts/KPIs 事件来源 无正当职 业 大额资金存 取 三年内购置商 品房 独立的、非确定性、无序的 各种事件 捕获 刑满释放5年以上 频繁入住旅 馆 频繁乘坐航班 来往重点地区 “重点人群的高危事件!" 自动行为 “启动后续管控流程" 公安大数据应用场景 —重点人群分析 WBE Runtime Evaluations Correlations IBM System and Technology Group © 2013 IBM CorporationPage 20 IBM Confidential 议程 • 大数据背景简介 • 大数据平台参考架构 • 推荐软件 • 推荐硬件 • 参考案例 • 解决方案优势分析 IBM System and Technology Group © 2013 IBM CorporationPage 21 IBM Confidential IBM 大数据解决方案可选软件 IBM Platform Symphony+ GPFS Resource Orchestrator Job Controller & Scheduler M a p T as k Local Storage Input Folder Output folder Split data and allocate resources for applications M a p T as k M ap Ta sk (s) Re du ce Ta sk (s) Hadoop MapRedu ce API Pluggable Distributed File System / Storage Input Folder Output folder >> >> >>IBM InforSphere BigInsight + GPFS IBM InforSphere Steams IBM Data Warehouse 开源Hadoop 框架 IBM System and Technology Group © 2013 IBM CorporationPage 22 IBM Confidential 大数据解决方案可选软件 之一:IBM BigInsight BI / 报告 探索性/ 可视性 功能性 APP 行业 APP 预测分析内容分析 分析型应用 IBM大数据平台 系统管理应用开发可视化&发 现 加速器 信息整合&治理 Hadoop 系统 Stream 流计 算 数据仓库 2 –分析原始数 据 InfoSphere BigInsights 5 –分析流数据 InfoSphere Streams 1 – 解锁大数据 IBM Vivisimo 3 – 简化您的数 据仓库 IBM Warehouse Solutions 4 –用Hadoop降 低成本 InfoSphere BigInsights 2 - IBM System X Server 6 – x86 集群服 务器 IBM System X Server IBM System and Technology Group © 2013 IBM CorporationPage 23 IBM Confidential IBMOpen Source Visualization & Discovery Integration Workload Optimization Streams Netezza Flume DB2 DataStage IBM InfoSphere BigInsights Runtime Advanced Analytic Engines File System MapReduce HDFS Data Store HBase Column Store Text Processing Engine & Extractor Library (AQL+HIL) BigSheets JDBC Applications & Development Text Analytics MapReduce Pig & Jaql Hive Administration Index Splittable Text Compression Enhanced Security Flexible SchedulerJaql Pig ZooKeeper Lucene Oozie Adaptive MapReduce Hive Integrated Installer Admin Console Sqoop Adaptive Algorithms Dashboard & Visualization Apps Workflow Monitoring Management HCatalog Security Audit & History Lineage R Guardium Platform Computing Cognos IBM BigInsight 组件 IBM System and Technology Group © 2013 IBM CorporationPage 24 IBM Confidential 持续数据注入 持续数据查询和分析 IBM 大数据流计算,实时数据统计和分析 IBM System and Technology Group © 2013 IBM CorporationPage 25 IBM Confidential Resource Orchestrator Job Controller & Scheduler Map Task Local Storage Input Folder Output folder Split data and allocate resources for applications Map TaskMap Task(s) Reduce Task(s) IBM Platform Symphony Hadoop MapReduce API Pluggable Distributed File System / Storage Input Folder Output folder 大数据解决方案可选软件之二:IBM Platform Symphony(1) 商用的企业级 MapReduce 处理框架,更加稳定可靠,性能更高 IBM System and Technology Group © 2013 IBM CorporationPage 26 IBM Confidential 开源大数据方案 IBM企业级分布式计算方案 GPFS-FPO Symphony Linux onPower Powerlinux:企业级环境的最佳选择,性能与 成本最佳平衡的新一代硬件平台 标准Linux, Redhat/Suse 全面支持 更加成熟、可靠与更高性能的分布式文件系统 领先开源Hadoop一代的分布式计算框架,智能 调度更高性能、SLA管理,多负载管理. 不仅支 持MapReduce,更支持计算密集型应用 HBase 增强 Hive 增强 IBM 独有 IBM 增强 基于开源的数据查询与分析工具, 交由开发商和客户灵活选择 HDFS Mapreduce Linux on X86 HBase Hive 大数据解决方案可选软件之二:IBM Platform Symphony(2) IBM System and Technology Group © 2013 IBM CorporationPage 27 IBM Confidential IBM Platform Symphony 3.高可靠  整体方案无单点故障  自动屏蔽故障硬件  添加新节点不影响作业运行  任务失败自动恢复 4.易集成2.高性能 1.多租户平台 5.技术支持  任务调度延迟<1毫秒  吞吐量为17000计算任务/秒  单集群支持40000核  动态线性扩展  提供开发版,支持单机开发  提供Eclipse开发环境插件  简单易用功能丰富的API接口  支持多种主流编程语言 C++/JAVA/.NET/Python等  IBM Platform在北京和西安有 300人的核心研发及技术支持 团队,可以为本地用户提供咨 询、培训、定制等服务  实验室支持  集群状态监控  集群应用管理-部署、启动、停止  作业信息实时查看 6. 好维护  计算密集型应用  数据密集型应用  最多支持300个应用 友商方案均基于开源Hadoop 修改,仅支持大数据应用,产 生信息孤岛 友商方案均基于开源Hadoop 修改,具有架构缺陷;开发语 言为Java,Symphony使用 C/C++开发 友商方案基于开源,job tracker等多处具有单点故障 友商方案需要耗费大量人力 资源进行二次开发和优化 开源或友商方案本地支持弱 ,面对复杂问题或架构问题 ,缺乏有效支持,维护成本 高,风险大友商方案缺乏对任务、资源 及虚拟化的有效管理 大数据解决方案可选软件之二:IBM Platform Symphony(3) IBM System and Technology Group © 2013 IBM CorporationPage 28 IBM Confidential 3.高可靠 4.易集成 2.高性能 1.多租户平台 IBM Platform Symphony 优势体现 Let's build a smarter planet IBM System and Technology Group © 2013 IBM CorporationPage 29 IBM Confidential Job Tracker Job 1 Job 2 Job 3 Job N MapReduce 应用1 Resource 1 Resource 2 Resource 3 Resource 4 Resource 5 Resource 6 Resource 7 Resource 8 Resource 9 Resource 10 Resource 11 Resource 12 Resource 13 Resource N Task Tracker Job Tracker Job 1 Job 2 Job 3 Job N MapReduce 应用 2 Resource 1 Resource 2 Resource 3 Resource 4 Resource 5 Resource 6 Resource 7 Resource 8 Resource 9 Resource 10 Resource 11 Resource 12 Resource 13 Resource N Task Tracker Job Tracker Job 1 Job 2 Job 3 Job N MapReduce 应用 3 Resource 1 Resource 2 Resource 3 Resource 4 Resource 5 Resource 6 Resource 7 Resource 8 Resource 9 Resource 10 Resource 11 Resource 12 Resource 13 Resource N Task Tracker Job Tracker Job 1 Job 2 Job 3 Job N MapReduce 应用 4 Resource 1 Resource 2 Resource 3 Resource 4 Resource 5 Resource 6 Resource 7 Resource 8 Resource 9 Resource 10 Resource 11 Resource 12 Resource 13 Resource N Task Tracker Cluster #1 Cluster #2 Cluster #3 Cluster #4 多应用 – 无Symphony环境 IBM System and Technology Group © 2013 IBM CorporationPage 30 IBM Confidential Application Mgr Job 1 Job 2 Job 3 Job N MapReduce 应用 1 Resource 1 Resource 2 Resource 3 Resource 4 Resource 5 Resource 6 Resource 7 Resource 8 Resource 9 Resource 10 Resource 11 Resource 12 Resource 13 Resource 14 Task Mgr Application Mgr Job 1 Job 2 Job 3 Job N MapReduce 应用 2 Resource 15 Resource 22 Resource 16 Resource 23 Resource 17 Resource 24 Resource 18 Resource 25 Resource 19 Resource 26 Resource 20 Resource 27 Resource 21 Resource 28 Task Mgr Application Mgr Job 1 Job 2 Job 3 Job N MapReduce 应用 3 Resource 29 Resource 36 Resource 30 Resource 37 Resource 31 Resource 38 Resource 32 Resource 39 Resource 33 Resource 40 Resource 34 Resource 41 Resource 35 Resource 42 Task Mgr SSM Job 1 Job 2 Job 3 Job N Other Workload应 用 4 Resource 43 Resource 50 Resource 44 Resource 51 Resource 45 Resource 52 Resource 46 Resource 53 Resource 47 Resource 54 Resource 48 Resource 55 Resource 49 Resource N SIM Platform Resource Orchestrator / Resource Monitoring Automated Resource Sharing Single Cluster – Single Management Interface 多租户 – Symphony环境 IBM System and Technology Group © 2013 IBM CorporationPage 31 IBM Confidential Resource Orchestration C Workload Manager CCCCC CCCCCC D D D D D D D D D D D D CCCCCC SOA Applications In-house Applications Data Intensive Apps AAAA AAAA AAAA AAAA B B B B B B B B B B B BBBBBBB 一个平台,多负载:SOA, MapReduce, Batch Apps… ABCD Workload ManagerWorkload ManagerWorkload Manager Batch, Parallel Apps 31 IBM System and Technology Group © 2013 IBM CorporationPage 32 IBM Confidential . 共享,独占,抢占多种分配策略 . 近100%的资源利用率 . 因为作业优先级的不同而迅速的调整资源分配 . 在现有架构基础上易于集成新的应用 IBM Platform Symphony 保证了应用的 SLAs要求,在提高资源利 用率的同时降低了管理的 要求 高级资源调度管理,SLAs保证 实现“多租户”的、异构的共享服务平台 IBM System and Technology Group © 2013 IBM CorporationPage 33 IBM Confidential 3.高可靠 4.易集成 2.高性能 1.多租户平台 IBM Platform Symphony 优势体现 Let's build a smarter planet IBM System and Technology Group © 2013 IBM CorporationPage 34 IBM Confidential Platform Symphony 与开源Hadoop处理性能对比(1/2) Platform Symphony customer BGI wins IDC innovation award – ~ 15x performance advantage over standard Hadoop, $20M USD estimated savings* 0 500 1000 1500 2000 2500 3000 3500 4000 1 2 3 4 5 Time Elapsed (seconds) Test Number E.Coli (K-12 MG1655, 10Kbase subset) Assembly Times PMR Hadoop * http://www.idc.com/getdoc.jsp?containerId=prUS23544712 IBM System and Technology Group © 2013 IBM CorporationPage 35 IBM Confidential Hadoop ―state of the art‖ Latest scheduler performance Task Scheduled per sec Hadoop 0.20.2 3.3 Current 30.300 PMR 2,065.616 0 500 1000 1500 2000 2500 Platform Symphony 5.2 MapReduce engine performance 66X Improvement Platform Symphony 与开源Hadoop处理性能对比(2/2) IBM System and Technology Group © 2013 IBM CorporationPage 36 IBM Confidential36 Platform MapReduce 和 Hadoop MapReduce 对比分析 Hadoop MapReduce Platform MapReduce Java API √ √ (Compatible) Streaming (script API) √ √ C++ API (Pipes) √ √ Open Architecture of Data Source √ √ Data compression √ √ Web based workload monitoring √ √ High short job/task performance X √ IO enhancement X √ High Availability X √ Scalable architecture X √ (multiple SSM) Tiered workload/resource management X (beta) √ (matured) Clustering monitoring and management X √ Web based workload management X √ Report for job and task X √ Light-weight √ √ IBM System and Technology Group © 2013 IBM CorporationPage 37 IBM Confidential 3.高可靠 4.易集成 2.高性能 1.多租户平台 IBM Platform Symphony 优势体现 Let's build a smarter planet IBM System and Technology Group © 2013 IBM CorporationPage 38 IBM Confidential 通常可能出现的故障: 1.管理节点故障 -管理节点可以切换到备用节点上运行 2.计算节点故障 −计算任务(Map和Reduce)可以自动切换到其他节点继续运行. 3.HDFS NameNode 故障 −HDFS NameNode 自动切换到其他节点运行. Symphony 优势体现-高可靠 IBM System and Technology Group © 2013 IBM CorporationPage 39 IBM Confidential IBM大数据平台优势体现-高可靠 • 从硬件、文件系统和分布式计算框架所有层面采用高可靠设计架构,杜绝基于开源产品的不可靠问题 • Symphony计算框架:经过接近20年全球成功企业应用考验的高可靠性框架,不仅本身可靠性高,不 存在单点故障,而且通过对下层硬件资源的先进管理功能,实现物理资源与逻辑资源的解耦,实现资 源的动态加减和黑名单等机制,彻底解决硬件故障的透明failover问题 • GPFS-FPO文件系统:经过20多年全球无数应用验证的分布式文件系统,成熟、可靠,GPFS-FPO 采用去中心化设计(元数据分散存储),天生不存在NameNode的单点故障和可靠性瓶颈问题 • PowerLinux在RAS特性方面全面领先X86平台 IBM System and Technology Group © 2013 IBM CorporationPage 40 IBM Confidential 3.高可靠 4.易集成 2.高性能 1.多租户平台 IBM Platform Symphony 优势体现 Let's build a smarter planet IBM System and Technology Group © 2013 IBM CorporationPage 41 IBM Confidential . 提供单机版开发环境(Symphony DE) .开发版能够使用户免于管理集群的复杂性 . 提供Eclipse开发环境插件 .基于开发版本的应用可以不需要任何改动部署 到集群中使用 .简单易用功能丰富的接口 .支持多种编程语言C++, Java, .Net, Python and COM etc. .MapReduce接口易于MapReduce应用的开发 Symphony 优势体现-易集成 IBM System and Technology Group © 2013 IBM CorporationPage 42 IBM Confidential Symphony 优势体现-高度兼容性 • Symphony和GPFS具有最广泛的兼容性,只要是基于Hadoop架构标准接口开发的软件都可以 100%兼容,如Hadoop Hbase, Pig, Hive, Java MR, Oozie等各种知名的Hadoop开源方案 • 不仅兼容开源方案,还支持各种商业分析软件,如SAS、SPSS、Murex, Algorithmics, Sugard, Calypso, TillingHast 等 • 兼容各种Java、R、C/C++等各种开发语言,兼容各种文件系统及数据库,如HDFS, GPFS- FPO,RDMBS, MPP等,兼容Linux、Windows、AIX等各种OS平台,兼容X86、Power等各种 硬件平台,支持虚拟机和物理机混合组网使用 IBM System and Technology Group © 2013 IBM CorporationPage 43 IBM Confidential 0 500 1000 1500 2000 Postmark Teragen Grep Sort CacheTest HDFS GPFS • 更好的条带化访问,使得Map/Reduce 线程可以并行读写GPFS-FPO管理的磁 盘,而不是像HDFS那样简单分配大数 据块来放置文件信息 • 有效的分布式元数据管理以消除热点 瓶颈,而不是像HDFS那样把元数据放 置于单一节点山 • 文件位置信息客户端缓存,而不是像 HDFS那样没有缓存 • 像Pig和JAQL之类的查询语言需要更好的随 机I/O性能 • 排序操作需要更好的顺序I/O性能 • 对于文档索引查找,客户端缓存是非常有 效的 GPFS与 HDFS的比较 (1/2)- 性能大幅提升,消除单点故障 IBM System and Technology Group © 2013 IBM CorporationPage 44 IBM Confidential GPFS-FPO 开源HDFS类 健壮性 无单点故障 99.99% NameNode 存在单点故障 数据一致性 高 数据丢失案例 可扩展性 数千节点,实测 4000+ 数千节点 POSIX 兼容 完全兼容 有限 数据管理能力 安全、备份、快照、缓存、广域网复 制 有限 传统应用性能 好,兼顾读写性能 随机读写性能差 安全性 支持ACL, 容量限制,安全认证 不支持 GPFS与 HDFS的比较 (1/2)- 不仅仅是性能的提升 IBM System and Technology Group © 2013 IBM CorporationPage 45 IBM Confidential • 同类中最佳的 MapReduce 执行方案 • 软件架构支持在大数据量基础上的分布式计算 • 主要优势 • 高性能, 短作业时间缩短10倍以上 • 高可靠性的,内循环式作业证明周期管理 • 动态的资源管理 • 和 Hadoop其他应用充分的兼容性: Java MR, PIG, HIVE, Oozie, Hbase • 开放的数据架构,包括文件系统和数据库 - 增强的MapReduce 处理架构 Platform Symphony 的优势总结 IBM System and Technology Group © 2013 IBM CorporationPage 46 IBM Confidential 议程 • 大数据背景简介 • 大数据平台参考架构 • 推荐软件 • 推荐硬件 • 参考案例 • 解决方案优势分析 IBM System and Technology Group © 2013 IBM CorporationPage 47 IBM Confidential IBM 大数据解决方案推荐硬件 PureFlex x220/x240 Resource Orchestrator Job Controller & Scheduler M a p T as k Local Storage Input Folder Output folder Split data and allocate resources for applications M a p T as k M ap Ta sk (s) Re du ce Ta sk (s) Hadoop MapRedu ce API Pluggable Distributed File System / Storage Input Folder Output folder >> >> >>Hadoop System: - PureFlex x220/x240 - IBM System 3630 M4 IBM System 3630 M4 >> Stream Computing: System 3690 X5 IBM System and Technology Group © 2013 IBM CorporationPage 48 IBM Confidential48 3630 M4是2U 机架式x86架构服务器,属于存储密集型服务器。支持低成本, 高 容量 3.5”HDD 磁盘。配置灵活,有多种型号可供选择,具有很高的适用性 强大的本地存储能力和内存容量: - 本地存储容最高可达 56TB - 最大内存达到 384GB CPU可以选择4-core, 6-core, 8-core; 易管理,可有效降低大数据平台整体运维复杂度 高性能光通路诊断面板,保护数据,提高性能 绿色节能,降低运营成本,80+白金认证和质量 大数据解决方案硬件配置之一:System x3630 M4 IBM System and Technology Group © 2013 IBM CorporationPage 49 IBM Confidential 基本配置 企业级配置 高性能配置 CPU 2 x E5-2420 1.9 GHz 6-core 2 x E5-2420 1.9 GHz 6-core 2 x E5-2430 2.2 GHz 6-core 2 x E5-2450 2.1 GHz 8-core 内存 48GB – 6 x 8GB 48GB – 6 x 8GB 72GB – 6 x 8GB + 6 x 4GB 96GB – 12 x 8GB 硬盘 (OS) 1 x 2TB 3.5‖ 2 x 2TB (mirrored) 3.5‖ 1 x 2TB 3.5‖ 硬盘 (data) 24TB, 12 x 2TB NL SAS 3.5‖ 36TB, 12 x 3TB NL SAS 3.5‖ 24TB, 12 x 2TB NL SAS 3.5‖ 36TB, 12 x 3TB NL SAS 3.5‖ 24TB, 12 x 2TB NL SAS 3.5‖ 36TB, 12 x 3TB NL SAS 3.5‖ 硬盘阵列控制 器 6Gb JBOD Controller ServeRAID M5015 6Gb JBOD Controller 存储保护 None (JBOD) RAID5 11+P RAID6 10+P+Q (关键业务) None (JBOD) 用户可用空间 6TB w/2TB drives 9TB w/3TB drives 5.5TB w/RAID5 & 2TB 5TB w/RAID6 & 2TB 6TB w/2TB drives 9TB w/3TB drives 网络 1GbE switch w/4 10GbE uplinks (IBM G8052) Redundant switches 10GbE switch w/4x 40GbE uplinks (IBM G8264) IBM 大数据基于x3630M4 数据节点的配置方案 假设三份数据拷贝,非压缩,为Map/Reduce中间过渡文件保留25%扩展能力。 49 IBM System and Technology Group © 2013 IBM CorporationPage 50 IBM Confidential 配置 Starter Half Rack Full Rack w/Mgmt Node* Full Data Node Rack* 存储(2TB/3TB) 72TB / 108TB 216TB / 324TB 456TB / 684TB 480TB / 720TB 裸数据空间(2TB/3TB) 18TB / 27TB 54TB / 81TB 114TB / 171TB 120TB / 180TB 管理节点/ 数据节点 1 Mgmt / 3 Data 1 Mgmt / 9 Data 1 Mgmt / 19 Data 0 Mgmt / 20 Data 交换机 1 x 10GbE / 1 x 1GbE 1 x 10GbE / 1 x 1GbE 1 x 10GbE / 1 x 1GbE 1 x 10GbE / 1 x 1GbE IBM 大数据解决方案System x M4 预先定义配置 50 管理节点 x3550 M4 with Two E5-2650 2GHz 8-core CPU 128GB RAM, 16x 8GB 1600MHz RDIMM Four 600GB 2.5‖ HDD (OS) Two Dual-port 10GbE (data) Dual-port 1GbE (mgmt) 数据节点 x3630 M4 with Two E5-2430 2.2GHz 6-core CPU 48GB RAM, 6x 8GB 1333MHz RDIMM Two 2TB 3.5‖ HDD (OS/app) Twelve 2TB 3.5‖ HDD (data) Optional 3TB HDD upgrade Dual-port 10GbE (data) Dual-port 1GbE (mgmt) IBM System and Technology Group © 2013 IBM CorporationPage 51 IBM Confidential IBM 大数据解决方案推荐硬件 PureFlex x220/x240 Resource Orchestrator Job Controller & Scheduler M a p T as k Local Storage Input Folder Output folder Split data and allocate resources for applications M a p T as k M ap Ta sk (s) Re du ce Ta sk (s) Hadoop MapRedu ce API Pluggable Distributed File System / Storage Input Folder Output folder >> >> >>Hadoop System: - PureFlex x220/x240 - IBM System 3630M4 IBM System 3630 M4 >> Stream Computing: System 3690 X5 IBM System and Technology Group © 2013 IBM CorporationPage 52 IBM Confidential IBM 大数据解决方案推荐硬件 PureFlex x220/x240 Resource Orchestrator Job Controller & Scheduler M a p T as k Local Storage Input Folder Output folder Split data and allocate resources for applications M a p T as k M ap Ta sk (s) Re du ce Ta sk (s) Hadoop MapRedu ce API Pluggable Distributed File System / Storage Input Folder Output folder >> >> >>Hadoop System: - PureFlex x220/x240 - IBM System 3630 M4 IBM System 3630 M4 >> Stream Computing: System 3690 X5 IBM System and Technology Group © 2013 IBM CorporationPage 53 IBM Confidential53 大数据解决方案硬件配置之二: IBM System x3690 X5 业界第一款提供最大内存容量和性能的高端可扩展2插槽服务器 系统规范  2个Xeon E7-2800和E7-4800系列CPU (6C/8C/10C)  32到64个DDR3 DIMM,32GB DIMM  2个x8 PCIe插槽,2个x8低位插槽  最多16个2.5‖ HDD或24个1.8‖ 200GB SSD 标配RAID 0/1,可选RAID 5  2个1GB以太网  可选的双口10GB SFP+ 虚拟适配器  内部USB面向嵌入式系统管理程序  IMM、uEFI和IBM Systems Director 配备2个处理器的高端2U服务器,内存容量最大可达当前2插槽服务器 的10倍,两倍数量的处理内核可提供无与伦比的性能和内存容量。 最大限度地增加内存 – 与业界领先的2插槽EP系统相比,多提供33%的内核及5倍 的内存容量,每分钟可以多处理1.7倍的事务,多支持2倍 的虚拟机 – MAX5内存扩展单元可额外支持100%的虚拟机并且提供领 先的数据库性能 最大限度地降低成本 – 通过2插槽软件许可成本及更加廉价的“纯2插槽”处理器 来提供4插槽内存容量 – 相比存储提供的IOPs, FlashPack 达到720k内部IOPs, 相当于40倍的本地数据库性能,并且节省107万美元的成 本 简化部署流程 – 企业级的高可靠性及预测性故障告警实现最高应用运行时 间 – 预定义的数据库和虚拟化工作负载引擎可以加快部署速度 和创收速度 IBM System and Technology Group © 2013 IBM CorporationPage 54 IBM Confidential 主要特性 客户优势 高端的、可扩展的2插槽系 统 . 与业界领先的2插槽Nehalem EP系统相比,每分钟多处理 70%的事务,多支持2倍的虚拟机 . 可扩展到2插槽64 DIMM系统 . 2U外观,是业界第一款入门级的高端平台 MAX5内存扩展单元 . 在软件许可成本相同的情况下多支持46%的虚拟机 . 每分钟多处理12%的数据库事务,每瓦性能超出27% . 通过2插槽软件许可成本及更加廉价的“纯2插槽”处理器来 提供4插槽内存容量 16个HDD的容量及IOP很高 的 FlashPack . 14.4 TB驱动器容量可以实现大规模的数据库存储 . FlashPack 720k内部 IOP,提供超过传统旋转磁盘的YYx本 地数据库性能 . IOP外部存储容量相同的情况下可节省107万美元的成本 自动节点故障切换、 Memory ProteXion及预测 性故障分析 . 虚拟机的可靠性优于2插槽EP群集 . 系统运行时间比单片设计高出99% 灵活的可配置性及灵活节点 分区 . 成本仅为4插槽的一半,仍然提供2插槽的发展空间 . 系统少2个插槽,从而将每插槽的许可成本降低了50%,却仍 然能够支持32个线程和64个DIMM IBM System x3690 X5 业界第一款高端的可扩展2插槽服务器,用于提供最大的内存容量和性能 与HP DL580 G7的对比 . 战胜HP DL580 G7:x3690 X5 和MAX5可在减少处理器数量和 许可成本的情况下提供相同内 存 . 战胜HP DL380 G7:性能比 该产品高出70%, 内存容量是 该产品的10倍多,而且不用4插 槽投资 . 面向处理器利用率低下的4插 槽客户及重视性能和内存的2插 槽客户 最大限度地增加内存容量、降低成本、简化部署流程 IBM System and Technology Group © 2013 IBM CorporationPage 55 IBM Confidential IBM 大数据解决方案推荐硬件 PureFlex x220/x240 Resource Orchestrator Job Controller & Scheduler M a p T as k Local Storage Input Folder Output folder Split data and allocate resources for applications M a p T as k M ap Ta sk (s) Re du ce Ta sk (s) Hadoop MapRedu ce API Pluggable Distributed File System / Storage Input Folder Output folder >> >> >>Hadoop System: - PureFlex x220/x240 - IBM System 3630M4 IBM System 3630 M4 >> Stream Computing: System 3690 X5 IBM System and Technology Group © 2013 IBM CorporationPage 56 IBM Confidential 大数据解决方案硬件配置之三: PureFlex x240 工作负载优化 按需配置 : x86 全面整合:计算,存储,网络,管理 全面优化:IBM,客户,ISV的专业经验 PureFlex Building Blocks IBM PureFlex System 预配置、预集成的基础架构: 包含计算、存储、网络、物理与 虚拟化管理、云管理以及IBM专业 的集成优化经验计算节点 x86 2S/4S 存储节点 V7000 内置/外置 管理节点 可选 网络 10/40GbE, FCoE, IB 8/16Gb FC 扩展能力 PCIe Storage 机箱 14 半宽节点 IBM Confidential IBM System and Technology Group © 2013 IBM CorporationPage 58 IBM Confidential Configuration Rack of 28 x240 + 2 V7000 Cores (processor) 336 Cores (E5-2630) Available Storage (HDD size) 240TB (1TB) Drive (data / total ) 240 / 296 Network Switches 1 G8264 + 1 G8052 + 4 Pass-Thru 基于PureFlex x240 大数据解决方案推荐配置 Rack of X240+Side-Car 28 (x240+Side-Car), each with Two E5-2630 2.3GHz 6-core CPU 64GB RAM Two 1TB 3.5‖ HDD (OS/app) Twelve 1TB 3.5‖ HDD (data) Dual-port 10GbE (data) Dual-port 1GbE (mgmt) Flex Chassis Flex Chassis Flex Chassis Flex Chassis Flex Chassis Flex Chassis V7000 Encl V7000 Encl Rack of X240+V7000 28 x240, each with Two E5-2630 2.3GHz 6-core CPU 64GB RAM Two 1TB 3.5‖ HDD (OS/app) Dual-port 10GbE (data) Dual-port 1GbE (mgmt) 2 V7000 (1 control + 4 expansion) 240x 1TB 2.5‖ HDD Configuration Rack of 28 (x240+Side-Car) Cores (processor) 336 Cores (E5-2630) Available Storage (HDD size) 336TB (1TB) Drive (data / total ) 336 / 392 Network Switches 1 G8264 + 1 G8052 + 8 Pass-Thru 基于本地扩展盘的参考配置 基于V7000 SAN的参考配置 IBM System and Technology Group © 2013 IBM CorporationPage 59 IBM Confidential 本地扩展盘方式与V7000 SAN存储方式的对比分析 Local Storage V7000 SAN 容量 大(7*14*1TB) 小(24*1TB) 性能 一般(1GB Cache,2K IOPS) 好(16GB Cache,几十K IOPS) 价格 低 高 扩展性 差(每节点最多可做看14块硬盘) 好(最大可扩展240块硬盘) 安全性 一般(通过阵列卡做RAID级别) 好(双控物理链路完全冗余) 软件功能 无 优秀(包括存储虚拟化、自动分层、 自动压缩是、创新GUI等) 以一个刀箱内部署同样计算节点(7个计算节点)情况下对比: IBM System and Technology Group © 2013 IBM CorporationPage 60 IBM Confidential PureFlex 作为大数据平台服务器具有高度可扩展性 机箱*1 X86/Power计算节点 BNT网络节点 V7000存储节点 FSM管理节点 机箱*2 X86/Power计算节点 BNT网络节点 V7000存储节点 FSM管理节点 机箱*3 X86计算节点 BNT网络节点 V7000存储节点 FSM管理节点 第一年 第二年 第三年 第N年 IBM PureFlex 可以帮助客户进行IT整合,提供一个循序渐进的动态可扩展方案。通过1个 FSM模块可以统一管理4个刀箱内的所有节点,包括计算节点、网络节点、存储节点。 IBM System and Technology Group © 2013 IBM CorporationPage 61 IBM Confidential 议程 • 大数据背景简介 • 大数据平台参考架构 • 推荐软件 • 推荐硬件 • 参考案例 • 解决方案优势分析 IBM System and Technology Group © 2013 IBM CorporationPage 62 IBM Confidential 某地市舆情分析系统(1/2) • 舆情分析系统应用架构 IBM System and Technology Group © 2013 IBM CorporationPage 63 IBM Confidential 数据采集服务器 Cluster 门户服务器 索引服务器搜索引擎服务器 Cluster 某地市舆情分析系统 (2/2) • 舆情分析系统物理部署架构 IBM System and Technology Group © 2013 IBM CorporationPage 64 IBM Confidential 气象局空间数据共享系统 – 业务描述 1/2 业务价值 • PB 级别海量数据 share nothing 存储 - 解决上亿文件大数据的存储 • 整体存储解决方案 • 秒级快速精准查询,可支持复杂的数据处理 - 解决PB级别上亿文件的大数据查询性能 • 数千分布式节点线性扩展 - 解决计算与存储平台弹性的且线性的扩展 • 多份数据存放安全可靠 - 解决大数据的安全存放 • 开放式方案,便于业务集成 • 提供大数据接口,支持快速的数据复杂处理 过程 空间数据共享系统 1. 选择感兴趣的地理区域 2. 按照所选区域的经纬度 范围进行空间数据切分、处 理和整合 等经纬度投影全球10°X10°分块数据代码位置示意图3. 打包下载所需数据 IBM System and Technology Group © 2013 IBM CorporationPage 65 IBM Confidential Database (+ NAS) Big Data Based on Symphony & GPFS-FPO 功能 • 可满足基本功能 • 可满足基本功能 • 通过二次开发可满足高级功 能,如统计平均温度等。 性能 • 小量数据性能好 • 文件个数,数据 量增加时性能下降 明显 • 大数据量性能差 • 小量,大量数据都具有高性 能 • 计算与数据均在同节点 可扩展性 (性能) • 大数据量时索引 性能下降 • 无分布式文件系 统支撑 • 节点数 • 通过运算直接定位文件,无 索引限制 • GPFS-FPO 作为底层可靠的 分布式文件系统 • 最大扩展到4000节点集群 • 具备性能线性扩展 可扩展性 (功能) • SQL接口,只能用 于查询等操作 • 灵活的上层应用程序接口及 MapReduce,Symphony SOA 接口 • 可二次开发插件扩展企业应 用功能 可用性 • 非系统级高可用 •文件系统级容错机制 其它 • RDBMS适合GB级 结构化数据 • Hadoop为大数据而生,适 合管理TB及以上结构/非结构 化数据,为未来趋势 • 在Google Earth/Map、搜索 引擎等得到验证 • 与LTFS带库无缝集成 空间数据共享系统总体方案 空间数据共享系统 demo 部分 – 在线数据处理 高性能、可线性扩展的在线数据处理能力技术优势 气象局空间数据共享系统 – 方案架构 2/2 IBM System and Technology Group © 2013 IBM CorporationPage 66 IBM Confidential Application System 查询应用服务器 电信历叱详单查询 系统– 业务描述 1/2 业务场景 • 移动、电信、联通等历史详单查询系统 • 可推广至互联网(包括移动互联网)访 问日志存储、查询、分析 • 银行历史账单查询 • 企业IT网管日志存储、查询、统计分析 业务价值 • 查询时间更短,提高用户满意度 • 系统可用时间更短,如每月用0.5天加载 维护数据 • 存储海量数据,提供更长历史数据查询 • 数据容量扩展容易,解决大数据的扩展 性问题,适应未来数据增长需求 • 无需昂贵的一体机或数据仓库,降低成 本 IBM System and Technology Group © 2013 IBM CorporationPage 67 IBM Confidential • PB 级别海量数据 share nothing 存储,解 决上亿文件大数据的存储 • 整体存储解决方案 • 秒级快速精准查询,可支持复杂的数据处 理 • 解决海量数据的大数据查询性能 • 解决计算与存储平台弹性的且线性的扩展 • 多份数据存放安全可靠,解决大数据的安 全存放 统一门户前台功能 接口服务器 综合查询 详单后台 话单预处理模块 Hbase GPFS-FPO话单存储 详单查询服务 电信历叱详单查询系统 –方案架构 2/2 Symphony Map/Reduce 详单查询协议 FTP获取 计费 系统 用户话单 文件 用户话单 文件 用户话单 文件 CRM 系统 方案优势 查 询 加 载 IBM System and Technology Group © 2013 IBM CorporationPage 68 IBM Confidential • 根据银监会的要求,国内商业银行需要2015 年前满足中国版巴塞尔协议III对银行业风险控 制的要求,国内目前已经有多家银行使用Algo 风险管理模块 • 流动性风险管理模型属于计算密集型, RiskWatch阶段占任务的95%以上,可以通过 Symphony将RW作业并行化 • 随着银行业务及数据量的增加,提高计算效率 只需要增加Symphony的计算节点数目,可扩 展性强 • 银行业有很多计算模型都可以通过Symphony 来解决问题,比如MOSES, CALYPSO, RMATLAB, R Language 业务场景 Financial Risks 1. 选择感兴趣的地理区域 银行风险管理系统–业务描述 1/2 客户挑战: 目前基于Algo流动性风险分析系统风险管理应用每周 运行一次,每次计算需要100+小时,不能满足未来应 用扩展和可靠性需求,不能及时得出风险分析结果 IBM System and Technology Group © 2013 IBM CorporationPage 69 IBM Confidential 银行风险管理系统–方案架构 2/2 Algo Engine Sym Service Algo Engine Sym Service Algo Engine Sym Service Algo Engine Sym Service Algo Engine Sym Service Sym Compute Hosts: 6 nodes * 32 cores = 192 cores Sym Master Schedule, Monitor, Management Sym Master Candidate Share Storage Schedule, Monitor, Management Schedule, Monitor, Management Algo Engine Sym Service Scale out 69 Algo Batch CITIC RW Analysis Algo Engine Client Request Single Computing ―使用了Platform Symphony 软件,计算机资源的利用率大幅提高,Algo 计算时间大幅缩短,达到了预期的技术指标, 且Symphony 软件有丰富的API接口,易于集成其他软件,为以后的业务拓展和升级留下了巨大空间。‖ -- 客户证言 方案优势: •单节点情况下客户的任务需要100+小时完成,使用Symphony后业务计算可以在10小时以内完成,速度提高10倍以 上;例如:晚上运行风险分析任务,次日凌晨可得到分析结果,满足业务需求; •可靠性大大提高,单一节点故障不影响整体系统运行; •银行业务数据增加、业务计算时间要求缩短,可以通过增加Symphony的节点来完成 IBM System and Technology Group © 2013 IBM CorporationPage 70 IBM Confidential 议程 • 大数据背景简介 • 大数据平台参考架构 • 推荐软件 • 推荐硬件 • 参考案例 • 解决方案优势分析 IBM System and Technology Group © 2013 IBM CorporationPage 71 IBM Confidential Forrester Wave™: 企业级Hadoop 解决方案,2012 ―IBM 具有最强大的Hadoop平 台和应用产品套件。作为企业 级数据仓库供应商,IBM 对 于Hadoop有自己独特的贡 献: - 为众多Hadoop项目提供了专 业服务; - 关于Hadoop 技术的众多研 发项目; - 把Hadoop与企业级数据仓库 产品进行集成; - 相当数量的Hadoop 解决方 案和众多客户; - 软件、硬件、应用和云技术 服务‖ 外部web 地址: http://www.forrester.com/rb/go?docid=607 55&oid=1-K07LCA&action=5 IBM System and Technology Group © 2013 IBM CorporationPage 72 IBM Confidential >> 企业级解决方案 >> 高可扩展性 >> 全球范围的技术支持服务 - 相对开源Hadoop ,IBM大数据方案性 能更高,可靠性更好,消除了单点故 障, 性能提升几十倍;满足企业级应用 需求 - Platform Symphony 提供企业级的 Map/Reduce 框架,已经在全世界20多 家国际顶级银行上线运行。 - IBM x86技术结合Platform/BigInsight 软 件平台,可以实现无限制地横向扩展集 群,实现高速、低延迟的互连,从而并 行地运行数以千计的任务; - x86服务器采用cluster架构,可以快速 扩展满足数据量的变化,至少可以提供 1000+节点的扩展能力。 - 本地250人的核心研发/技术支持团队, 更好的支持中国客户成功; - 提供大数据咨询、客户培训和广泛的技 术支持服务。 IBM 大数据解决方案优势分析 >> 端到端的解决方案 - IBM 提供端到端的大数据解决方案,所 使用的软件和硬件都是IBM产品,软硬 件都做了优化,可以比其他公司解决方 案获得更高的性能和可靠性。 IBM System and Technology Group © 2013 IBM CorporationPage 73 IBM Confidential

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享文档获得金币 ] 1 人已下载

下载文档

相关文档