汽车之家数据平台架构

mx3y

贡献于2015-06-29

字数:0 关键词:

汽车之家数据平台架构 小思考: 互联网企业数据仓库构建是采用 自下而上的方式,还是自上而下的方式? 如果你是一个数据部门的架构师, 你怎么去规划数据仓库呢? 技 术 需 求 架构师必须要面对的两个方面 该怎么办? 一切以实现数据价值为目标 数据采集 数据质量 数据分析 数据挖掘 系统平台 数据仓库 数据门户 需求分析&产品 平台规划 项目规划 数据平台 制定目标 OKR 价值导向 沟通共识 资源保障 实施计划 项 目 管 理 数据价值 部 门 管 理 如何实现数据价值 数据质量 管理改进 建立全面数据质 量评估环境 建立全面数据质 量管理实施计划 数据质量项目 实施 评级数据质量 管理进程 数据价值的保障-数据质量 数据质量系统 质量过程管理 数据质量检核 知识管理 检核定义 检核引擎 问题管理 需求管理 检核分析 数据质量监控 数据监控 安全监控 系统监控 数据质量报告 流量数据报告 业务数据报告 元数据系统 数据标准管理 元数据采集 人工录入 自动采集 模板导入 元数据分析 核心数据分析 影响分析 血缘分析 元数据检核 活力分析 元数据基础管理 版本管理 视图管理 变更管理 生命周期管理 元数据访问管理 元数据查询 技术元数据管理 报表 元数据 ETL元数 据 源系统元 数据 主数据 数据仓库 元数据 业务元数据管理 业务模型 管理 业务指标 管理 元数据映 射 计算规则 数据标准规范管理 业务数据 标准规范 技术数据 标准规范 数据标准流程管理 流程 定义 流程 变更 数据标准执行 标准 执行 标准 监控 系统管理 版本 管理 标准 查询 标准 维护 数据质量委员会 数 据 质 量 体 系 规 划 实现数据价值的必经之路-平台化 接口 消息中间 件 Hdfs(2.4) nn1 nn2 Jmq dn dn … … zk Yarn 资源管理 mr spark hive hue 调度系统 gate way Kafka server 收 集 Kafka server Kafka server 采集 存储计算 应 用 监控系统 gate way 权 限 控 制 体 系 kylin stream ing Data api 存储 MS SQ L Hba se My sql 系统架构 Web server agent agent 个案分享 ip种子库1 ip种子库1 IP种子库 IP API 获取日志IP 排序列表 抓取IP解析 IP API IP API 差异IP库 相同IP库 更新 整合IP库 IP特例库 用户地区 解析 AUTO IP库 更新 经纬DB 投票 更新差异 IP库 IP库更新流程 影响分 析报告 用户解 析页面 IP 服务 Cookie 技巧 Cookie_用户标识ID = UID(36位)+ First Datetime + First ReferDomain 标识用户;标示用户第一次访问时间;标示用户第一次访问来源; 提升统计分析效率; Cookie_Evercookie =Cookie_用户标示ID 恢复用户标识ID; 使用户跟踪更精准; Cookie_fingerprint = number 评估用户规模;防作弊; Cookie_ref =上次访问来源 + 本次访问来源 用于提升统计分析效率 APP统计SDK日志采集模型 移动设备唯一标识问题  冲突与漂移: 冲突——多个设备获取的UUID相同 漂移——单个设备产生多个UUID  Android IMEI 缺陷 (1)山寨 (2)权限限制 (3)如何多app共享  iOS OpenUDID 缺陷 (1)剪贴板共享被限制,如果证书前缀一致,可以共享 (2)Keychain要求证书前缀一致 (3)IDFA可能被用户禁用,存在被被app store拒风险 (4)MAC已被禁用(iOS7) 解决冲突和漂移的方案 欢迎加入汽车之家 高红锋 数据平台部门经理 email: gaohongfeng@autohome.com.cn 微信: sdkf2014122

下载文档,方便阅读与编辑

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 6 金币 [ 分享文档获得金币 ] 0 人已下载

下载文档

相关文档