搜索和大数据

下载需要 3 金币 [ 金币充值 ]

服务器/托管费、人工审核、技术维护等都需要很多费用，请您支持深度开源的发展

下载PPT

PPT 内容

1. 大数据和搜索陈利人
2. Key Points搜索是大数据的一大成功应用大数据的一大核心技术是搜索
3. 大数据的特性Volume（大量） Variety（多样） Velocity（高速） Value（价值）
4. 搜索是大数据应用Volume 大于200B Pages，平均20KB/Page，PB以上数据 Variety 网页，图片，视频，应用，声音，文本，结构化，半结构化，多媒体，微博，微信，feed Velocity UGC，邮件，贴子，Hadoop，Storm，Spark Value 搜索的价值，日志分析，用户行为，阅读习惯，流感
5. 大数据核心技术：搜索搜索提供了数据处理框架：收集，记录，清洗，抽取，标注，整合，聚类，表达，分析，建模，解释搜索将数据去伪存真，有序化搜索让数据按需可用搜索分析方法和价值
6. 搜索流程收集分析索引检索反馈评估分析：抽取，标注，整合，聚类，表达，分析，建模，解释
7. Volume技术数据收集：爬虫数据处理：分而治之，并行（MapReduce）数据存储：Block，Shard（HDFS）
8. 爬虫（一般）
9. 爬虫（优化）URLServicePageServicePageAnalyzerURLPriorityURLDedupFetcherFetcherFetcher
10. 数据处理
11. Variety技术通用数据格式：ProtoBuf/Thrift 可定制插件其它：压缩，存储，清理，提取，结构化，信号提取，等
12. ProtoBuf/Thriftmessage Person {required string name=1;required int32 id=2;optional string email=3;enum PhoneType {MOBILE=0;HOME=1;WORK=2;}message PhoneNumber {required string number=1;optional PhoneType type=2 [default=HOME];}repeated PhoneNumber phone=4;}
13. 可定制插件
14. Velocity技术实时分析：Google Caffeine,Storm 实时获取：push/pull 实时反馈
15. Google Caffeine
16. Storm
17. Value技术检索服务：树状服务，排序(BM25) 数据有序化：PageRank 评估:DCG 其它：意图分析，聚类，分类，结构化，Onebox,用户行为，等等。
18. 树状服务rootparentparentleafleafleafleafleafleafleafleafleafleafleafleafleafleafleafleaf
19. BM25排序
20. 有序化：PageRank
21. DCG评估

搜索和大数据

uiu33

贡献于2014-09-13

搜索和大数据

PPT 内容

PPT 图集

相关PPT