| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
9年前发布

视频类网站大数据生态 Spark在爱奇艺的应用实践

Spark生态@爱奇艺

秉承“悦享品质”的品牌理念,提供更多、更好的视频
– 2010年4月上线
– 2013年5月与PPS合并
– 月度独立访问用户4+亿(3月份数据)
– 2014年1月以来,日均覆盖、月度覆盖、月度时长以及人均月度时长一直排名第一

爱奇艺Spark生态

– 版本:从0.7.3开始,0.8.X, 0.9.X, 1.0, 1.1…不断跟踪升级
– 部署环境:虚机 + 物理机
– 部署方式:Standalone、Spark on YARN、Spark on Mesos
– Spark组件:通用Spark job, Spark MLlib,Spark Streaming
–语言:Scala & Java & Python

推荐

– 推荐模型训练
– Spark MLlib Alternating Least Squares(ALS) Algorithm
– 输入数据300+G,运行20分钟
– 模型提供给Hadoop,Storm进行批处理和实时数据预测
– Spark on YARN

用户行为分析

– 用户画像、分类
– iQIYI Logistic Regression (LR) Algorithm
– 输入数据100G左右,1400W+ Features
– 迭代1000次左右
– 单机运行(20G左右)2小时或更长,Spark集群10分钟左右
– Spark Standalone

PPT作者/主讲人:爱奇艺技术产品中心 孙琦

下面是详细的PPT内容:

视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践 视频类网站大数据生态 Spark在爱奇艺的应用实践

来自36大数据(36dsj.com):36大数据

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1418366844714.html
Spark 分布式/云计算/大数据