网络爬虫, Python和数据 分析 王澎 中国科技大学 什么是网络爬虫？ • 网络爬虫是一个自动提取网页的程序，它为搜索 引擎从万维网上下载网页，是搜索引擎的重要组 成。传统爬虫从一个或若干初始网页的URL开始， 获得初始网页上的URL，在抓取网页的过程中， 不断从当前页面上抽取新的URL放入队列,直到满 足系统的一定停止条件 爬虫有什么用？ • 做为通用搜索引擎网页收集器。（google,baidu） • 做垂直搜索引擎.(找工作的搜索引擎: www.deepdo.com,数据来源于：www.51job.com , www.zhaoping.com , www.chinahr.com 等等) • 科学研究：在线人类行为，在线社群演化，人类 动力学研究，计量社会学，复杂网络，数据挖掘， 等领域的实证研究都需要大量数据，网络爬虫是 收集相关数据的利器。 • 偷窥，hacking，发垃圾邮件……（《google hack》….） 爬虫是搜索引擎的第一步 也是最容易的一步 • 网页搜集 • 建立索引 • 查询排序 用什么语言写爬虫？ •C，C++。高效率，快速，适合通用搜索引 擎做全网爬取。缺点，开发慢，写起来又 臭又长，例如：天网搜索源代码。 • 脚本语言：Perl, Python, Java, Ruby。简单， 易学，良好的文本处理能方便网页内容的 细致提取，但效率往往不高，适合对少量 网站的聚焦爬取 •C#？（貌似信息管理的人比较喜欢的语言） 我曾经用来写过爬虫的语言 • Perl: 古老的脚本语言，hack 语言，被用来写爬虫 有着悠久的历史，因此，书本支持相当丰富： 《spidering hacks》，《Perl & LWP》；强大的文 本处理能力，数据库支持能力。缺点：有点怪异。 • Python：相对年轻一点的语言。对于爬虫来说各 方面能力还行，并且还在完善中，没有Perl那样有 专门的爬虫书籍，不过网上能搜到一些文章。 为什么最终选择Python？ • 跨平台，对Linux和windows都有不错的支持。 • 科学计算，数值拟合：Numpy，Scipy • 可视化：2d：Matplotlib(做图很漂亮), 3d: Mayavi2 • 复杂网络：Networkx • 统计：与R语言接口：Rpy • 交互式终端 • 网站的快速开发？ 从一个简单的Python爬虫开始 说明：加说明语句时要注意#需要英文编码里的，而不能是中文输入法中的#号，所 以添加中文说明时先在英文输入法下打入#号后再切换到中文输入 ……… 瀚海星云Pie 版的网页部分代码 Pie版的Html树部分结构 利用BeautifulSoup剖析树 FindAll()是最方便最好用的函数 • 页面中的link 通用搜索策略 • 深度优先 • 广度优先 现实中的策略是多种多样的 • 因为瀚海星云link有很简单的规律，每页递减20，所以利用这个规 律设置每次赋入的URL，这样爬完了PIE版所有帖子 运行结果 • 有乱 码！！ 爬取中文网页常有的问题：不规 格的编码模式 • 解决方法：编码转换 最后的结果 • Perfect! 请温柔的对待瀚海星云！！ • 设置延迟时间（对于一个论坛，如果假设一 个真实的浏览者每10秒翻开一个新的网页的 话，一个不延时的爬虫每秒可以抓10个网页， 这样一个爬虫相当于占用了100个人的带 宽！） • 在午夜爬取可以适当加快速度 道上的规矩： 用Mysql存储数据 • 先要在自己数据库里建立一个空的表，这里， 这里我已经建立了一个名为lilybbs的数据库， 表名为hunan_a • 导入相应的模块 • 与相应的数据库连接 • 写入 数据库里的结果 统计和做图 • 这部分主要用于科研方 面，利用爬取到的数据 做一些简单的统计工作 • 右图是某论坛的回复网 络，使用python的 networkx包做的。 • Pylab 是 matplotlib作 图包的一部 分 • 左图是某 blog四年间 每天发表文 章的数量 • 左一是某blog网站每个blog 评论数的统计，x是blog评 论数量，y是有这样数量的 blog的数量。可以看到是标 准的“power-law”分布，幂 指数为-1.2左右，拟合使用 了Scipy包的optimize.leastsq, 函数，具体可见scipy cookbook页面的fitting data 一栏 • 左二是blog的comment networks 的入度与出度的散 点图，也就是每个点的坐 标x，y分别代表某个人获 得的评论和发出的评论数。 颜色代表这样点的数量。 本图使用了matplotlib中的 hexbin函数 高级主题（一）：编写更健壮的爬虫 • 伪装成浏 览器 • 容错 高级主题（二）：由内嵌脚本产生 的动态网页的爬取 • 如何爬取 像左图这 样的网页 呢？ • 它显示的 内容并不 会呈现在 html文件 里。 高级主题（三）：SQLAlchemy • 当你越关注性能，就会发现 SQL 数据库离对象集合越来越远；当你越关 注抽象，就会发现对象集合离表和行这些概念越来越远。SQLAlchemy 将 致力于尽量包容这两个世界。 • SQLAlchemy 并不把数据库简单地视为数据表的集合；它把它们看作是关 系代数引擎。它的关系对象映射能够让类以不同的方式映射到数据库。 SQL 工具包也不光能够对数据表进行 select 操作——你还能对连接、子查 询和联合进行 select。这样数据库关系和领域对象模型之间的耦合从一开 始就得以很好地解开，使得两个领域都得以发挥其各自的极致。 Mysql这样关系型数据库的缺点：在表 示复杂网络这样一对多，和多对多 的关系时，非常冗余；一旦需要做 比较复杂的统计，sql语句会变得异 常复杂。 • 我写过的某个繁琐的调用 • 号称能更简洁明了的SQLAlchemy会成为 mysql的替代品么？ 高级主题（四）：统计利器R语言 • 求方差，聚类，判 别，拟合，团簇探 测，时间序列分析， 生存分析，甚至复 杂网络，这些R语言 里都有很好的函数 • 可以直接使用R语言， 也可以利用Rpy在 python里面调用R的 函数，不过Rpy仍然 开发中，还不是很 成熟 曾经我们获取数据的手段： 我们用望远镜来洞察宇宙 昂贵的实验 只是为了获取大自然的数据 Internet 带给我们了海量的数据 善用数据，了解我们自己 浩瀚的比特海是另一片未知的星空 谢谢大家！