| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
大帅锅胚子
6年前发布

使用python爬虫工具Scrapy统计简书文章阅读量

   <p style="text-align:center"><img src="https://simg.open-open.com/show/e66cc8c3177e30a77b164171ae20dc62.png"></p>    <p>突然发现多年来一直断断续续在学习使用的python,拥有着广泛的使用场景,从开源硬件、服务器运维、自动化测试,到数学计算,人工智能,都有python的一席之地,在各个领域python有丰富的框架和工具。</p>    <p>听闻python的Scrapy爬虫已久,最近正好想对去年一年在简书写作的文章做一下统计。作为软件工程师,肯定不能去按计算器,正好找到一个可以使用scrapy的场景,直接用爬虫来抓取简书页面,然后提取数据作统计。</p>    <h2>工作原理和步骤</h2>    <ol>     <li> <p>分析要抓取的页面结构,找到有价值的信息;</p> </li>     <li> <p>通过发起http请求,获得要抓取页面的html正文;</p> </li>     <li> <p>分析html页面的标签结构,根据xml层级结构或者css选择器语法,读取到需要的document元素;</p> </li>     <li> <p>设计数据结构和计算规则,进行统计,然后将结果输出</p> </li>    </ol>    <p>抓取网页的话使用urllib库其实就可以完成,css选择器的话,python也有pyquery提供类似jquery的功能。剩下就是简单的数据统计了。</p>    <h2>使用Scrapy动手操作</h2>    <p>完整的项目还没有整理好,暂时不提供代码,本身核心业务逻辑的代码量并不多。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/59f2eb3f5a9616a3908293069358a2d8.png"></p>    <h3>安装python和scrapy</h3>    <pre>  <code class="language-python">#安装pip  apt-get install -y build-essential libffi-dev libxml2-dev libxslt1-dev libevent-dev libssl-dev zlib1g-dev  python-dev python-pip  pip install -U pip    #安装scrapy  pip install scrapy</code></pre>    <p>本次应用中使用pip来安装scrapy,详细安装可以参看官网,安装pip的同时,需要安装一些linux开发相关的工具。</p>    <p>需要注意的事项有两点,首先如果是在mac上安装的话,由于操作系统以来sis这个库,而scrapy需要更高版本的sis,无法升级,所以可能有坑,笔者直接使用docker搭建的容器进行开发,所以不存在问题;另外一个是pip源,在国内可能下载速度会比较慢,可以使用国内的源或者F墙下载。</p>    <pre>  <code class="language-python">import sys  import scrapy  import csv    class MyJianShuSpider(scrapy.Spider):      name = 'my_jisnshu_spider'      page = 1      userid = 'yourid'      base_url = 'http://www.jianshu.com/u/yourid?order_by=shared_at&page='      start_urls = ['http://www.jianshu.com/u/yourid?order_by=shared_at&page=1']      headers = {        "Host": "www.jianshu.com",        "User-Agent": "your agent",        "Accept": "*/*"      }        def start_requests(self):          url = self.base_url + str(self.page)          yield scrapy.Request(url, headers=self.headers, callback=self.parse)        def parse(self, response):          for item in response.css('ul.note-list li'):              print publishTimeText = item.css('.author .name > .time ::attr(data-shared-at)').extract_first()</code></pre>    <h3>Scrapy基本工作原理</h3>    <p>scrapy提供了 Spider 类,该类通过 start_requests 接口被scrapy执行器调用,运行scrapy执行器,就会从入口点start_requests开始执行爬虫的代码;使用过javascript的es2015应该会比较容易理解yield,感觉是js也借鉴了很多python的理念。</p>    <p>在Spider执行过程中,任何时候都可以通过调用 scrapy.Request 来发起一个爬虫抓取操作,callback参数是抓取的网络请求成功之后的回调函数,url是请求的链接地址,headers是http协议的头部,可以根据需要设置。</p>    <h3>简书页面的相关结构</h3>    <p style="text-align:center"><img src="https://simg.open-open.com/show/156e4cbae4cf0d5e8ffd446eefd66731.png"></p>    <p>查看简书列表页面的document结构,很容易找到 #list-container 下面的ul列表就是包含我们要统计的信息的节点,因此可以直接使用scrapy提供的css选择器来获取。执行回调函数 response.css('ul.note-list li') 就获取到了一个列表,对列表做循环处理,取出每一个需要的元素。</p>    <pre>  <code class="language-python">#发表时间  publishTimeText = item.css('.author .name > .time ::attr(data-shared-at)').extract_first()  # 摘要  abstractText = item.css('p.abstract ::text').extract_first()  # 文章标题  titleText = item.css('a.title ::text').extract_first()  # 文章的链接  articleLink = item.css('a.title ::attr(href)').extract_first()    #统计信息  metaList = item.css('.meta > a ::text').re(r' ([0-9]*)\n')</code></pre>    <p>最后的metaList返回的是一个数组,下标0-2分别是阅读、评论和点赞的数目。</p>    <p>在实际获取到的列表页面中,页面的文章是通过异步加载,每次获取一页数据的,所以在抓取过程中,需要多次抓取每次抓取一页,直到没有更多文章为止。</p>    <p>简书实际上提供了分页的文章列表页,可以分页获取数据,页面中页可以找到是否还有更多文章的标记。为了不破坏读者探索的乐趣,文章里就不详细介绍了。</p>    <p> </p>    <p>来自:https://segmentfault.com/a/1190000008458083</p>    <p> </p>    
 本文由用户 大帅锅胚子 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1487917278609.html
Scrapy 网络爬虫