| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
278439392
6年前发布

Python爬虫: 抓取One网页上的每日一话和图

   <h2><strong>先说下需求</strong></h2>    <p>最近打算搜集点源数据,丰富下生活。嗯,最近看到<a href="/misc/goto?guid=4959672313143354395">One</a>这个APP蛮好的。每天想你推送一张图和一段话。很喜欢,简单不复杂。而我想要把所有的句子都保存下来,又不想要每个页面都去手动查看。因此,就有了Python。之前有点Python基础,不过没有深入。现在也没有深入,用哪学哪吧。<br> 网站的内容是这样的,我想要图片和这段话:</p>    <p><img alt="Python爬虫: 抓取One网页上的每日一话和图" src="https://simg.open-open.com/show/17287394897b661f6a937d7cb7b4faed.png"></p>    <p>one</p>    <h2><strong>(一)</strong>一台MAC电脑</h2>    <h2><strong>(二)Python环境搭建(所有命令都是在terminal中输入的)</strong></h2>    <ul>     <li>安装<a href="/misc/goto?guid=4958977545173922349">homebrew</a>:<br> <code>/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"</code></li>     <li>安装pip:这里我在terminal中输入<code>python -v</code>,homebrew会自动帮你升级Python到2.7.11版本的。2.7.11版本里自带了pip工具。</li>     <li>安装virtualenv:<br> <code>pip install virtualenv</code></li>     <li>安装request和beautifulsoup4:<br> <code>pip install requests beautifulsoup4</code><br> 参考<a href="/misc/goto?guid=4959672313260670663">这里</a></li>    </ul>    <h2><strong>(三)分析</strong></h2>    <p>目的:找出三个内容所在的网页标签的位置,然后将它们提取出来。<br> 网址:<a href="/misc/goto?guid=4959672313343017772">http://wufazhuce.com/one/1293</a><br> 谷歌浏览器,右键->显示网页源代码,然后就会弹出一堆HTML的东西了。这样的:</p>    <p><img alt="Python爬虫: 抓取One网页上的每日一话和图" src="https://simg.open-open.com/show/c7e8934310bca024d0836c7b8e426ba1.png"></p>    <p>网页源文件</p>    <p>我想要的内容是这段话:“即使热恋者的情感是错觉、幻象或自恋行为,那又何妨,所谓人生就是一段不断追求情爱的路程。 by 森山大道”。它在图中画红线的地方。在<code><heda></code>标签里的<code><meta></code>中,之后会用到,先往下看。<br> 图片的链接在哪里?显然不在<code><head></code>中,往下找,然后就在<code><body></code>中,发现2处和图片类似的链接。看图</p>    <p><img alt="Python爬虫: 抓取One网页上的每日一话和图" src="https://simg.open-open.com/show/bfda230d45b10fa66a4b17165bb271b7.png"></p>    <p>图片链接地址</p>    <p>哪个链接是呢,点击去,发现后一个链接,也就是67行这个img标签的链接是。<br> 然后,我还想知道哪一天的图和文字。嗯,在回到<code><head></code>标签里,很明显有个<code><title></code>,里面的东西就是我们要的。这样:<br> <code><title>VOL.1271 - 「ONE · 一个」</title></code><br>  </p>    <h2><strong>(四)python编码</strong></h2>    <p>想要抓取网页上的内容,又不想自己去解析HTML,只好求助万能的Google了。然后就找到了上面的<a href="/misc/goto?guid=4959672313260670663">链接</a>。主要有两个工具:request加载网页,BeautifulSoup4解析HTML。</p>    <p>首先,抓取我们需要的哪三个内容:<br> 进入python环境,然后敲入下面的代码:</p>    <pre>  <code class="language-python">import requests  import bs4  response = requests.get('http://wufazhuce.com/one/1295')  soup = bs4.BeautifulSoup(response.text,"html.parser")</code></pre>    <p>这样,就可以将网页信息存储到soup中了。你可以敲入<code>print soup</code>试试。</p>    <p>接下来,我们获得<code><title>VOL.1271 - 「ONE · 一个」</title></code>中的数字<strong><code>1271</code></strong>。怎么获得呢,beautifulsoup4<a href="/misc/goto?guid=4959542497396974992">教程</a>,提供了很好的方法,可以通过tag查找得到title的内容,然后截取字符串。termianl中输入:</p>    <pre>  <code class="language-python">soup.title.string[3:7]</code></pre>    <p>title是tag值,string是tag=title的字符串的值,也就是<code><title></title></code>之间的值,因为只有一个<code><title></code>tag,所以不用做判断,直接获取即可。</p>    <p>接下来,获取一段话。</p>    <p><img alt="Python爬虫: 抓取One网页上的每日一话和图" src="https://simg.open-open.com/show/9ee331bba057a46f8c4be8565b827501.png"></p>    <p>要截取的内容</p>    <p>这段话在<code><meta></code>中,而这里又有太多的<code><meta></code>了,怎么办。这里要用到select方法了,它可以查找所有的<code><meta></code>,并返回一个列表。还要用到get方法,get可以获得tag的属性,如tag: <code><meta attr='abc'></code> tag.get('attr')值等于abc。这里我们要获取的属性是name,通过name='description'来区分。</p>    <pre>  <code class="language-python">for meta in soup.select('meta'):      if meta.get('name') == 'description':          print meta.get('content')</code></pre>    <p>接下来,在两个img标签中,查找第2个img标签标定的链接。这里通过find_all方法,它可以查找所有的符合要求的标签。</p>    <pre>  <code class="language-python">soup.find_all('img')[1]['src']</code></pre>    <p>这样,我们就把所需要的信息找出来了。</p>    <p><img alt="Python爬虫: 抓取One网页上的每日一话和图" src="https://simg.open-open.com/show/44927b382b83c1dba71d21edd398b814.png"></p>    <p>终端示例</p>    <p>等等,之后我们还需要并发和保存文件。在此之前,先来看点别的。map函数有两个参数,一个是函数,一个是序列。将序列的每个值,作为参数传递给函数,返回一个列表。参考<a href="/misc/goto?guid=4959672313471184978">这里</a><br> 示例:</p>    <pre>  <code class="language-python">def echoInfo(num):      return num    data = map(echoInfo, range(0,10))  print data</code></pre>    <p>结果: <code>[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]</code><br> 然后<a href="/misc/goto?guid=4959672313552276393">并发</a>, python可以跨平台使用,自身提供了多进程支持模块:multiprocessing。而pool可以用来创建大量的子进程。<br> 保存数据到文件。这里我们是吧数据解析后存储到字典中,然后序列化为JSON模型,最后保存到文件的。<br> 即:字典->JSON模型->存储到文件。<br> 字典->JSON模型,使用的是JSON模块的json.dumps方法,该方法有一个参数,参数为字典,返回值是JSON字符串。<br> JSON模型->文件,使用的是json.load方法,可以将JSON存储到文件中。</p>    <p>全部的代码示例如下:</p>    <pre>  <code class="language-python">import argparse  import re  from multiprocessing import Pool  import requests  import bs4  import time  import json  import io    root_url = 'http://wufazhuce.com'    def get_url(num):      return root_url + '/one/' + str(num)    def get_urls(num):      urls = map(get_url, range(100,100+num))      return urls    def get_data(url):    dataList = {}    response = requests.get(url)    if response.status_code != 200:        return {'noValue': 'noValue'}    soup = bs4.BeautifulSoup(response.text,"html.parser")    dataList["index"] = soup.title.string[4:7]    for meta in soup.select('meta'):      if meta.get('name') == 'description':        dataList["content"] = meta.get('content')    dataList["imgUrl"] = soup.find_all('img')[1]['src']    return dataList    if __name__=='__main__':    pool = Pool(4)    dataList = []    urls = get_urls(10)    start = time.time()    dataList = pool.map(get_data, urls)    end = time.time()    print 'use: %.2f s' % (end - start)    jsonData = json.dumps({'data':dataList})    with open('data.txt', 'w') as outfile:      json.dump(jsonData, outfile)</code></pre>    <p><br>  </p>    <p>文/取水(简书)<br> 原文链接:http://www.jianshu.com/p/c4f35dfe1a1f<br>  </p>    
 本文由用户 278439392 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1462418024058.html
爬虫 Python开发 Python