| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
11年前发布

windows下搭建爬虫框架scrapy

如果你对scrapy第一次听说,并且还有点兴趣学习的话,可以先登录官网 http://scrapy.org/ 基本浏览一下,然后可以按照一面的步骤来完成环境的搭建。

第一步:当然是安装python了,本人安装的是 2.7.3版本;可以到python的官网下载然后双击运行,一路“下一步”即可完成安装。安装好后,将python的安装目录添加到系统变量中,这样才 能够在控制台中输入python进入,如下图所示则说明安装python成功了

windows下搭建爬虫框架scrapy

第二步:按照官网的提示,我们先安装pywin32,在http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本(注意要与安装的python版本对应),下载后也是双击运行,直接下一步一路完成。

第三步:安装twisted,在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

    1. 安装zope.interface, 从这里https://pypi.python.org/pypi/zope.interface#download下载

windows下搭建爬虫框架scrapy

我选择了4.0.5版本,点击进去后,点击download按钮即可,下载完后也是双击运行,一路下一步即可完成。

打开cmd,进入python,按照下图显示输出的话表示正确安装了

windows下搭建爬虫框架scrapy

    2. 安装pyopenssl, 从这里https://pypi.python.org/pypi/pyOpenSSL下载,注意要选择对应python的版本。

windows下搭建爬虫框架scrapy我选择了倒数第二个,安装成功后通过下面的方式验证:

windows下搭建爬虫框架scrapy

    3. 安装twisted,在下载页面http://twistedmatrix.com/trac/wiki/Downloads中我们可以看到

windows下搭建爬虫框架scrapy

    选择对应python的版本下载安装。

第三步:安装lxml,在这里https://pypi.python.org/pypi/lxml/下载,本人选择了3.2.3版本

windows下搭建爬虫框架scrapy

最后一步:安装scrapy

在安装前,请先将easytool安装好

在这里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载,安装好后,需要将python安装目录下的Scripts目录路径添加到系统变量中,因为下面就要用到。

下载scrapy,在这里https://pypi.python.org/pypi/Scrapy下载,下载完后,解压出来,运行cmd,cd到该解压目录下,在cmd中输入

easy_install Scrapy
完成scrapy的安装,然后在cmd中输入scrapy进行验证,如果出现下图所示,则说明安装成功了

windows下搭建爬虫框架scrapy


到此,整个环境搭建成功!

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1383291459613.html
网络爬虫 Scrapy