| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
10年前发布

OpenWebSpider - 开源多线程Web爬虫

OpenWebSpider是一个开源多线程Web爬虫和包含许多有趣功能的搜索引擎。

OpenWebSpider的使用方法。
一般情况下我们通过在CMD下输入
openwebspider -i www.**.com -e -s
就可以对你指定的网站进行采集了。

参数说明:
-I 在数据库里搜索字符串。        eg: openwebspider -I '美女'
-O 指定数据库内主机进行索引      eg: openwebspider -O 'www.baidu.com'
-i 指定主机名                    eg: openwebspider -i www.baidu.com
-t 线程 如不设定,默认为20
-s 限制层数 默认为0 不限制
-l 限制索引页数量 默认为0 不限制
-c 限制每页索引花费时间。
-b 限制出错时间
-e 限定主机,(不添加外部主机)
-F 自由索引模式
OpenWebSpider - 开源多线程Web爬虫 OpenWebSpider - 开源多线程Web爬虫

项目主页:http://www.open-open.com/lib/view/home/1350115826550

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1350115826550.html
爬虫 网络爬虫