Perl开发的爬虫程序 Combine
Combine 是一个用Perl语言开发可扩展的Web资源爬虫程序。
- SearchEngine-in-a-Box 系统的一部分
- 高度可配置
- 聚焦爬行模式的综合自动化主题分类
- 可以使用任何主题聚焦爬行模式分类器
- 抓取URL的正则表达式，既包括和排除
- UTF-8字符集检测/正常化
- 语法探测
- HTML 清理
- 元数据抽取
- 支持多种文档类型 (text, HTML, PDF, PostScript, MsWord, PowerPoint, Excel, RTF, TeX,图片)
- 遵守robot协议
- 采用SQL存储数据和管理
本文由用户 jopen 自行上传分享，仅供网友学习交流。所有权归原作者，若您的权利被侵害，请联系管理员。
转载本站原创文章，请注明出处，并保留原始链接、图片水印。
本站是一个以用户分享为主的开源技术平台，欢迎各类分享！