| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
10年前发布

C#开发网络爬虫程序:NWebCrawler

NWebCrawler是一款开源,C#开发网络爬虫程序。
特性:

  • 可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。
  • 统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。
  • Preferential crawler:用户可以设置优先级的MIME类型。
  • Robust: 10+ URL normalization rules, crawler trap avoiding rules.

C#开发网络爬虫程序:NWebCrawler

项目主页:http://www.open-open.com/lib/view/home/1350117470448

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1350117470448.html
爬虫 网络爬虫