C#开发网络爬虫程序：NWebCrawler
NWebCrawler是一款开源，C#开发网络爬虫程序。
特性：
- 可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。
- 统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。
- Preferential crawler：用户可以设置优先级的MIME类型。
- Robust: 10+ URL normalization rules, crawler trap avoiding rules.
本文由用户 jopen 自行上传分享，仅供网友学习交流。所有权归原作者，若您的权利被侵害，请联系管理员。
转载本站原创文章，请注明出处，并保留原始链接、图片水印。
本站是一个以用户分享为主的开源技术平台，欢迎各类分享！