单机游戏下载单机游戏下载基地
最新游戏|热门游戏|游戏大全|游戏专题
网页浏览下载工具FTP工具聊天工具网络共享广告拦截即时通讯视频聊天邮件客户端网盘工具
当前位置：首页 → 网络工具 → 网络共享 → 网络爬虫软件(nwebcrawler) v1.0.1 绿色版

网络爬虫软件(nwebcrawler) v1.0.1 绿色版

  • 网络爬虫软件(nwebcrawler)截图0
< >
网络爬虫软件(nwebcrawler)下载
好玩 好玩 0
坑爹 坑爹 0
  • 应用语言：中文
  • 应用大小：177KB
  • 更新时间：2015-06-25 16:11
  • 发行时间：
  • 应用类型：普通
  • 应用标签： 网页抓取
网络爬虫软件nwebcrawler是一款小巧实用，操作简单，功能强大的免费多线的网页信息抓去工具，采用开源，C#开发的网络爬虫程序。网络爬虫软件nwebcrawler功能十分的强大与全面，所有也被网友称为蚂蚁、自动索引、模拟程序、网页蜘蛛、网页机器人等等。该软件适用[更多]
大小：177KB
应用介绍

网络爬虫软件(nwebcrawler)是一款小巧实用，操作简单，功能强大的免费多线的网页信息抓去工具，采用开源，C#开发的网络爬虫程序。网络爬虫软件(nwebcrawler)功能十分的强大与全面，所有也被网友称为蚂蚁、自动索引、模拟程序、网页蜘蛛、网页机器人等等。该软件适用于的范围相当的广泛，常被用户用于网站的优化。

网络爬虫软件(nwebcrawler)简介：

NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL(先进先出原则)，分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。

网络爬虫软件(nwebcrawler)主要功能：

可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。

统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。

Preferential crawler：用户可以设置优先级的MIME类型。

Robust: 10+ URL normalization rules, crawler trap avoiding rules

 

相关应用
相关攻略
下载地址

网络爬虫软件(nwebcrawler) v1.0.1 绿色版

    热门评论

    最新评论

    发表评论 查看所有评论(0)

    昵称:
    表情: 高兴 可 汗 我不要 害羞 好 下下下 送花 屎 亲亲
    (您的评论需要经过审核才能显示)

    配置需求

    推荐专题

    2020支付宝五福图片素材2020支付宝五福图片素材

    本类下载排行

    关于飞翔 | 联系我们 | 大事记 | 下载帮助(？) | 广告联系 | 版权声明 | 网站地图 | 友情链接

    Copyright 2010-2013 单机游戏下载 (R) 版权所有 飞翔下载所有游戏及软件下载资源来源互联网，并由网友上传分享。如有侵权，请来电来函告之。
    飞翔忠告：抵制不良色情、反动、暴力游戏 合理安排游戏时间 享受健康生活 鄂公网安备：42011102003115号 【鄂ICP备13011873号-1】