一米URL外链资源批量抓取工具 v2016.4.8绿色版

一米URL外链资源批量抓取工具是一款绿色小巧但是功能专业的URL链接抓取工具；软件支持搜索引擎脚本URL抓取、全网蜘蛛抓取、同IP旁站扫描等等功能，适用于baidu.com,google.com,yahoo.com,bing.com,haosou.com 等多个搜索引擎，需要的朋友快来下载体验一下吧！

软件特点

谷歌百度等绝大多数搜索引擎脚本(footprint)抓取URL； 
支持手工浏览器获取url，自动过滤重复url或域名； 
全网段蜘蛛爬取分析过滤URL，全球海量url资源爬取； 
同IP段网站批量扫描（C段扫描）； 
多种方式外链资源整理(去重/识别/过滤)；

软件功能

开发背景 

很多时候，需要抓取某类外链资源，如wordpress,discuz等，配合某些群发类的软件，因为群发软件本身内置的资源很多人都在用，可能存在被用烂的情况，这时候自己抓取资源就很有必要。但是手工从搜索引擎谷歌，百度等获取的话都有限制，一米URL外链资源批量抓取工具通过3种方式绕过了种种限制，能够让您在短时间获取大量需要的外链资源，全面支持footprint脚本，内置多线程高匿名代理抓取，全网段蜘蛛爬取过滤及同IP段网址扫描等功能，原则上只要是具有某一类特征的cms都可以抓到尽可能多的URL资源。

多搜索引擎抓取支持 
支持国内外多种搜索引擎类型，baidu.com,google.com,yahoo.com,bing.com,haosou.com ,sougou.com等; 
支持多脚本footprint/关键词抓取； 
内置高匿名代理IP及专属代理支持，批量验证可用性，每天更新；

支持手动搜索引擎结果获取 
针对谷歌等可以使用搜索命令的引擎，可以更精准的使用搜索命令如:inurl:/wp-content/等获取资源，关于这类资源最好的获取方式还是直接手动从模拟浏览器中直接提取当前页链接，每页显示100条记录，软件也支持以此方式获取

全网段蜘蛛爬取过滤 
导入初始的网址源数据，蜘蛛会在此基础上不断爬取整个互联网网址 
可根据设置的过滤URL规则过滤出需要的URL网址； 
可验证存在某个特征URL的网站； 
可限制是否只爬取站内网址及爬取数量； 
可设置屏蔽站点，提高效率，防止爬取一些大型的无用站点； 
自动过滤重复及提供识别email邮件提取

C段同IP旁站扫描获取 
一般像国外的服务器某个IP段下可能存在大量同类型cms的网站程序，该功能可实时监测出这些同类型的站点。可调用bing的search api接口，扫描某个IP下的所有站点，实时性精准度是目前最高的方式，单账户每月限制5000次调用，但是软件可以同时多个账户轮换操作。

URL外链资源整理 
可自动截断某个网址规则，比如要从所有url中过虑出“/wp-content/”类型，过滤后可自动截断网址，只保留唯一主域名，或获取主域后加入一段网址等格式 
可识别某个网址是否存在，根据特征网址页面是否存在某字符判断存在比较精准