webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
POST支持
新的POST API，支持各种RequestBody #513
Request request = new Request("http://xxx/path"); request.setMethod(HttpConstant.Method.POST); request.setRequestBody(HttpRequestBody.json("{'id':1}","utf-8"));移除了老的在request.extra中设置NameValuePair的方式
POST请求不再进行去重 #484
代理支持
新的代理APIProxyProvider，支持自由扩展
默认实现SimpleProxyProvider是一个简单的round-robin实现，可以添加任意个数的代理。
HttpClientDownloader httpClientDownloader = new HttpClientDownloader(); SimpleProxyProvider proxyProvider = SimpleProxyProvider.from(new Proxy("127.0.0.1", 1087), new Proxy("127.0.0.1", 1088)); httpClientDownloader.setProxyProvider(proxyProvider);移除了Site上关于代理配置的setProxy等，代理设置统一到HttpClientDownloader里。
新的SimpleHttpClient
用作简单的单次下载和解析时，使用SimpleHttpClient可以满足需求
SimpleHttpClient simpleHttpClient = new SimpleHttpClient(); GithubRepo model = simpleHttpClient.get("github.com/code4craft/webmagic",GithubRepo.class);其他改动
为Page中增加状态码和Http头信息 #406
支持Request级别设置Http Header和Cookie
去掉Site.addStartRequest() , 用Spider.addStartRequest()代替 #494
HttpClientDownloader大幅重构，将Request转换抽象到HttpUriRequestConverter(之前继承HttpClientDownloader的实现可能需要做相应修改) #524
将CycleRetry和statusCode的判断逻辑从Downloader中迁移到Spider中 #527
通过Page.isDownloadSuccess而不是Page对象本身为空来判断是否下载失败
为PageModel增加不发现新URL的功能 #575
为Site增加了disableCookieManagement属性，在不想使用cookie时使用 #577
