这是一个创建于 2101 天前的主题，其中的信息可能已经有所发展或是发生改变。
工作的需求和个人的兴趣上开发了一个爬虫框架，目前功能比较简单，后续会不断的完善，希望大家给提点建议，对爬虫感兴趣的一起交流~。
github: https://github.com/heyingcai/cetty
功能介绍：
1.基于完全自定义事件处理机制的爬虫框架
2.模块化的设计，提供强大的可扩展性
3.基于 HttpClient 支持同步和异步数据抓取
4.支持多线程
5.基于 Jsoup 页面解析框架提供强大的网页解析处理能力
TODO:
1.支持注解方式
2.支持代理池
3.支持 Berkeley 内存数据作为 url 管理器，提供海量 url 存储并提高存取效率
4.支持热更新
5.支持爬虫治理
github: https://github.com/heyingcai/cetty
功能介绍：
1.基于完全自定义事件处理机制的爬虫框架
2.模块化的设计，提供强大的可扩展性
3.基于 HttpClient 支持同步和异步数据抓取
4.支持多线程
5.基于 Jsoup 页面解析框架提供强大的网页解析处理能力
TODO:
1.支持注解方式
2.支持代理池
3.支持 Berkeley 内存数据作为 url 管理器，提供海量 url 存储并提高存取效率
4.支持热更新
5.支持爬虫治理
 |
1
WuMingyu 2019-03-04 11:14:18 +08:00
借贴分享自己的开发的爬虫框架 https://github.com/strongbugman/ant_nest 楼主优先🐶
|
 |
2
maoyun234 2019-03-04 13:41:27 +08:00
这不就是 webmegic 么，看着好像啊
|
 |
3
hyc5312 OP @maoyun234 你说得没错，第一眼看起来确实很像 webmagic，但是实际上是站在巨人的肩膀上开发的，因为爬虫的套路都是差不多的，只是底层架构不一样，感兴趣的话可以去看看底层的源码，和 webmagic 的底层源码还是有比较大的局别的哦~
|
 |
4
runningman 2019-03-04 16:51:07 +08:00
webmagic 玩过，之前遇到一些限制。空了看看你的。
|
Select Language