这是一个创建于 2367 天前的主题，其中的信息可能已经有所发展或是发生改变。
长期在 V2EX 潜水，
现在打算出来创业了，目前公司在深圳。
做了点啥呢，
就是给爬虫用的动态代理 IP 池啦。
目前运行很稳定，
邀请大家来免费测试，
打我的电话 18129823435
和我说你是 v2exer 就行 ：）
第 1 条附言 · 2018-06-09 16:00:40 +08:00
附送一个 关于 反反爬虫策略的文章， https://www.jianshu.com/p/b86920a3e872
 |
1
wswuai OP 目前 支持 HTTP/Socks5 /PPTP /L2TP 接入，
提供 HTTP API 提取 额...想到哪儿再补充吧... |
 |
2
a7a2 2018-06-09 12:07:36 +08:00
你能提供的都是已经被识别的包含 ss
还未被识别的是还未出现的’极力模拟 bt 协议的 vpn ‘，靠你们了，写吧！ 要从绝对底层实现，控制每一个包入 syn，具备 drop 掉 rst 包能力 |
|
3
wswuai OP 我这个项目是给爬虫系统使用的，不是用来翻 gfw 的 vpn ……
|
 |
4
xuxueli 2018-06-09 12:22:52 +08:00 via Android
赞，可以结合 xxl-crawler 一起使用。
XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP 动态代理、分布式、JS 渲染"等特性； http://www.xuxueli.com/xxl-crawler/#/ |
 |
6
jamesfuxk 2018-06-09 12:42:28 +08:00
看了不错，支持支持
|
|
8
xuxueli 2018-06-09 13:33:57 +08:00 via Android
@wswuai 当然可以啊，后续会拆分出 core 依赖和 sample 示例(目前 sample 写在测试用例目录里的)，你可以 pr 一个定制的 client 示例，这样接入你们的代理池就更加方便了，我文档里也更新下。
|
 |
12
bigmama 2018-06-09 14:36:38 +08:00
还要打电话啊。。
|
 |
13
lunatic5 2018-06-09 14:53:39 +08:00
这个不错啊，最近刚好苦于没有高质量的代理用来搞爬虫
|
 |
14
nullen 2018-06-09 14:54:56 +08:00
好的。不错。
|
 |
15
artandlol 2018-06-09 15:01:25 +08:00 via iPhone
之前有个项目是，ip 池质量不好，你这个自己搭的吗？
开源的项目为 https://github.com/imWildCat/scylla |
 |
16
iConnect 2018-06-09 15:06:58 +08:00 via Android
收藏先，看起来不错，你这个站是用那个模板建的？蛮漂亮的
|
|
18
wswuai OP 你们都这么懒啊 ... 打个电话都不愿意 😂
|
|
19
wswuai OP @artandlol
你的项目看起来是个扫描器，和我们的原理不大一样。 我们的 IP 都来源于各地的运营商，服务器直接托管在通信机房。 性能非常稳定， 应用场景比较适合企业使用。 ping 测试的典型情况是：typical / max / min / mdev / packet loss = 40 / 60 / 30 / 0.5 / <0.01% |
 |
21
ZJsnowman 2018-06-09 16:04:03 +08:00 via Android
终于看到有人做这方面的商用代理池了，看好。周一申请试用
|
 |
23
simonsww 2018-06-09 16:18:30 +08:00
@wswuai 这个企业版最高 4320IP/线路提取能力，是每天最多提取这么多 ip 吗，支持并发之类吗，可以杜绝重复 ip 吗
|
 |
24
ash 2018-06-09 17:30:41 +08:00
楼主 666，靠谱
|
 |
25
xavier007 2018-06-09 17:35:20 +08:00
楼主是否需要 IP，我这里有设备，每个设备目前提供 96 个干净 IP，设备会自动分批次重启，更换新的 IP
|
|
26
xavier007 2018-06-09 17:36:02 +08:00
NDk5ODczOTU4
|
|
27
wswuai OP @simonsww 是指每条“线路”， 是按最少的 IP 持有时间算， 最多可能提取的 IP 数。
这个 4320 = (24 小时*60 分钟*60 秒)/ 20 秒（企业版本）资源最小持有时间 每个“线路”在同一时刻只能持有一个 IP 地址，在你完成一个任务之后， 你可以释放掉它，然后从 IP 池中提取一个新的 IP 地址。 我们定价是按 “最大持有资源数” ，也就是线路占用数定价的。 比如你采购了 10 个“线路”， 那么你最多同时持有 10 个 IP 地址， 用完了之后就释放掉，然后你就可以再次提取 10 个 IP 地址，循环往复。 每次提取 IP 地址， 你都可以持有相当长的时间（比如一年），或者相当短的时间（比如 20 秒）， 这个时间由你决定，时间最长 可以持有一年（之后可能会发生断线）， 最短 20 秒，时间长短，由你的业务而定，都是由你自己说了算。 当你持有那个线路之后， 你通过 HTTP/Socks5 代理的方式连接到它， 请求频率、流量 都没有限制（实际带宽在 10Mbps 左右、不建议并发数超过 100 ） 关于 IP 重复率： 由于技术实现的方法所限，我们目前没有做去重，如果你业务上需要去重，需要你手动来做。 |
|
32
artandlol 2018-06-09 18:17:13 +08:00 via iPhone
很多游戏平台需要这类的工具，试用过这类的软件，都是面向用户的。
|
 |
34
naiba 2018-06-09 20:21:29 +08:00 via Android
反爬这个还是比较初级，
|
 |
35
hhacker 2018-06-09 20:27:51 +08:00
。。。比较好奇你们是怎么获取到这些各地海量的 ip 地址？我之前稍微查了一下，有拨号 vps 的玩法但是成本可不低
|
|
36
wswuai OP @naiba 我的文章写的也比较简单，挂一漏万，如果你这边有哪些反爬策略，可以指点一下，我丰富一下文章内容 😄
|
|
37
wswuai OP @hhacker emmm，我们把服务器直接放在运营商通信机房啦，具体不能说太细，拨号 vps 和我们的实现方式差不多，但是提供的服务不是一样的。 我这边已经通过系统管理好了可靠性和可用性，你直接用就好，不用操心别的。
|
 |
38
Nick2VIPUser 2018-06-09 23:34:38 +08:00
先赞了再说，正好有类似的需求~
|
|
39
Nick2VIPUser 2018-06-09 23:39:02 +08:00
想了解一下提取 api 具体情况
比如按最低配单价算的 api 的访问限制频率，每次提取的个数 是否有根据不同客户的业务（爬不同的网站）来细分不同的池子~ 页面的内容太少啦，现在的人可能都不太习惯马上打电话；直接从宣传资料上获得信息可能会轻松一点...... |
 |
41
doubleflower 2018-06-10 11:07:43 +08:00
不错，价格也便宜
|
|
42
wswuai OP @Nick2VIPUser 明白了，现在网站的内容确实是少了点，回头多完善一点。所以说还是用手机联系比较容易呀 😂
|
 |
43
vus520 2018-06-10 14:00:25 +08:00
顺道推荐一个海外的 https://socks5.io/
|
 |
44
royzxq 2018-06-10 20:07:35 +08:00
mark 一下应该用得上
|
|
45
wswuai OP 周一啦， 大家如果有需求可以联系我哈~
|
|
46
wswuai OP @Nick2VIPUser 目前我们没有 IP 提取频率的次数限制， 但是有 IP 最少持有时间的限制，企业级客户是最短 20 秒， 个人客户最短 60 秒。
|
 |
47
shaobin 2018-06-23 19:57:57 +08:00
居然做了和我一模一样的项目。
|
|
48
shaobin 2018-06-23 20:03:15 +08:00
|
|
49
wswuai OP 大家也可以加我 QQ 32911290 联系我
|
Select Language