V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JamesWone
V2EX  ›  成都

亲爱的 v2ex,我要向你道歉。

  •  
  •   JamesWone · 2015-12-31 15:10:15 +08:00 · 5575 次点击
    这是一个创建于 3257 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨日下午三点半左右,你们运维肯定检测到了一股来自成都某地的异常 IP 。
    额,没错那是我干的~

    事情是这样滴,前两天闲着没事又无聊~然后我就尝试着自己写了个多线程爬虫框架...两天功夫,就写完了...写完了得测试啊...然后我就寻思着写了个 DEMO...

    额,就是这个啦...https://github.com/JamesWone/Spy

    然后今天我想再测试的时候,整死跑不出东西...我还以为我代码有问题呢...于是重构..再跑..再重构..再跑~要抓狂了有木有....
    难道是我 ip 被小黑屋了?打开 Chrome....果然被"Acceess Denied"了....

    oh~mygod~我完全不是故意的啦~一股罪恶感犹然而上心头~希望 V2EX 不要封我的号啦~毕竟这是我的处女贴啊~QAQ

    额~事情就是酱紫...

    PS:你们运维反应真快,为 V2EX 点个赞~

    27 条回复    2016-01-06 02:57:54 +08:00
    Liang
        1
    Liang  
       2015-12-31 15:12:39 +08:00
    大大已报警了。。。看看你最近是否有快递
    Ellison
        2
    Ellison  
       2015-12-31 15:17:11 +08:00
    然而...你多 F5 试试...
    JamesWone
        3
    JamesWone  
    OP
       2015-12-31 15:17:50 +08:00
    @Liang 大哥我胆子小~不要吓我~
    Slienc7
        4
    Slienc7  
       2015-12-31 15:19:36 +08:00
    后台程序自动封的,访问频率过高自动屏蔽对应 IP ,这种应该还不需要人工操作,安心。
    JamesWone
        5
    JamesWone  
    OP
       2015-12-31 15:21:33 +08:00
    @xgowex V2EX 昨天都是可以爬的,明显今天才加的反爬虫措施。
    sandideas
        6
    sandideas  
       2015-12-31 15:23:20 +08:00
    自动封的。。
    我记得以前弄自动签到的时候有个错误没想出为什么
    多弄了几次就被封了三天
    warlock
        7
    warlock  
       2015-12-31 15:24:21 +08:00
    spy.go 49 行 for w.resp == nil {} 这不会死循环吗?
    Slienc7
        8
    Slienc7  
       2015-12-31 15:24:40 +08:00
    @JamesWone 几年前就有了。
    JamesWone
        9
    JamesWone  
    OP
       2015-12-31 15:27:52 +08:00
    @warlock 那个 for{}是为了起阻塞的作用,因为不确定 goroutine 是否已经执行完毕。
    justjavac
        10
    justjavac  
       2015-12-31 15:54:46 +08:00
    如何看待知乎又挂了?
    justjavac
        11
    justjavac  
       2015-12-31 15:55:12 +08:00
    靠,发错地方了。 https://www.v2ex.com/t/247465
    JamesWone
        12
    JamesWone  
    OP
       2015-12-31 15:57:25 +08:00
    @justjavac 我用 PHP 有写过一个知乎爬虫,然后当天下午知乎就挂了,那一夜我彻夜难眠....
    justjavac
        13
    justjavac  
       2015-12-31 15:59:19 +08:00   ❤️ 2
    @JamesWone 之前我用 C 语言写过一个 hello world ,结果那天晚上汶川地震了,那一夜我彻夜难眠....
    warlock
        14
    warlock  
       2015-12-31 16:02:06 +08:00
    @JamesWone
    1 、 golang 的包名 似乎应该小写
    2 、我感觉那里不需要你自己阻塞
    3 、死循环也叫阻塞?
    mystryl
        15
    mystryl  
       2015-12-31 16:30:21 +08:00
    我三脚猫的功夫写了一个脚本爬限制 ip 的收费资讯网站 5 分钟一次
    跑了 3 个月了。。。。期间客服问过我一次干嘛的,我说我挂了个自动刷新
    然后就没事了。。
    imn1
        16
    imn1  
       2015-12-31 16:36:32 +08:00
    @justjavac
    还是你厉害!!!
    usb
        17
    usb  
       2015-12-31 16:40:14 +08:00
    @justjavac 23333
    lxjsmdc
        18
    lxjsmdc  
       2015-12-31 16:43:56 +08:00
    我每天都 Acceess Denied 几次
    等 10 分钟过后就行了

    因为我习惯每次打开 N 个帖子再浏览
    JamesWone
        19
    JamesWone  
    OP
       2015-12-31 16:45:18 +08:00
    @warlock 关于阻塞这个是版本遗留问题了,因为第一版的时候 Spy 句柄是可以在 Filter 中动态的异步回调的,第二版然后就去掉了异步回调改成了 Spy.Sub()同步回调,这样其实这个 for{}就没有必要了,多谢你的提醒哦,我会更进的。
    JamesWone
        20
    JamesWone  
    OP
       2015-12-31 16:45:36 +08:00
    @justjavac 纠正一下,汶川地震是下午....
    angryRabbit
        21
    angryRabbit  
       2015-12-31 16:46:52 +08:00
    我觉得你这不叫爬虫,叫静态网站生成器。。。
    JamesWone
        22
    JamesWone  
    OP
       2015-12-31 16:51:17 +08:00
    @angryRabbit 233333....
    yeyeye
        23
    yeyeye  
       2015-12-31 17:04:10 +08:00
    楼主你好 我们强大的运维告诉你 你的 IP 被自动封禁了 我们的运作并没有受到影响 我们甚至根本就没关注到你的行为 你就被系统干掉了……
    laucie
        24
    laucie  
       2015-12-31 17:06:49 +08:00
    '我要进去了'
    ‘快点’
    ‘我进去了’
    ‘快点’
    ‘我弄疼你了’
    ‘你 TM 的到底进不进去’
    xdeng
        25
    xdeng  
       2015-12-31 17:37:14 +08:00
    @lxjsmdc 握下手
    zjqzxc
        26
    zjqzxc  
       2016-01-02 18:40:22 +08:00
    用 surface 的时候从来没 Acceess Denied 过。。
    用台式机经常 Acceess Denied ,,然后就得开全局代理先凑合一下。。
    (都是正常使用)
    一直没想明白为啥(都是 chrome 而且已登陆,插件会自动同步)
    dbdd
        27
    dbdd  
       2016-01-06 02:57:54 +08:00
    看得我胃里一阵翻腾,还好没吃晚饭
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2757 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:39 · PVG 20:39 · LAX 04:39 · JFK 07:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.