V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
alwayshere
V2EX  ›  程序员

CF 的防抓取怎么这么厉害,这个 wp 的静态资源怎么都没法抓?

  •  
  •   alwayshere · 2018-06-07 15:01:00 +08:00 · 2096 次点击
    这是一个创建于 2367 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://www.anthonyboyd.graphics/wp-content/uploads/2018/06/Matte-Black-Bottle-Mockup.zip

    尝试写爬虫练练手,找了个套了 CF 的无名小站,抓取它的静态地址时,用 chrome 和 Firefox 都能下载,用 php 咋都下载不下来,CF 直接给我 404,然后我把 Firefox 的 header 全复制下来,还是 404:

    file_get_contents('https://www.anthonyboyd.graphics/wp-content/uploads/2018/06/Matte-Black-Bottle-Mockup.zip',false,stream_context_create(array(
                'http'=>array(
                    'method'=>'GET',
                    'header'=>"Accept:text/html,application/xhtml+xm … plication/xml;q=0.9,*/*;q=0. \r\n".
                    "Accept-Language:zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2 \r\n".
                    "Host:www.anthonyboyd.graphics \r\n".
                    "Upgrade-Insecure-Requests:1 \r\n".
                    "User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"
                )
            )));
    

    遂用 cURL,还是不行,CF 直接给我 404,这到底是怎么回事? CF 辨别机器人这么强悍?

    lvsemi1
        1
    lvsemi1  
       2018-06-07 17:46:06 +08:00
    asdqwe876
        2
    asdqwe876  
       2018-06-07 17:56:36 +08:00 via Android
    楼主基础不行啊
    Mazi
        3
    Mazi  
       2018-06-07 18:21:07 +08:00   ❤️ 1
    几个问题。
    1、Accept 复制不全,中间省略了一段你没发现?
    2、关键的 Accept-Encoding 你没复制,现代浏览器都有这个东西,尤其你 UA 都说自己是火狐了,你却缺少了这个,很明显你不是真实用户。
    3、 加上 referer 字段,我刚测试了一下,没有 referer 返回 403,加上就 200 了。

    我写了个 test.php 给你参考。注意:这个链接最多下载 20 次(我已经下载了 1 次),24 小时 后过期。

    https://send.firefox.com/download/41f974a28a/#6o_Hfew3xBbF2NARCNhNCA
    jimages
        4
    jimages  
       2018-06-07 18:27:12 +08:00 via iPhone
    已经占用一次下载
    t123yh
        5
    t123yh  
       2018-06-07 18:31:49 +08:00 via Android
    将请求 Copy as cURL 了解一下
    Menci
        6
    Menci  
       2018-06-07 19:15:42 +08:00 via Android
    占用了一次下载
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1063 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:23 · PVG 03:23 · LAX 11:23 · JFK 14:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.