V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kongkongye
V2EX  ›  程序员

谷歌爬虫好像自带支持动态加载内容?那还要做 ssr 吗?

  •  
  •   kongkongye ·
    kongkongye · 2022-10-18 17:49:23 +08:00 · 2412 次点击
    这是一个创建于 773 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近几天都在研究 ssr ,进展是这样的:
    1. 先是想要改造成 ssr ,方案框架不少,但前端改动都很大
    2. 然后准备用无头浏览器 puppeter 渲染完整页面单独给爬虫用
    3. 用谷歌的官方抓取工具测试看看抓到的是什么样子,结果发现跟 puppeter 渲染出的几乎一样,也是加载了动态内容后的结果
    那我在想,是不什么都不用做(单指渲染方面,站点地图跟路由都是其他的事情),谷歌就能正常收录我的 spa 网站了?如果是那其他搜索引擎爬虫是不也一样?

    10 条回复    2022-10-25 13:30:47 +08:00
    baze
        1
    baze  
       2022-10-18 18:02:16 +08:00
    百度不行.jpg
    kongkongye
        2
    kongkongye  
    OP
       2022-10-18 18:23:49 +08:00 via iPhone
    @baze 就百度不行还是就谷歌行?😂
    hronro
        3
    hronro  
       2022-10-18 18:39:25 +08:00
    SSR 的作用不只是 SEO 友好,最主要的目的是降低首屏载入时间
    kongkongye
        4
    kongkongye  
    OP
       2022-10-18 18:52:15 +08:00 via iPhone
    @hronro 根据我这几天看的文章,好像还没这么简单,即使首屏快了,实际上用户还是要等 js 文件下载好,绑定上事件才能操作。此外还会造成新的复杂性,比如页面缓存,用户每次进来看到的都是旧页面,或者每次先显示旧页面,然后页面又变了(后台异步加载),体验上不如直接等待然后渲染来的直观。实际如果网络快可能不会发现这种细节,或导致闪屏也可能。当然也跟具体 ssr 技术实现有关
    Ljcbaby
        5
    Ljcbaby  
       2022-10-18 21:10:13 +08:00
    应该是就 googlebot 行
    westoy
        6
    westoy  
       2022-10-18 21:21:24 +08:00
    google 当年针对 SPA 提出过一个标准, 就是通过 hashbang 转_escaped_fragment_的接口, 然后照着做的都凉了...............

    不是什么权重大站, 就不要赌了, 主动让 google 爬的爽一点吧.....
    iamobj
        7
    iamobj  
       2022-10-18 23:31:31 +08:00 via iPhone
    你这第二点的思路让我脑洞大开,学到了我怎么没想到😂
    yuezk
        8
    yuezk  
       2022-10-19 09:52:44 +08:00
    @iamobj #7 第二点并不新鲜了,如果之前了解过 SPA 的 SEO ,都会有文章提到这个方案的
    RedAsuka
        9
    RedAsuka  
       2022-10-19 17:41:57 +08:00
    ssr 是个大坑,需要处理的问题很多
    baze
        10
    baze  
       2022-10-25 13:30:47 +08:00
    @kongkongye 谷歌我感觉就是自己跑个无头浏览器爬的, 所以纯前端渲染也行, 百度好像就没有这个机制
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2909 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 03:34 · PVG 11:34 · LAX 19:34 · JFK 22:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.