求教~ 前后端分离网站，怎么应对爬虫

专业的事交给专业的人 0.0(akamai)

用 js 做运算，同时判断是否是真的浏览器发起的请求，headless 和普通的还是有一定区别的

这和分不分离有关系吗，就算是集成式框架，到了浏览器也是 js html css ，该能看的都能看到，同一的加密解密算法就应该放到服务端去做，防爬虫只能靠一些风控手段去做，比如请求频率什么的去做。

敏感信息，字符用定位，或者用图片

1.破解混淆和加密是有成本的，并且不低
2.参考下大厂基本都是通过各种验证码来防机器人的

先想 10 个反爬方案，然后不定时随机上线一种方案

主要思路不是防止所有爬虫，而是提高爬虫花费的成本。我之前爬取过某网站，请求接口后返回一个 list ，这个 list 可以按顺序组成一个多边形，当我调试了两三天，全部部署好了后，大概跑了一周多，完全没异常。后来检查数据的时候发现，几万条之后，返回的 list 全是做了乱序的。。。。

逆向思维，爬爬别人的网站，就知道该怎么防了

浏览器指纹,把爬虫的指纹都丢在黑名单里

@ThanksSirAlex op 意思可能是保护接口不被破解，除了他的代码调用以外不准别人调用

首先要明确一点，完全防爬虫是不可能的，只能无限提高门槛，具体思路可以参考其他回复给的建议

学习 discuz 之类的论坛 直接后台把单 ip 每天的请求次数写死 超过频率就永远拉黑

极验啊，瑞数啊，安域啊。。。

用 webassembly 写就不公开了吧

学 cloudflare 的 5 秒盾，加验证码

这个真的太难了

如果你说的是防止抓页面内容，那几乎防不了！

@libook 用 wabt 等工具还是可以逆向，只是成本又会提升一个量级

可以试试非对称加密+代码混淆

captcha captcha 还是 captcha

@horou #18 你要这么说，任何程序都可以用汇编来逆向调试，安全通常都是相对的，对于爬虫来说，你提高他的成本到他不愿意折腾了，目的就达到了。

前端加密没有任何意义，只能挡一下初学者。如果你的服务需要登录，那就限制每个用户的访问频次。如果可以匿名访问，那你唯一能相信的数据就是访问的 IP 地址，根据 IP 的行为、是否机房 IP 、访问频次做限制即可。

登录后限制账号日访问次数 且账号通过微信扫码登录（最佳）或手机验证码登录

加解密，签名应该放到后端做

只能提高门槛

最讨厌的是账号限制和图片伪装吧

如果是网页，直接在服务端生成 canvas ，返回前端展示，连复制都没法复制，只能看，别人拿到数据也没用。

cloudflare 开 防 ddos 模式？！

最讨厌两种人
一种是爬我接口的人
另一种是接口做反爬不让我爬的人
🐶

最简单方式就是加验证码，虽然可以通过接入打码平台过验证码，但提高了爬虫的成本。
接口做加密，JS 加解密做混淆，又提高了爬虫的成本。
再就是用 WebAssembly 做加密，没点水平的人很难破，成本又又又提高了。
接口限流，要求登录才可以获取数据，检测频率，太快了直接封号。
再教你一招，字体加密，就是看到的字体和实际的 unicode 不对应，看到的可能是数字 3 ，但爬虫爬到的是乱码，当然用户复制的话也是乱码。

每次请求要附带一个小 challenge ，用 aes 就挺好。

recaptcha v3

爬虫圈子里面有一句名言：只要浏览器能拿到的，那也应该是我能爬到的。

可以看下飞书文档的，比银行 js 混淆还头疼，用的非对称加密，返回内容分块，每块对应不同的 token ，还限制每分钟访问速率。重点内容加密，像数字加密可以看下大众点评

不记得在哪看到的了，古老的时候有游戏客户端的防止服务器被打的手段是：将 对 [联机之前的某个页面上的某一张静态图片资源] 发起请求的 IP 作为 IP 白名单加入防火墙 (并设置一定的有效期)。这样可以过滤掉绝大部分没有通过游戏官方客户端来连接到服务器的请求。

……如果不想走正常的路子可以往这个方向想一下 (例如将上面的 IP 加入防火墙白名单 换成 接口对白名单以外的 IP 统一返回错误信息)，主要图的就是前端轻易看不出破绽。当然我感觉也可能也会有大坑 (用户中途换了个网络环境，应用就炸了)。先想一下有无必要这么整吧。

1.先 ip 频率限制一波 或者没事干再把机房 ip 全给 ban 了
2.再要求必须用微信登陆 或者微信扫码登录 限制单个账号的频率 他要再搞就得自己搞很多微信号 这成本一下子给他搞上去
3.验证码让他点圆柱形那种 多种验证码轮番上证 谷歌验证码也给整上 这一套打下来 对面拿着一点点钱的小爬虫该去找老板加工资然后被开除了
4.限制分页看到的数据 就给看前 100 条好了
5.如果察觉到某个账号异常频繁 给点假数据 他都不知道哪些真那些假
js 用处不大 这些人拿浏览器跟你刚你怎么办

ip 频率限制+WebAssembly

captcha ，最可靠的方式了。

不过说一点，防爬虫机制有可能误伤真实用户。

之前我的做法


拒绝 dev tool
```
function checkDebugger(){
const d=new Date();
debugger;
const dur=Date.now()-d;
if(dur<5){
return false;
}else{
return true;
}
}
function breakDebugger(){
if(checkDebugger()){
breakDebugger();
}
}
document.body.onclick=function(){
breakDebugger();
alert(1);
};

```
检测 chrome headless ，然后执行某命令
```
function checkHeadless()
{
if(typeof MessageEvent === "function") {
if(typeof getBoxObjectFor === "function"){
return true;
}
}

if (/HeadlessChrome/.test(window.navigator.userAgent)) {
handleHeadLess();
}
if(navigator.plugins.length == 0) {
handleHeadLess();

}
if(navigator.languages == "") {
handleHeadLess();
}

var canvas = document.createElement('canvas');
var gl = canvas.getContext('webgl');
var debugInfo = gl.getExtension('WEBGL_debug_renderer_info');
var vendor = gl.getParameter(debugInfo.UNMASKED_VENDOR_WEBGL);
var renderer = gl.getParameter(debugInfo.UNMASKED_RENDERER_WEBGL);
if(vendor == "Brian Paul" && renderer == "Mesa OffScreen") {
handleHeadLess();
}
var body = document.getElementsByTagName("body")[0];
var image = document.createElement("img");
image.src = "http://iloveponeydotcom32188.jg";
image.setAttribute("id", "fakeimage");
body.appendChild(image);
image.onerror = function(){
if(image.width == 0 && image.height == 0) {
handleHeadLess();
}
}
}
function handleHeadLess()
{
$jsHandleHeadLessCmd //改造这里，做你想要的动作
}
```
数字倒叙，用 css 控制成正序显示
关键文字随机每次都加载生成不同的字库
浏览器指纹
服务端拿到 ip 后，扫描该 ip 端口，有指定端口者认为是爬虫
服务端拿到 IP 后，到订单池里找，有消费记录的加权
canvas 指纹和 reCaptcha 的配合，拿到指纹之后，如果单位时间访问量过多，我们可以临时认为它是爬虫。然后弹出验证窗口。注意这个指纹必须产生足够复杂的图形，才可以尽可能拿到像素级别的差异。

给你介绍下我之前设计的一套简易方案吧。
第一个是在 NGINX 层面做的，主要反 scanner 的，使用到 filebeat+redis+自定义脚本+lua 防火墙，大致流程：采用 filebeat 将 NGINX 的 log 推送到 redis ，然后自己写脚本从 redis 读 log ，分析之后以 ip 为 key ，根据 http code 对 key 进行计数，比如正常 200+1 ，404 直接加 50 ，到一定数值则把 ip 推到黑名单池子里面，lua 防火墙会对每次请求进行黑名单 IP 判断，在黑名单内直接 403.
这个自定义脚本完全可以根据自己的业务进行设计，比如某些接口或者业务进行不同的加权之类的
第二个是业务层面的，对一些重要业务进行记 log+计数，计数以 userID+ymd 为 key ，用于控制当天对一些资源的访问，过了一定的阈值可以弹出 CAPTCHA 确实不是程序，通过 CAPTCHA 后可以计数清零或者根据自己业务调整。
重要的资源肯定是要登录才能访问的，这样基于 userID 来统计和反爬就方便多了

为什么总有人觉得自己的网站很有价值，真的有价值就搞注册制，账号收费注册，自然就没爬虫了，真的有也可起诉

干了四五年爬虫了，反爬手段基本都见过，无一例外都有应对策略，想爬你总能爬的，为啥老是想着跟爬虫对着干？当然，如果访问量太大影响网站运行的我认为是攻击行为，不是爬虫行为，你上个 ja3 可以应对大部分小白的攻击行为，还不伤及普通用户，然后在前端限制访问频率就可以了，再做个 ip 限制，这样小白基本上没法攻击你的网站了，如果真有大佬盯上你的网站楼上的策略全都不管用，只有收费注册账号能真正限制爬虫

@op351 66666

js 加密算法投毒??

+1

大哥又见到你了 就说头像这么熟悉 哈哈哈哈

@cy1027 +1

大哥又见到你了 就说头像这么熟悉 哈哈哈哈