问大家一个关于使用 K8s 的 Service 做长连接负载均衡的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 682 天前的主题，其中的信息可能已经有所发展或是发生改变。

背景是我们有 2 个 K8s 集群，上面都运行着一些 tomcat 应用，这两个集群有互相调用的需求，因此需要暴露出 NodePort 供另外一个集群的 Pod 调用（因为不同集群的 Pod 间无法通过 Pod IP 直接访问），又为了保证跨集群调用的高可用性，需要提供多个 Node 供服务调用方随机选择。图里给了个例子，下面我用调用方 A （服务 A ）调用服务 B 为例讲一下整个调用的流程，首先在服务启动的时候，提供方 B 的所有应用 POd 的 IP 会被注册到注册中心，服务 A 如果想调用服务 B 的某个 POd （ IP 是随机的），服务注册的客户端发现对方的 IP 是另外一个集群的，无法直接访问，因此将 IP 替换为另外一个集群的 Node IP+NodePort （ Node IP 也是随机选一个），这时请求就到了某台机器的 Service ，Service 会再次负载均衡一下连接到某个 POd ，但是由于用了 netty 的长连接，因此连接一旦建立，就不会再销毁了。因此，虽然单独看某台 Node 的负载到 Pod 上的链接是均衡的，但是在所有被随机到的 Node 来看，可能并不是那么均衡(特别是当连接建立的比较少的时候)，因此就会造成有的提供方 Pod 被调用的比较多，有的比较少的问题。请问这种长连接情况下，如何能把负载做的均衡一点？

pod

调用

集群

Node

18 条回复 • 2023-01-19 10:08:18 +08:00

idblife

2023-01-18 20:46:55 +08:00

node 前加一层 haproxy ？

swulling

2023-01-18 20:47:12 +08:00 via iPhone

k8s 的 service 的负载均衡算法很固定，目前实现基本是 ipvs 。要想修改为适合长链接的最小链接算法，需要修改 kubeproxy 参数。

同时修改了 lb 算法后，可能还需要增加一个定时任务，检查不均衡的节点，主动断掉节点链接来促使 rebanlance 。

defunct9

2023-01-18 20:47:50 +08:00 via iPhone

改成短链接

zhoudaiyu

2023-01-18 21:36:21 +08:00 via iPhone

@swulling 哎我们集群过于老，只有 iptables
@defunct9 短连接我们这辆估计撑不住啊
@idblife 不能解决问题吧，多了一层可能更不均衡了

Monad

2023-01-18 21:45:04 +08:00

是否可以由 B 服务的 Pod 注册 NodeIP+NodePort 到注册中心，同时 Service 启用 externalTrafficPolicy=Local ，这样调用方 A 可以直接随机选择，他们只会给本机上的 Pod 转发。
当然这样可能要通过 affinity 保持每个 Node 只有一个对应 Pod 。