负载平衡政策当作散播式就业架构的不灭话题之一，关于提高在线集群的资源诳骗率和就业踏实性十分必要。本文将从京东告白在线模子系统负载平衡政策的演进历程起程，并聚焦于系统最优算力调度下戒色吧，异构硬件集群负载平衡问题处治政策的筹商本事试验。
01 配景简介
1.1 近况
实质坐褥环境中，复杂业务系统对散播式就业集群架构的依赖。
就业集群异质化节点的容器化部署，机器性能超卖风景不可幸免、性能不均情况时有发生。
就业集群各硬件组件出错率不可幸免，表层业务筹商的应用软件系统需斟酌容错遐想。
大促流量散播变化难以准确预念念，系统就业踏实性与机器资源本钱之间需进行妥善衡量。
1.2 问题
集群内负载不均，举座资源诳骗率低。
单节点过载容易触发集群举座扩容。
节点偶发硬件（CPU、网卡、内存等）颠倒影响业务就业举座可用率。
大促等散播多变的线精熟量容易导致集群就业踏实性问题。
1.3 需求
遐想合理的负载平衡政策（LB）来提高就业集群的资源诳骗率和就业踏实性，以灵验应酬大促复杂多变的流量对系统就业的冲击。
02 表面基础
2.1 通用负载平衡问题
负载平衡是提高系统资源诳骗率和并行计较性能的一个关键本事，可分为静态和动态两类。要是负载不错在运行之前详情并事前将负载远隔，则属于静态负载平衡问题；若只可在运行时测量负载并动态详情负载远隔，则属于动态负载平衡（DLB）问题。
关于给定的一个包含计较和通信的任务接续，以及一组通过一定拓扑伙同起来的计较机，求解雇务到计较机的一个映射，使得求解该问题的时刻最小，这即是负载平衡的方向。
2.2 负载平衡政策汇总
2.2.1 散播式政策
收场散播式的负载平衡可有多种政策，其中一个基本政策即是隔邻法。在该政策中，每个处理器和相邻处理器交换负载，收场和相邻处理器间的负载平衡，并经过屡次迭代达到全局负载平衡。它主要包括扩散法、维交换法（DEM）和梯度法（GM）。
2.2.2 聚拢式政策
在聚拢式政策中，每个处理器的计较负载和通信发送到一个指定的处理器，该处理器讲求汇集、处理全局的负载信息，并作念出全局的负载平衡决策。
2.2.3 搀杂/档次政策
为了最小化负载平衡支出，一些负载平衡武艺重在究诘怎样把柄档次拓扑结构来构建一个档次树的问题。诳骗档次树进行多级负载平衡，把柄档次化的集聚结构将处理器远隔为多个组（平衡域），由这些平衡域组织成一个档次结构。在档次结构中的每一层，相邻的域间进行负载平衡，况兼从底层至表层，在每层施行疏通的域间负载平衡经由，终末在根节点完周密局的负载平衡。
2.3 负载平衡算法层级
2.3.1 系统级负载平衡
DNS负载平衡
DNS负载平衡是一种使用DNS（域名系统）来分散到达特定网站的流量的武艺。基本上，它是通过将一个域名剖判到多个IP地址来收场的。当用户试图接入这个域名时，DNS就业器会把柄一定的政策遴荐一个IP地址复返给用户，以此来收场集聚流量的平衡分派。
Nginx负载平衡
Nginx是一种高效的Web就业器/反向代理就业器，它也不错当作一个负载平衡器使用。在负载平衡配置中，Nginx不错将罗致到的肯求分发到多个后端就业器上，从而提高反馈速率和系统的可靠性。Nginx是负载平衡相比常用的有遐想。
LVS/F5+Nginx
Nginx一般用于七层负载平衡，其模糊量是有一定限制的，要是网站的肯求量很是高，已经存在性能问题。为了升迁举座模糊量，会在DNS和Nginx之间引入接入层，如使用LVS（软件负载平衡器)、F5（硬件负载平衡器）不错作念四层负载平衡，即率先DNS剖判到LVS/F5，然后LVS/F5转发给Nginx，再由Nginx转发给后端真正就业器。
2.3.2 应用级负载平衡
Ribbon负载平衡
Ribbon是一个开源的、基于HTTP和TCP的客户端负载平衡器具，它提供了一个苟简的、基于配置的负载平衡政策，其通过在客户端上运行来遴荐更优的就业器。Ribbon提供了多种负载平衡政策，如立地、轮询、最少活跃调用等，不错把柄实质需求遴荐稳当的政策。当客户端伙同到就业器后，Ribbon会把柄就业器的反馈速率、负载情况等身分进行评估，并动态颐养遴荐的就业器。这种模样不错收场更机动的负载平衡，提高系统的可用性和性能。
Dubbo负载平衡
Dubbo是一种高性能的散播式就业框架，它提供了一套好意思满的就业治衔接决有遐想。其中，负载平衡是Dubbo框架的病笃脾气之一，它不错匡助咱们收场就业调用的负载平衡，提高系统的性能和可靠性。通过配置文献或编程模样，咱们不错基于Dubbo框架在多个就业提供者之间机动地进行肯求分发，以收场肯求的负载平衡。具体地，其提供了多种负载平衡政策，包括立地、轮询、最少活跃调用等。
03 有遐想试验
3.1 模子系统负载平衡政策演进历程
图3-1 在线模子系统就业常见架构
3.1.1 常见负载平衡政策
静态负载平衡本事戒色吧
轮询（Round Robin）、立地（Random）等；
处理政策苟简、时效性高，但依赖集群节点同质化假定。
动态负载平衡本事
最小衔接数（Least Connections）、最低时延（Locality Aware）等；
基于节点筹商气象信息反馈，及时颐营养流政策，进而达到守望讨论的平衡。
3.1.2 演进一：LB政策适配就业集群业务脾气
在线特征就业集群
在线告白业务场景：User & Sku数目庞杂、特征类型丰富。
集群Cache机制保证特征处理时效性，并镌汰筹商依赖就业（如：SKU就业集群）肯求压力。
LB政策需保证一定的Cache掷中率：基于用户PIN的一致性Hash政策。
模子预估就业集群
在线推理经由对肯求之间透明，通例立地Random政策即可。
3.1.3 演进二：LB政策引入“可用率”方向，增强就业踏实性
问题风景
集群单节点颠倒，个别颠倒节点可用率影响集群举座可用率。
线上突发流量变化，影响就业踏实性，甚而导致就业不可用，就业集群贫瘠自动胁制。
政策升级
静态政策 → 动态政策：引入集群节点及时可用率统计讨论。
就业可用率讨论径直把握节点流量分派、肯求左迁/归附：
（1）可用率低于集群平均可用率阈值节点减少分流比例；
（2）集群平均可用率低于阈值，开启左迁胁制，并周期性尝试左迁归附。
3.1.4 演进三：LB政策添加“异构硬件诳骗率”（CPU/GPU）方向，提高资源诳骗率
问题风景
集群异质化节点部署，各节点资源诳骗不均。
集群木桶效应严重，个别节点性能受限触发集群举座扩容。
政策升级
单方向政策 → 多方向分级政策：进一步添加集群节点CPU/GPU资源诳骗统计讨论。
就业可用率讨论为主，CPU/GPU资源诳骗率讨论为辅。在就业可用率茂盛的条目下，进一步调节流量分派比例，收场集群CPU/GPU资源诳骗率的最大化。
3.1.5 演进四：LB收场框架挽救，支握告白系统全链路算力的最优调度
问题风景
模子系统里面各模块LB框架差异，调节斥地本钱较高。
模子系统内、外就业之间的不同LB框架无法复用，残害告白系统全链路算力的最优化收场。
政策升级
模块化重构LB政策筹商逻辑收场，并挽救LB框架，进而买通模子系统内、外就业之间的算力孤岛。
3.1.6 转头
坐褥环境复杂多变，进而要求LB政策的遐想对系统影响踏实且驱散可预念念。
业务就业讨论和集群性能讨论之间相互影响，单方向平衡政策无法两者兼顾。
多方向平衡政策势必引入成倍的决策复杂度：k（平衡方向数）* n（C端集群）*m（S端集群）。
多方向平衡分级：不同方向间相互耦合，难以兼顾！总需要有一个主方向当作兜底。
平衡方向与平衡政策之间的适配&兼容：（1）多方向（CPU+可用率）、多负载平衡政策（Random、ConsistentHash）适配苟简；（2）新LB政策对旧LB平衡政策的兼容性（CPU平衡对一致性Hash原则的兼容性）。
3.2 “就业可用率+资源诳骗率”双方向合资平衡LB政策
该政策以就业可用率方向为兜底，基于待优化资源诳骗率方向的守望取值，将轻易时刻通盘集群的所有节点远隔为 “负反馈列表（refuse list）” 和 “正反馈列表（accept list）” 两部分，且节点实质取值与守望取值之间的数值差异表征了面前节点在该优化方向上的“平衡度”。同期，负反馈列表中的节点采用减少分流比例政策，正反馈列表中的节点则加多分流比例，而分流政策的具体变化比例由面前节点的平衡度来决定。
3.2.1 双方向分级反馈
针对在线就业应用场景，经常更调节于就业本人的可用率讨论，与之相较的CPU诳骗率则当作L2级平衡方向，具体地：
Stage-1：统计面前周期内集群各节点肯求的得胜数目和失败数目以计较出单个就业节点的平均可用率；
Stage-2：通过汇总所有就业节点的平均可用率以获取集群的平均可用率，并将其当作可用率平衡方向在面前周期内的守望取值；
Stage-3：基于各节点平均可用率与集群平均可用率之间的差异，详情出各就业节点的平衡度：面前就业节点的可用率已茂盛平衡方向，则进一步进行L2级CPU诳骗率方向平衡；不然，选取下一节点再行进行就业可用率平衡处理。
3.2.2 就业可用率主动胁制
Stage-1：节点遴荐，待遴荐节点得胜率需不低于集群平均得胜率。
Stage-2：得胜率更新，双端队伍固定窗口调节各节点肯求RPC气象，并及时更新集群平均得胜率。
Stage-3：主动胁制，周期性统计集群历史平均得胜率，并判断其变化趋势：如得胜率变差，则触发主动胁制左迁；如得胜率变好，则徐徐归附左迁胁制。
3.2.3 资源诳骗率（如CPU）渐进式治理
Stage-1：集群中所有节点的列表属性均被开动化为refuse list，同期建树节点分流政策的颐养比例?????为0;
Stage-2：汇集集群各节点周期性反馈的CPU诳骗率???????，计较出面前集群举座的CPU诳骗率均值，进而得到CPU诳骗率平衡方向的守望取值???????;
Stage-3：针对实质迭代场景中不同属性的集群节点，先把柄式 (1)、(2) 获取节点CPU诳骗率的实质平衡度????，再通过式 (3)、(4)来完成对应节点分流政策颐养比例的迭代更新：????????→????????。
3.2.4 治理域+权重衰减
追求守望讨论的富足平衡，难以兼容与流量散播密切筹商的LB政策，如一致性哈希（Consistent Hashing）。
为???????引入容差范围[−????， ????]，使得平衡方向的治理从单一基准点彭胀为治理区域。
按时衰减分流权重，在容差范围内进一步弱化对一致性Hash原则的影响。
3.2.5 合资平衡政策脾气
兼顾就业讨论（可用率）和性能讨论（CPU诳骗率）。
渐进治理，动态调权经由更踏实，且支握治理域。
04 成果展示
4.1 治理点
通过闭环反馈颐养逻辑，收场集群平均基准治理点平衡。
2022年618时期在模子预估就业集群全量上线，优化举座机器资源诳骗率 10%+。
4.2 治理域+权重衰减
CPU使用率 Max/Min Diff 减少 2 倍，就业集群缓存掷中率镌汰把握在2% 以内。
2022年11.11大促时期在模子特征就业集群全量上线，优化举座机器资源诳骗率 15%+。
4.3 异构硬件彭胀
不限于CPU诳骗率的平衡，针对GPU A10、A30异构硬件搀杂部署的模子预估就业平台，通过在就业里面加多GPU诳骗率探针，径直彭胀为对GPU硬件诳骗率的平衡，等效优化机器资源上千核。
4.4 LB框架挽救
LB框架挽救后，模子系统内、外就业LB政策完全买通。
2024年618大促前后模子接入就业模块完周密量上线，举座CPU资源诳骗率优化 20%+。
05 陶冶转头
5.1 踏实调权经由中的颠倒处理
权重归一化，幸免权重更新出现发散。
摈斥颠倒节点数据，即使最坏情况下也需保证系统不成差于开动气象。
5.2 性能极限情况下的主动限流胁制
平衡政策灵验的前提：流量变化与平衡方向之间存在筹商性！
节点性能到达极限时，筹商性干系可能失效戒色吧，主动限流胁制必不可少。