基于 RSI 架构的淘宝闪购店铺装修选品 Agent 实践

这是2026年的第 72 篇文章

（ 本文阅读时间：约 30 分钟 ）

摘要

淘宝闪购app中的店铺里的装修展示位置有限，每个位置值得展示的商品却各不相同。店装业务下的选品大目标是要挑出有吸引力的单品进行展示，并且处理橱窗、精选推荐、海报之间的搭配与重复。推荐和托管让系统能够自动完成这些工作；随着商品供给和经营环境变化，新的问题随之出现：怎样持续地、自动化地找到更好的选法，又怎样以可控成本判断它确实更好？

为持续找到更好的选法，我们构建了面向店装选品的 RSI（Recursive Self-Improvement，递归自我改进）系统。系统以选品策略和搜索状态为自我改进对象：每轮生成候选、执行选品并评价结果，再用反馈更新采样分布、候选档案和经验偏置，影响下一轮的候选生成。Agent Loop 是这套 RSI 系统的运行机制，将策略生成、执行、评价与更新连接成持续迭代的过程。其目标是在有限的搜索与实验预算内，持续发现并验证优于当前基线的可执行策略，推动整店加购转化率 P2 提升。多岛进化保存不同品类的探索方向，品槽与门控专家提供候选区分信号，受限调度和结构化经验则影响后续尝试的方向与强度。全文沿“改进什么、依据什么改进、如何把反馈带回下一轮、怎样验证改进”展开。

这套 RSI 系统在既定策略空间内运行，自我改进发生在选品策略与搜索状态层面；单次搜索中的评估器和更新规则保持固定。固定预算对照中，CMA-ES 在既定数据与评估条件下获得更高的平均留出模型评分；一期线上 AB 的 8 天有效观测中，整套方案的 P2 相对提升 0.34%。这些结果分别支持局部反馈更新与阶段性业务价值，多轮线上经验是否持续改善后续搜索，仍需独立实验与自动回灌联调验证。

关键词：RSI；递归自我改进；店装选品；多岛进化；门控专家；反馈学习

01

业务背景

1.1 店装选品场景

在淘宝闪购 App 中，当用户点击进入一家店铺时，首先看到哪些商品，会影响其后续浏览和加购决策。海报上的挂品、橱窗里的新品、精选推荐中的套餐，共同组成了这次进店体验。店铺装修为商家提供配置这些展示位置的能力，主要涉及两类业务：

• 氛围装修：由生图与挂品共同完成。生图负责生成装修素材，挂品负责为海报、招贴等素材选择并关联合适的商品，用户点击后可跳转商品，促进店内转化。

• 摆货策略：为橱窗、老板推荐（精选推荐）等组件选择展示商品、组织商品组合，并根据经营需要更新，帮助用户快速决策。

图 1-1：消费者端的展示位置，展示商品组合的实际呈现。

从技术上看，店装选品接收三类输入：店铺上下文、商品候选池、装修素材。店铺上下文描述经营状态与人群偏好，候选池提供可选商品及其特征，装修素材决定氛围挂品的视觉匹配需求。输出不是单一商品列表，而是带有板块归属和展示顺序的商品组合。

本项目聚焦“氛围装修中的挂品 + 摆货策略”。两类决策具有不同的技术要求：海报、特型招贴需要考虑商品与素材的视觉匹配，橱窗、精选推荐需要综合经营特征、商品质量与组合多样性。跨板块还共享有限的商品供给，单个板块的最优列表未必构成整店的最优组合。

例如，一款热销咖啡可能适合多个板块，但如果每个位置都反复展示它，其他商品就失去了被看见的机会。系统因此需要分三步判断：先看单个商品是否合适，再看商品之间怎样搭配，最后比较整店组合的预期效果。素材生成、门店头像与特色菜单属于上游或相邻业务能力，不纳入当前进化搜索范围。

1.2 店装智能化演进

店装能力的演进，可以沿着商家决策负担的转移来理解：先让商家有工具可用，再帮助商家选择，随后由系统自动执行，最终走向多组件协同。

图 1-2：店装能力的演进：从组件化装修、智能推荐、智能托管，走向 AI 店铺整装。

这一变化也改变了算法问题的重心。单个组件推荐只需回答“这里放什么”，整店协同还要回答“其他位置已经放了什么”；一次托管关注当前可执行，长期托管则需要判断原来的选法是否仍然有效。本项目聚焦 AI 整装阶段的策略优化：在已有召回、视觉匹配与执行能力之上，为持续比较和更新选法建立反馈机制。

1.3 策略优化难点

前述能力演进逐步解决了商家如何装修、系统如何自动执行的问题。进入整店协同阶段后，系统需要根据组合效果和经营变化持续调整选品策略，主要面临以下三个难点：

一、跨板块选择相互影响。橱窗、精选推荐和海报共享商品供给，分别挑选高分商品容易产生重复。单个板块的最优列表未必构成整店的最优组合，因此需要在容量、视觉匹配和去重约束下，比较完整商品组合的效果。

二、经营环境持续变化。新品上架、库存变化和用户偏好迁移都会影响商品表现。一套策略在某个日期或品类上有效，并不意味着它能长期适用；系统需要持续产生候选，并在新的经营条件下重新评价，判断原有选法是否仍然合适。

三、策略验证成本有限。多种权重与组合规则可以产生大量候选，但线上实验的流量和时间有限，无法逐一验证所有选法。系统需要先利用离线模型筛选候选，再将有希望的策略交给线上实验，以有限的验证预算支持持续优化。

针对这些难点，本项目在已有召回、视觉匹配与候选池能力之上引入进化搜索，将一套选法表示为可以修改、执行和比较的策略，同时保留多个候选。每个候选先产生满足约束的商品组合，再由评估模型比较预期效果，较好的策略和有效调整方向进入下一轮。进化的对象是选品策略，接受评价的是策略实际产生的商品组合。当前离线进化主要调整橱窗和精选推荐，海报与特型招贴保留固定挂品并参与去重；线上接口覆盖四个板块，具体执行方式将在第二章展开。

实际接入搜索后，我们遇到了两个现象：权重在变，橱窗里的商品却没有变；商品换了，模型评分又可能几乎不变。前者意味着参数探索没有形成新的业务决策，后者意味着评价环节没有提供足够的区分信号，搜索即使继续运行，也未必获得新的有效信息。因此，后续设计需要打通策略调整、组合变化与效果评价之间的联系：先让策略调整产生可比较的组合，再让模型识别组合差异，最后通过真实业务反馈检验改进方向。

1.4 系统改进目标

店装选品 RSI 系统的“自我”是承担选品决策与策略搜索的系统本身：策略决定如何选品，搜索状态决定如何产生新的策略。系统将本轮评价反馈写入搜索分布、档案和经验，下一轮再读取这些更新后的状态生成候选，形成递归关系。Agent Loop 负责执行这一反馈循环，改进效果则通过同预算候选比较与业务实验衡量。仅反复调用模型、记录结果或随库存重算商品，都不足以证明递归改进；需要追踪哪些反馈改变了后续决策，并检验这种改变是否有效。

当前系统包含两层可调整对象。第一层是选品策略，包括橱窗与精选推荐的权重和允许调整的组合规则；第二层是搜索状态，包括采样分布、精英档案、步长、算子配比及经验偏置。第一层改变“如何选商品”，第二层改变“下一次优先尝试什么选法”。更新这些状态仍遵循预设算法与权限边界，不等同于系统自主改写改进算法。海报与特型招贴的固定挂品参与约束，不由当前离线循环修改。

系统按两个时间尺度组织反馈。离线内循环固定数据窗口和评估器，更新候选与搜索状态，以较低成本比较多种选法；业务外循环冻结候选开展线上实验，将效果证据关联到策略，供后续采用决策与经验积累使用。本文已有离线链路、部分机制对照和阶段性线上 AB 证据，真实 AB 自动回灌与发布仍待生产联调。评估器的训练与结构迭代是独立研发过程，不属于已经自动运行的递归更新环节。

RSI 的验证应逐层推进：先确认反馈确实进入了下一轮，再比较同预算下是否产生更好的留出候选，最后检验真实业务收益及多轮积累效果。完成一代、发现一个高分候选或单次 AB 正向，分别回答不同问题，不能相互替代。没有足够改进证据时保留基线，也是循环的合理结果；递归运行不保证每轮进步，更不意味着改进速度必然持续加快。

基于上述业务需求，系统需要把选品策略变成可执行、可比较的候选，并让评价结果影响下一轮搜索。第二章先说明这些对象如何表示、各模块如何协作；随后展开评估、进化与经验机制，最后通过诊断和实验检验改进是否有效。

02

系统设计

系统首先将新品偏好、热销权重和组合规则表示为可修改、可执行、可比较的策略。这是店装 RSI 的直接改进对象，也是搜索与业务执行共享的决策表示。只有候选真正改变了受业务约束的商品组合，其评价才有机会成为有效反馈。

先看系统的整体结构。选品接口层负责生成商品结果，日滚进化层负责搜索和验证策略，数据基座提供候选数据、历史特征及评估模型。经过验证的策略返回执行层，搜索与实验记录则为后续优化提供依据。

图 2-1：选品执行、日滚进化与数据模型的整体关系；S 表示已发布策略，E 表示历史经验。

图中展示完整的系统设计。在线选品与日更批量共用策略产物，但日更批量仅重算橱窗和精选推荐，保留海报与特型招贴的固定挂品。图 2-2 进一步区分离线搜索与业务反馈两个循环；下面先展开策略如何表示、执行和评价。

2.1 RSI 反馈循环

先明确搜索对象与评价目标，再说明候选如何组织，以及搜索、执行和业务验证如何分工。

2.1.1 策略搜索建模

围绕上述目标，Agent Loop 的各环节需要共享同一个决策对象和评价口径：

这张表展示了系统的递归关系：观察与评价产生证据，更新环节修改持久状态，下一次决策消费这些状态。大模型是否参与并非判断标准；关键是反馈是否改变后续候选生成。系统目前的自主性受既定策略空间、固定评价接口和预设更新规则约束。

策略搜索包含一个容易忽略的中间环节：模型评价的输入是最终商品组合。将这一环节显式写入目标，才能把权重搜索与库存、容量、去重等业务约束连接起来。

设店铺在日期  的可用上下文为 ，商品候选池为 ，海报与特型招贴的固定挂品为 。在离线搜索中，参数化选品器  根据策略  生成四板块组合：

其中， 表示库存、板块容量、强制商品、固定挂品及去重规则共同限定的可行集合。 保留商品的板块归属；进入评估器时，再按训练约定填入品槽。同样一组商品放入不同板块，会形成不同的组合输入，品槽的具体编码方式将在第三章展开。

在一个给定评估窗口  内，策略搜索可以抽象为：

 是组合效果评估模型， 是已训练的模型参数； 表示当前运行采用的适应度变换， 表示店铺及日期上的聚合。一次搜索运行中主要更新的是策略参数 ，评估器参数  保持固定。这里使用近似最优符号，是因为有限预算的种群搜索不保证找到全局最优。

上述公式描述系统寻找什么样的策略，跨代状态更新则描述这套 RSI 系统如何利用已有尝试继续搜索。设第 k 代状态由当前策略、搜索分布、候选档案和经验组成；生成器读取这些状态提出候选，执行器生成组合，固定评估器给出反馈，更新器再形成第 k+1 代状态。下一代使用更新后的状态，构成递归的数据依赖。在本项目中，CMA-ES 更新分布，档案更新可复用起点，经验更新方向偏置，调度器更新探索强度；这些机制将在第四、五章展开。

离线代理目标与状态更新必须分开验证：前者判断候选评分，后者判断利用历史结果是否改善后续搜索。独立留出评价用于检验候选泛化，线上 AB 用于检验整店 P2。离线分数上升并不能直接证明 RSI 的多轮业务收益。

这一分解明确了三个优化层次：商品评分用于排序，约束分配用于生成组合，整店评估用于比较策略。线上 ILP 即使求得当前评分与约束下的最优分配，也只解决了分配子问题，不能由此推出真实整店 P2 已达到全局最优。

2.1.2 行动空间

系统最终要回答的是：一家店今天哪些商品进入橱窗，哪些进入精选推荐，以及在容量、固定挂品和重复限制下如何形成整店组合。离线进化主要寻找一套能在同品类多家店复用的“选法”，再由选品器结合各店候选池生成具体商品列表。因此，需要区分商品组合、策略参数与搜索调度三个层次。

第一层是商品组合空间：最终选哪些商品、分配到哪个板块。 海报与特型招贴在本搜索流程中作为固定条件，参与约束与去重；主要可变结果来自橱窗和推荐。仅更换板块归属，即使商品集合相同，也可能产生不同的展示效果与评估输入。

设简化场景中两个板块共用一个含  件商品的候选池，橱窗恰好选  件、推荐恰好选  件，板块内不计顺序且两板块禁止重复。在暂不考虑其他限制时，组合数为：

例如，假设过滤及固定挂品排除后仍有 100 件候选，按当前离线默认容量选满橱窗 8 件、推荐 20 件，则有约  种组合。这是说明数量级的教学计算，并非真实店铺候选规模，也不是当前全部规则下的精确可行解数。实际两个板块的候选资格可能不同，还存在强制商品、同款限制、重复容忍和候选不足等情况，需在实际可行集合上计数；若进一步把展示顺序作为决策，空间还会扩大。本文示例只统计商品集合与板块归属，不把每个品槽都视为可独立调换的动作。

第二层是策略参数空间：AI 通过调整哪些变量改变商品组合。 系统没有逐一枚举上述组合，而是通过参数化选品器生成候选。当前核心变量及可选扩展如下；具体运行只搜索其中启用的部分。

图 2-2：五组策略变量经过参数化选品器生成橱窗与推荐组合。固定条件限制可行动作，配置决定本次运行开放哪些变量。

仅权重部分就有  个数值；扣除两个板块各自的归一化约束，独立自由度为 。若同时开放上述 10 个幂指数和 2 个 MMR 系数，便有 66 个连续自由度，另加去重与规则、种子等变量。这个计数描述参数化空间，不表示当前每个实验都探索了全部变量，也不表示每个自由度都能产生独立的业务变化。四个品类分别维护策略与搜索状态，不能把它理解为所有店铺共享一套固定权重。

在实数参数的数学抽象下，仅权重可行域就包含无穷多点，因而不能给出一个有限的“总策略数”。为了直观理解枚举难度，若假设对 54 个独立权重坐标各试 10 档，未经可行性筛选的网格就有  个坐标组合；边界与归一化会排除部分网格点，这不是可执行策略的精确计数。另一方面，许多不同参数会生成同一商品组合，而参数化选品器也未必能到达所有理论组合。因此，组合空间的规模、参数空间的维数和实际访问到的独特组合数，应分别报告。

第三层是搜索调度空间：下一轮如何继续探索。 系统还需要选择从哪个历史候选出发、使用哪类变异或交叉、采用多大步长，以及是否进行迁移或重启。CMA-ES 根据评价反馈更新采样分布；启用大模型调度时，大模型在规则基线上调整步长倍率、切换预设算子组合，或抑制允许范围内的离散动作。这里的 AI 包含进化优化与可选的大模型提议、调度，变量并非全部由大模型直接决定。

上述行动都发生在预设接口内：候选库存、固定挂品、板块容量和一次搜索中的评估器是外部条件，修改模型架构、创造新业务特征或自由改写执行代码不属于本轮策略搜索的动作。系统需要探索的是：在这些条件下，哪些评分偏好与组合规则能稳定产生更好的候选，以及如何用有限评价预算找到它们。后续章节将分别展开策略的执行方式、评价依据和反馈更新机制。

2.1.3 多候选搜索框架

店装选品不存在一个能直接写出的解析最优解。一方面，同一个商品在不同店铺、板块和组合中的价值不同；另一方面，去重、容量和视觉匹配让可执行方案呈现离散性。系统需要在有限预算内反复提出选法、生成商品组合、比较预测效果，再把有效尝试留给下一轮。

为了组织这样的探索，我们比较了 ReAct、AutoResearch 和 Shinka 所代表的三种迭代方式。关注点落在如何记住已经试过的方案，以及如何利用反馈决定下一步：

图 2-3：三种迭代方式分别围绕观察历史、实验账本和候选群体组织反馈。此图比较机制，不表示任何方法在所有任务上更优。

本项目重点借鉴 Shinka 的候选管理与分岛搜索思想，将原本的程序修改适配为策略参数调整。搜索不需要生成任意可执行代码，而是在既定选品链路内调整权重、组合偏好和允许变化的规则。这样可以把业务约束放入执行层，并让每个候选都经过同一条选品与评估路径。

具体适配集中在三个层面：以选品策略作为搜索对象，以咖啡、西餐、甜品、饮品作为业务分岛，以满足约束后的整店组合效果作为评价目标。后文的实验也围绕这些实际实现展开，分别检验优化器、评估器和整套方案。

2.1.4 系统运行方式

系统对外表现为选品服务，对内同时存在搜索、执行和验证三个过程。把它们分开，是为了避免一次线上请求承担完整进化成本，也避免批量任务引入不必要的大模型调用。

三条链路通过策略产物连接：搜索负责提出候选，实验与发布决定采用哪个版本，执行链路将已确认版本应用到当日商品。日更批量重算与日滚进化分别管理“商品更新”和“选法更新”，从而将线上响应成本与离线探索预算解耦。

图 2-4：离线评价更新策略档案与搜索分布；候选冻结后进入线上 AB，实验反馈经经验库影响后续候选生成。灰色虚线表示自动回灌待验证的业务反馈路径；单代搜索细节见图 4-1。

2.2 选品策略表示

策略需要经过商品打分、多样性选择与约束分配，才能形成可评价的整店组合；这一过程也决定了哪些参数调整能真正改变选品。

2.2.1 商品评分机制

将“多选新品”“重视图片质量”这样的偏好变成数值参数后，系统才能批量尝试并比较。理解这一步，可以从商品打分开始，再看多件商品如何组成一个板块。

当前基础商品特征由 5 维静态属性、15 维动态经营信号、4 维图片质量、价格与上架时长 2 维，以及折扣活动、套餐 2 维扩展特征组成。28 维是商品评分的特征数，不是整个策略空间的自由度。

离线策略以板块权重为核心，还包含幂指数、多样性系数、去重参数与规则、选品种子等字段。为说明主要可执行参数，可记为：

其中  为各板块权重， 为按特征类别共享的幂指数， 控制相关性与多样性的权衡， 分别表示去重参数与规则， 为选品偏移种子。不同入口、变异算子与实验配置开放的参数子集不同，不能将策略结构中的全部字段都视为每轮必然搜索的变量。

以离线选品器的主要打分项为例，商品  在板块  的基础得分为：

 是预处理后的特征分数， 为特征类别， 是可选的店铺经验偏置。幂指数小于 1 时压缩高分商品间的差距，大于 1 时放大差距。公式展示主评分项；代码还支持可选预测加成及受配置控制的排名扰动。在线打分另含交叉项等逻辑，不能把该式直接当作全部链路的共同实现。

选完第一件商品后，第二件商品的价值还取决于它与已选商品是否过于相似。离线组合构造因此采用最大边际相关性（MMR）的逐品选择：兼顾单品得分，并对与已选集合过于相似的候选扣分。其核心形式为：

 表示进入选择阶段的得分， 是随已选同类商品数量增加而下降的因子，相似度项抑制商品组合过于同质。随后通过跨板块排除和规则去重落实组合约束。在线链路采用评分板块 ILP 分配与后续去重，日更批量又有独立的执行入口，三条链路需要分别核对，不能统一描述为“全链路 ILP”。

这个执行过程解释了一个关键难点：参数变化不一定引起商品变化。在候选集固定时，只有越过排序边界或改变约束下的替换选择，策略扰动才会改变最终组合。否则，即使权重发生变化，评估模型看到的输入仍可能完全相同，搜索空间会出现大量评分平台区。因此，需要同时关注权重变化、换品比例、组合多样性与评估分差。

2.2.2 ILP 约束分配

在线链路使用整数线性规划（ILP）处理多个板块之间的分配，为参与评分的板块构造二元决策变量 ，表示是否将商品  分配给板块 。在最基本形式下，目标为最大化总评分：

约束包括商品跨板块重复上限、各板块容量上下限、板块内与跨板块同款商品上限，以及同品类商品集中度上限。以容量和商品重复为例：

这里  是允许的重复次数，不一定等于 1。候选不足时，代码会放松最低数量约束；配置边际衰减时，目标函数还会按预计算排名修正效用。模型只在实际参与求解的候选集合上优化，当前在线入口取各评分板块前 30 个候选的并集，不能把求解结果理解成全量商品空间的最优解。

在线求解受到响应时延限制，因此只在筛选后的候选集合上进行有时限的优化；未得到可用结果时，回退到传统去重与边际贡献方法。

2.2.3 离散组合的搜索特性

连续权重与离散组合之间的关系，是这类优化最容易被忽略的结构。把数据窗口、固定挂品、随机种子和执行规则固定后，两组不同参数可能产生完全相同的结果。可以定义一个等价关系：

同一个等价类中的策略，只要评估输入和模型也固定，就没有新的组合信息可供模型判断。实际搜索因此包含两个任务：先越过选品边界，产生不同的可行组合；再判断新组合是否更好。仅增加参数扰动次数，未必增加有效探索。

例如，某板块只剩两个候选名额，如果前两名商品远高于其他商品，小幅修改权重可能只改变得分小数位。若第三名与第二名已经接近，同样的扰动就可能触发替换。固定挂品与跨板块去重还会改变这种边界：一个商品被海报占用，可能使橱窗的替补选择进一步影响推荐板块。因此，组合变化不是单个权重的局部函数，而是打分与约束共同作用的结果。

用一家咖啡店的简化例子贯穿后续章节。以下容量、得分与预测值均为教学示例，不是项目实测结果：橱窗和精选推荐各展示一件商品，海报固定展示经典拿铁，并禁止跨板块重复。只保留“热销”和“新品”两个评分特征，美式咖啡的特征为（0.90，0.20），柚香拿铁为（0.50，0.70）。橱窗权重从（0.60，0.40）改为（0.40，0.60）后，美式得分由 0.62 降至 0.48，柚香拿铁由 0.58 升至 0.62，橱窗因此从美式换成柚香拿铁。

精选推荐保持原有排序“柚香拿铁 → 燕麦拿铁 → 美式咖啡”。旧策略 A 下，橱窗展示美式，推荐展示柚香拿铁；新策略 B 下，柚香拿铁被橱窗选中，推荐便顺延选择燕麦拿铁。海报中的经典拿铁始终不变。一次橱窗权重调整由此改变了两个板块的组合，而 B 是否更好，还要交给评估器判断。

这给实验分析提供了一个更直接的度量：在相同数据快照下，记录不同候选组合数 / 实际候选评价次数，并结合换品程度与评估分差判断预算是否有效。组合签名应保留店铺、板块与实际编码所需的信息；跨日期、跨模型或不同评分模式不能共用一个去重判断。基于组合签名跳过重复评价可以作为后续优化方向，当前不能将其作为已经获得的效率收益。

03

评估模型

RSI 的每次状态更新都依赖评价信号。在相同店铺条件下，组合 A 是否比组合 B 更值得尝试，决定了哪些策略被保留、搜索分布向哪里移动。评估器既要预测合理的效果水平，也要保留局部换品差异；若模型无法区分候选，递归循环会持续消耗预算，却缺少更新依据。

在 Agent Loop 中，评估器承担把选品结果转成可用反馈的职责。其目标是支持系统在有限预算内选出更值得验证的策略，因此既要检查预测误差，也要检查同店候选排序与换品响应。一次搜索期间评估器保持固定；模型训练与结构迭代属于另一个实验过程，不能混入同一轮候选比较。

3.1 候选区分能力

假设两家店的经营水平相差很大，模型只要利用历史转化、品类等信息，就可能较好地区分它们。但搜索面对的往往是同一家店的两个相近方案：只替换一两件商品，其余条件几乎相同。能够区分两家店，并不保证能区分这两种选法。

进化算法又会反复保留评估器认为更好的候选。微小的评分偏差一旦持续影响筛选，就可能被搜索放大。这也是评估模型必须先于大规模搜索接受检验的原因。

少量换品产生的增量相对较小，容易被聚合和校准压缩。为此，我们从三个角度检查评估器：

MAE 衡量预测与真实值的平均绝对偏差，R² 描述模型对标签变化的解释程度；它们主要回答数值拟合问题。换品敏感性和候选排序则更接近搜索所需的能力。模型即使对每次替换都有响应，也可能判断错方向，因此选型需要同时观察这三类结果。

3.2 模型结构

模型结构沿着“保留单品差异、增强局部区分”的思路演进。下面先回顾架构取舍，再展开品槽输入与门控专家的计算方式。

3.2.1 评估架构迭代

三次架构迭代围绕同一个问题展开：如何让局部换品带来的差异进入模型，并成为进化可以利用的评价信号。图 3-1 对比了各阶段的信息保留方式。

图 3-1：三代评估器从聚合统计转向品槽展开与门控融合。门控符号与图 3-3 统一：q 为稠密域概率，通用分支权重为 1−q，专家分支权重为 q；专家预测已恢复到 P2 尺度。

第一代：Baseline + Residual，先拆开店铺基础与选品影响。 将店铺基础表现与选品相关变化分开建模，基线回归器学习店铺整体水平，残差回归器补充选品配置的信息。它具有清晰的建模分工，但在本项目早期实现中，商品组合的聚合特征削弱了少量换品造成的差异，接入搜索后出现“商品变了、评分几乎不变”的问题。

第二代：Slot Model，让每件商品的差异进入模型。 按板块将单品特征展开，避免只保留均值、汇总量等统计。替换某个商品会直接改变对应输入片段，提高组合差异的可见性。但标签分布不均意味着，一个覆盖全域的回归器未必能在样本密集区间保留足够的局部区分能力。

图 3-2：训练样本在不同 P2 区间的分布，用于解释引入稠密域专家的动机。

第三代：Slot Expert，加强关键区间的区分能力。 在相同品槽输入上并行训练门控、通用回归器和稠密域专家。门控决定两路回归预测的融合比例，专家通过标签拉伸学习局部差异，再逆变换回统一尺度。该结构的目标是增强关键区间的候选比较能力，而不是为每个区间完全隔离地训练一套系统。

3.2.2 品槽特征表示

可以把品槽理解为一张格式固定的商品表：每个板块有自己的位置，每个位置记录一件商品的特征。换掉商品时，对应的一段输入随之改变，模型便有机会直接看到这次替换。当前输入包含 50 个位置、每个位置 12 个商品特征，再拼接 42 个店铺特征：

12 个商品特征涵盖近周／近月销量、曝光、点击、加购，近月净成交额、店内销量排名、图片清晰度与完整性。评估器不是将选品用的 28 维原样复制 50 次，两套特征应分别维护规格。

品槽是模型约定的编码位置，不应无条件等同于用户看到的实时展示顺序。 当前训练和推理都在板块内部按销量排名排序再填槽，缺失排名后置；不足的槽位按模型约定填充缺失值。板块结构被保留，但仅交换同一板块中商品的接口返回顺序，不一定改变评估器输入。因此，解释模型对顺序的敏感性时，要先看商品在实际编码中是否换了位置。

训练侧支持板块内顺序增强，用于减弱模型对某个位置模式的过度依赖；其作用不同于商品替换增强。

接着看咖啡店示例。策略 A 的橱窗与推荐分别填入美式和柚香拿铁的特征；策略 B 则填入柚香拿铁和燕麦拿铁的特征，海报品槽与店铺上下文保持不变。评估器比较的是这两份完整输入。假设同一模型给 A、B 的预测 P2 分别为 0.300 和 0.302，那么 B 获得了更高的离线评价；这两个示例值只说明比较过程，真实加购变化仍由线上实验检验。

3.2.3 门控专家设计

这里的“稠密域”指训练样本较集中的 P2 区间。可以把三路模型的分工理解为：通用回归器负责整体，专家细看特定区间，门控决定这次预测应当多大程度参考专家。

图 3-3：门控专家共享 642 维输入，两路预测经截断、专家逆拉伸和门控加权后融合，再进行截断、单调校准与最终截断。图形为结构示意。

门控的训练标签可以根据训练样本真实 P2 所在区间构造，但推理时只能使用可获取的输入特征预测区间概率，不能把待预测 P2 当作门控输入。通用模型覆盖整体标签分布；稠密域专家在扩展训练区间内学习，以降低只在很窄区间训练造成的边界不稳定。

采用门控专家评估模型时，将店铺上下文与选中商品按训练约定的品槽顺序构造输入，而不是只将商品得分相加。门控模型预测样本落入稠密域的概率 ，通用回归器与稠密域回归器分别输出 ，后者需要逆变换回 P2 尺度：

 是模型产物保存的标签拉伸参数， 是组合输出的单调校准函数。三分类门控中，低域与高域的概率合并后作用于通用回归器；稠密域概率作用于专用回归器。软融合减小域边界附近的预测跳变，逆拉伸保证两个回归输出在同一尺度上融合。

历史固定边界实验采用目标区间 0.40–0.60、专家训练区间 0.35–0.65。对于专家训练区间 ，标签变换可写为 。推理时先将专家输出截断至 ，再执行 ，最后与通用预测融合。边界及逆变换参数应随模型保存，不能在线根据当前预测重新估计。

专家范围也可以依据训练集分位数自动确定，以适应标签密度的变化。但自适应划分是否优于固定边界，仍需同时检查候选排序与分区误差，第七章将展开这一对照。

单调校准能够修正数值偏差，但也可能将相邻原始分数映射为相同预测。由于搜索依赖细粒度候选差异，校准前后的换品同分率必须同时检查；不能只报告校准后 MAE 下降，就认定模型更适合搜索。

3.3 模型训练验证

模型是否适合进化，既取决于训练时鼓励它学习什么，也取决于验证时是否测到了候选之间的差异。下面将训练目标、融合响应与验证指标放在一起讨论。

3.3.1 训练目标

设同一店铺日有两个候选组合，一个真实或代理标签更高，但模型把二者次序预测反了。即使总体平均误差很小，搜索仍会保留错误方案。模型服务于搜索时，优化目标就要同时关注数值尺度和局部排序。

当前训练入口支持均方误差与 RankNet 组内排序的联合目标。用概念形式表示：

 表示围绕同一原始样本构造的候选组， 只包含标签不同的组内样本对。均方误差约束预测值不要偏离标签尺度，排序项鼓励模型把较优候选排在前面。 的取值及是否启用排序，由相应训练分支和实验配置决定；不能把这一形式理解为所有模型产物的统一训练配置。

候选组围绕同一原始店铺日组织，包含原样本、板块内顺序增强和商品扰动样本。顺序增强约束模型不应过度依赖的位置模式，商品扰动提供候选差异。若将不同店铺的经营水平差异直接作为主要排序信号，模型可能学会“哪家店更容易加购”，却仍不会判断“这家店换哪件商品更好”。

商品扰动产生的比较标签包含历史指标构造的代理信号。这些标签能帮助训练局部响应，但不等于真实反事实收益。训练集构造、验证集排序与线上实验需要各司其职：增强样本教模型识别差异，留出评价检查泛化，真实实验确认业务方向。

3.3.2 专家融合敏感性

忽略截断和校准，门控专家的组合预测可以写成 ，其中  是恢复到 P2 尺度的专家输出。比较两个相近候选时，一阶变化可用下面的形式帮助理解：

这里是对融合关系的局部分析，不表示树模型内部可微。它揭示了三条响应路径：通用模型看见变化、局部专家看见变化，或者门控调整了两者的占比。门控不能凭空制造有效信息；如果两个回归器对换品都不敏感且输出接近，改变门控概率也很难恢复区分度。

专家的价值在于把有限建模能力集中到需要细分的标签区域。标签拉伸扩大了局部目标的数值跨度，逆变换保证融合前两路预测处于相同尺度。软融合让模型在边界附近逐步改变专家权重，但并不保证整体预测连续——树叶输出与后续单调校准仍可能形成平台。

因此，评估专家结构时应同时观察通用输出、专家输出、门控概率、融合结果与校准结果。如果融合前已经同分，应检查输入与树模型；如果只有校准后同分，应检查校准平台。单看最终 P2，无法判断该增加专家容量、调整训练目标，还是重新审视校准对搜索分辨率的影响。

3.3.3 模型验证指标

模型验证分别考察预测精度、候选排序和换品响应。图 3-4 将历史记录按架构与指标分开展示，各点保留原记录值，随后表格列出不同实验各自能够回答的问题。

图 3-4：三代架构的历史记录按架构分列、按指标分行展示，不跨架构连线；加性残差阶段未记录候选排序准确率。各点的评估集口径未完整注明，图用于呈现历史观察，不用于推断架构间的净增益。

有效换品同分率以“输入特征实际改变”为分母，预测差绝对值不超过  记为同分。若替换前后商品在所用特征上完全相同，不应将该案例直接归因为模型不敏感。

两两排序准确率衡量候选之间的次序是否符合比较标签。当前部分排序与替换实验的比较标签由历史商品指标构造，属于代理监督信号，并非将同一店铺所有候选都在线随机实验后得到的真实反事实收益。因此，排序提升可以支持模型内部改进，但真实业务价值仍需线上验证。

AutoResearch 在这里承担模型实验编排：提出修改、训练、评价、比较并保留结果。固定数据切分与评价规则，并保存假设、参数和失败尝试，才能避免从多次试验中只挑选最好看的测试指标。

04

多岛进化

4.1 单代进化流程

多岛进化承担 RSI 的离线更新过程：将有限评价机会分配给不同策略，并把结果反馈到采样分布与候选档案。与始终从固定分布采样相比，后续候选依赖历史评价；其增量价值应在同预算对照中测量。各品类在本品类数据上搜索，橱窗与推荐共享约束后的整店组合评价。

有了组合评估器，搜索的关键便转向如何分配有限的尝试机会。每一代先生成候选，在相同数据条件下执行选品与评价，再将结果反馈给候选档案和搜索分布。有效尝试由此成为下一代的起点，失败尝试也留下可诊断的记录。

图 4-1：橱窗与推荐分别采样，配对形成策略；约束后的商品组合进入评估，同一整店适应度反馈给两组搜索分布。图形为结构示意。

图 4-1 展示了候选与反馈的流向，表 4-1 进一步说明一轮进化中各阶段的处理对象与更新结果。理解这轮循环的关键，是区分三个动作：生成新的尝试、评价实际可执行的组合，以及利用评价结果调整下一轮搜索。

表 4-1：一轮策略进化的处理阶段与反馈结果

需要进入评估器的是执行约束之后的最终组合。如果只评估去重前列表，优化器可能偏好一个实际无法发布的高分组合；如果回传给优化器的是投影前参数、评价的却是投影后参数，则搜索分布更新也会与实际执行失配。

4.2 候选生成机制

从 RSI 的状态更新看，CMA-ES、分岛与档案承担不同职责：分布参数改变未来候选出现的概率，分岛保留不同业务环境下的探索轨迹，档案保留可重新评价的起点。它们共同影响下一代，但各自的收益需要拆开验证。

4.2.1 CMA-ES 分布更新

CMA-ES 在权重的对数比值空间采样。对板块 ，以最后一维权重作参考，可写为：

softmax 先把采样值变成和为 1 的权重，有界投影再把每个权重限制在允许范围内。这样，搜索可以在变换空间中探索，执行器始终得到可用的参数。当前实现使用对角协方差形式的 CMA-ES，依据候选适应度排序调整均值、步长及各方向的采样尺度，并与其他变异算子协同。该过程不要求对离散选品、规则去重和树模型反向传播，适合处理“参数连续、组合离散、反馈不可微”的优化结构。60 代是当前 Shinka 默认搜索预算，具体实验仍应记录代数、候选评估次数、店铺数和日期窗口。

为了理解它如何利用反馈，可以先看采样过程。当前 sep-CMA-ES 可写为：

这几个量分别回答三个直观问题：围绕哪里试、整体试多远、每个方向试多宽。 表示搜索中心， 控制整体探索尺度， 控制各维方向的相对尺度。根据一批候选的适应度排名，算法更新中心与探索分布，再生成下一批候选。采用对角协方差降低了分布维护成本，代价是无法显式学习维度之间的相关关系。

对这类归一化权重，直接在原空间加很小的噪声容易被归一化与边界投影抵消。变换空间允许更明显的相对权重调整，投影则保证最终策略满足约束。但投影也会改变采样结果，因此需要记录实际执行权重及边界命中情况。

反馈更新是否值得这部分复杂度，要看相同评价预算下能否得到更好的候选。第七章据此设置固定分布随机搜索作为对照，并将最终质量与达到门槛的速度分别统计。

4.2.2 多岛候选管理

同一套搜索方法并不意味着所有品类应使用同一套策略。多岛机制把搜索按业务分布拆开，精英档案为每个岛保留可继续探索的起点，迁移再有选择地引入其他岛的信息。三者共同决定了搜索如何在“沿着已有效的方向深入”和“尝试尚未覆盖的方向”之间分配预算。

品类分岛：独立的不只是样本，还有搜索状态。 西餐、饮品、甜品与咖啡在价格结构、套餐比例和展示偏好上存在差异。例如，套餐占比较高的店铺与单杯饮品为主的店铺，即便采用相同的特征定义，也未必适合相同的价格与套餐权重。将它们混在一个搜索分布中，可能使样本较多或分数尺度较高的品类主导更新，掩盖其他品类的有效方向。

因此，每个岛在本品类数据上评价候选，并独立维护当前策略、历史最优策略、候选档案，以及橱窗和推荐各自的搜索分布。停滞状态、近期改进情况、探索步长和经验也随岛更新。这样，一个品类可以扩大探索，另一个品类可以围绕已有解精调，不必同步改变节奏。各岛共享特征语义和执行约束，但跨岛分数不能直接作为优劣排名；比较必须回到目标品类的数据与评价口径。

精英档案：将一次高分转化为可复用的搜索起点。 只保留当前最优策略，会丢失其他仍有探索价值的方向。档案按适应度保存有限数量的候选，避免相同策略重复占用容量，并保护历史最优策略。当前实现的档案容量为每岛 20 个；联合搜索规则时，还会对相同规则签名进行去重。这是有容量约束的候选储备，并不保证其中所有策略都能产生不同的商品组合。

档案在两个环节发挥作用。生成候选时，部分变异算子可以从档案高分策略中选择父代，避免始终围绕一个当前解扰动；更新当前策略时，则按更新节奏对档案中的高分候选重新回放与比较。因而，“被档案保留”“成为当前搜索策略”和“进入线上实验”是三个不同的决策，不能由一次离线高分直接跨越。

档案也需要控制评价噪声。在档案已满、且能够获得同批样本配对评价的置信区间时，普通新候选需要同时满足高于档案末位、配对改进的置信区间下界大于零，才通过相应入档门槛；历史最优保护另行处理。这个条件用于减少噪声造成的反复替换，不代表线上收益已经显著。数据窗口或模型发生变化后，历史分数不再具有原样复用的可比性，候选仍需在新的评价条件下重评。

跨岛迁移：先判断能共享什么，再验证是否有用。 完全隔离会重复探索，直接复制又容易把源品类的偏好带入目标品类。系统采用环形连接与跨环桥接组织候选交换，按接收岛的迁移节奏触发，并允许调度规则请求迁移或拒收。每轮交换先固定各源岛的当前策略快照，避免一个刚接收的策略在同一轮连续传播，使迁移结果依赖处理顺序。

迁移按品类相似度分级。相似度较高时，先将迁入权重与目标岛当前权重做加权融合；目标岛中显著高于同板块权重均值的维度受到保护，判定界线为均值加两倍标准差，其余维度融合后重新投影到合法范围。保护发生在融合阶段，后续投影仍可能调整数值。日滚场景还保留目标岛的固定挂品与组合规则，避免共享权重时一并改写本地执行约束。

融合后的策略必须在目标岛数据上重新选品与评价；只有其适应度置信区间下界高于目标岛档案分数的中位数，才继续尝试入档。这一门槛要求迁入策略在考虑不确定性后，仍优于档案中部水平，源岛的高分本身不能替代这次验证。相似度不足以支持权重融合、但仍达到最低共享门槛时，只允许小幅提高目标岛的探索强度，不改写当前权重，也不把源策略加入档案；相似度过低则直接拒绝。迁移还受源策略质量、接收岛状态及累计迁移跳数约束，以限制低质量传播和过度同质化。

这些机制分别对应品类适配、候选复用与跨品类探索，其收益仍需通过消融实验区分。权重优化器的单项对照通常会关闭迁移、经验或动态调度，用于隔离分布更新本身的贡献；它不能证明完整多岛机制中的每一个环节都带来了独立增益。

4.3 适应度反馈

候选生成之后，还需要定义可比较的整店评分，并将这一反馈用于两个板块的分布更新。评分口径与反馈方式共同决定搜索在优化什么。

4.3.1 适应度计算

候选已经能够不断生成，但“分数更高”仍需要一个明确口径。系统提供两种选择：直接比较预测 P2，或在同日基线上比较改进，并纳入组合约束。先看更直观的直接评分：

先对当天有效店铺平均，再对日期平均。对于固定数据快照上的优化器比较，原始预测 P2 比复合评分更容易解释，也便于保证两种搜索方法使用同一评价目标。

如果数据日期在变，单看预测值还不够。整体经营水平下降时，一个更好的策略也可能得到比昨天更低的分数，因此需要引入同日基线。这里将搜索用的分数称为适应度（fitness），并与预测 P2、线上 AB 效应分别记录。例如，启用动态差分评估且相应基线可用时，代码先比较候选与当日静态策略，再融合绝对水平：

 表示当前日期、评估店铺上的聚合预测， 表示该路径采用的参考基线， 控制差分映射尺度。根据配置，后续还可能叠加多样性项、退化惩罚与多日聚合；基线缺失时也有不同回退路径。因此，fitness 从 0.4 增长到 0.6，不能解释为真实 P2 增长 20 个百分点。

记上式的基线质量项  为 。启用多目标评分时，再融合组合多样性  和约束衰减 ：

多样性来自被选商品的品类分布归一化熵；当前相关配置在前 20 代采用质量权重 0.80，之后为 0.85。约束项涉及价格带、新品覆盖及预测 P2 相对固定基线的下降。多日聚合与引擎层保护仍依赖实际入口，公式不能替代运行配置记录。

同日静态基线能够减弱日期大盘变化的干扰，但不是随机对照实验。候选与基线仍由同一个预测模型评价，模型的系统性误差不会因为做了差分而自动消失。直接模式与差分模式是不同选择，不应先后叠加使用或跨模式比较分数。

4.3.2 跨板块联合反馈

当前权重搜索为橱窗与推荐分别维护 CMA-ES 状态，生成候选时，将两个板块同一次采样的权重组成一套完整策略。随后执行跨板块约束，评估整店组合，并用同一适应度更新两个板块的搜索分布。

这一设计让反馈目标与最终业务决策保持一致。如果分别给橱窗和推荐打独立分数，两个板块可能同时偏好同一批热销商品；用整店组合评分，至少能让搜索看到约束执行后的共同结果。它的技术特点是板块分布分别维护，候选在执行和评价阶段耦合。

在咖啡店示例中，A、B 的差别起于橱窗权重，却经过跨板块去重改变了推荐结果。若在直接评分模式下采用前述示例预测，B 的整店评分高于 A；这份比较结果会同时反馈给两组权重分布。真实运行还要结合整批店铺和多个候选的评价排序，不能仅凭这家店、这一对策略就决定下一代搜索中心。

但联合评分也带来归因难题：一次改善究竟来自哪个板块，还是来自两个板块的搭配？当前各板块接收相同评分，并未显式估计单个板块的边际贡献，也没有学习跨板块的完整协方差。因而，它是在工程成本可控条件下对联合策略的搜索，而非对板块交互的完整统计建模。

分布更新以适应度排名为依据。若按评分从高到低选取前  个候选，搜索中心的更新可表示为：

 是本批候选中第  名的变换空间向量。当前板块封装在反馈时，将候选实际权重重新转换为对数比值坐标，减少投影前采样位置与实际执行参数不一致的问题。随后通过累积路径更新整体步长和对角方差：有效方向持续出现时提高相应探索能力，局部细化时收缩搜索尺度。

这种基于排名的更新降低了对分数绝对尺度的依赖，但无法解决大量同分。若多个候选落在同一组合或同一模型平台，排序就缺少有效依据。第三章的模型分辨率与第六章的信号诊断，因此是优化器发挥作用的前置条件。

05

搜索调控

策略更新决定系统当前怎么选品，搜索调控决定系统接下来怎么寻找更好的选法。搜索调控是这套 RSI 系统对探索方式的自适应调整：运行反馈可改变步长与算子配比，历史经验可改变候选生成倾向。可调整范围由规则限定，调度器并不自主创造新的优化算法。

调度器根据当前状态决定怎样继续探索，经验库则把过去尝试转化为候选生成的偏好。二者通过候选质量、有效探索比例和计算成本接受检验；业务实验的设计与结果统一放在第七章讨论。

5.1 自适应调度

调度首先判断搜索是否继续，再决定各品类下一代如何探索；规则与大模型在这一控制框架中承担不同职责。

5.1.1 搜索生命周期

连续几代没有改善，可能意味着已经接近当前可找到的好方案，也可能只是探索范围太窄。如何区分，需要结合评分趋势、档案变化和组合多样性来看。

项目把控制拆成两层：生命周期控制判断今天是否启动、是否继续，以及候选是否适合进入实验；逐岛调度决定每个品类下一代具体怎么搜。文中的“世界模型”指这类基于运行状态的控制器，职责是调整搜索过程。

停止搜索可能来自收敛、预算耗尽、数据异常等原因；进入线上实验还需要候选质量、稳定性、冷却期与实验条件检查。因此，停止搜索、建议实验、批准发布是三个不同判断。逐岛模型输出的自然语言理由不能直接越过实验或发布门控。

5.1.2 大模型调度边界

每个品类的搜索状态不断变化：何时扩大探索，何时收缩步长，何时借用其他品类的策略，都需要随反馈调整。本节介绍如何将规则调度与大模型结合，决定下一代的搜索方式：规则先依据运行状态给出可执行的基线方案，大模型在调用条件满足时补充调整建议，建议通过参数范围与动作权限校验后才进入执行；未调用或调用失败时沿用规则方案。图 5-1 展示了从状态观察、调度决策到搜索分布更新的关系，以及大模型可以介入的边界。

图 5-1：规则形成可执行基线，qwen llm 在调用条件满足时提出受限调整；未调用或失败时使用规则结果，普通候选评价与模型调用解耦。

例如，一个岛持续改善，可以继续沿当前方向细化；另一个岛长期没有新候选进入档案，则可能需要扩大探索。调度器据此读取评分趋势、峰值差、短期波动、品类多样性、档案命中与更替、CMA 状态等信息。它使用运行摘要而不是全量商品明细。不同观测的含义应区分：品类熵描述实际组合多样性，档案权重离散度描述策略差异，优选档案更替描述搜索是否持续发现新候选。

规则按 R1 至 R7 的优先级检查，首个命中项形成决策：

LLM 模式只允许输出结构化参数：步长倍率、预定义算子模式和可抑制动作。数值区间、枚举和动作白名单在代码中再次校验，避免提示词成为唯一约束。输出理由用于审计，真正执行的是校验后的结构化决策。

本系统中，大模型主要参与搜索调度：根据运行状态，在约束范围内调整探索步长与候选生成方式的配比，候选策略仍由搜索算子产生。这种设计将大模型的干预集中在搜索方向与预算分配上，其收益需要通过与纯规则调度的同条件对照验证。

当前可用的调度方式包括静态配置、规则调度与大模型辅助调度，实验应记录实际采用的方式。

调用频率同样属于控制边界。 逐岛调度使用评分趋势、档案变化和多样性等摘要，输入规模与候选商品总量解耦。规则先给出可执行基线，大模型只在允许的参数空间内调整。当前适配器还会检查预热阶段、调用间隔、运行内调用预算和服务可用性；不满足调用条件时直接使用规则结果。

普通候选的打分与评估不需要等待大模型，使模型调用成本与候选评价次数解耦；大模型不可用时，规则基线仍能支撑搜索继续运行。

调度增益可通过纯规则与大模型辅助调度的同条件对照检验，比较最终留出评分、有效组合比例、调用耗时与回退率；第 7.3 节将其纳入统一的消融设计。

5.2 经验引导

经验库是这套 RSI 系统跨轮次保留调整方向的记忆模块。保存一段日志还不够，记录必须被检索、筛选并转化为候选生成偏置，才能改变后续行为。下面说明经验如何表达、如何衰减，以及如何进入变异过程；是否带来额外收益则由第七章的有无经验对照检验。

5.2.1 经验时效管理

持续进化需要记住哪些调整值得继续尝试，也要降低过时经验的影响。本小节说明离线与线上反馈如何经过范围匹配、可信度筛选和衰减，转化为后续搜索的方向偏置。图 5-2 展示这一计算过程，并与保存完整候选的精英档案区分。

图 5-2：离线变异方向与 AB 权重快照经过范围匹配、置信度门控和衰减后形成探索偏置；AB 回灌路径仍待验证，偏置不等于因果归因。

经验还包含两种不同证据来源：

当前代码支持双来源方向汇聚：离线经验提供候选方向，正向 AB 反馈增加支持，负向或风险结果抑制相关方向。融合需考虑品类、策略变化、时效与可信度，不能把不同店铺范围、不同实验协议下的反馈当成完全可互换的标签。

经验库将有效变异、权重方向和停滞处理记录为结构化信号，用于调整后续搜索方向。当前经验置信度采用代际与幅度双因子衰减：

 是相应经验类型的半衰期， 是该经验关联的适应度变化。第一项减弱陈旧经验，第二项降低伴随大幅评分波动的经验权重。它是搜索启发式的可信度权重，不是统计意义上的因果置信度，也不能代替线上实验结果。

经验通过容量限制与衰减共同管理时效：岛级默认保留 50 条、店级 20 条，常规经验与 AB 经验的半衰期分别为 20 代和 40 代。这些设置用于控制旧经验的影响，具体取值需要在实验中比较。

5.2.2 经验偏置生成

经验能否影响搜索，取决于它能否被变异器消费。当前实现将部分经验保存为“板块 → 特征 → 调整量”的结构化方向，再按衰减后的置信权重汇聚为偏置。用一般形式表示：

 是条目提供的方向， 是经过代际与幅度衰减后的有效权重， 表示来源倍率。实现中，普通权重方向先过滤低置信条目，再选取置信度最高的三条；可用 AB 条目使用独立半衰期和 1.5 倍来源权重，正向结果增加支持，负向或风险结果反向作用。置信度门控未通过的 AB 结果不生成这类经验，避免把证据不足误当成明确的好坏判断。

这里还有一个影响后续设计的实现边界：普通方向条目保存的是方向信号，AB 经验保留的是被实验策略的权重快照。经验融合根据实验结果的正负使用该快照，并不自动计算“实验策略减去对照策略”的差值。因此，现阶段不能把融合向量直接解释为已经完成因果归因的有效改动方向。后续若要实现更精确的方向迁移，需要绑定实验与对照快照，显式定义差值及归一化规则，再检验它是否优于现有启发式。

经验偏置与档案也不能互相替代。档案回答“下一轮可以从哪套完整策略出发”，经验回答“哪些修改方向值得优先尝试”。前者保存可执行对象，后者改变候选生成倾向；两者都需要在新的数据与模型条件下接受重新评价。

5.3 业务反馈回灌

内循环结束后，系统将候选交给业务验证，再依据结果决定采用候选、保留基线或继续探索。日更执行负责把已确认策略应用于当天商品，日滚进化负责提出新的选法；商品自然更新与策略迭代由此分开。线上分流、策略冻结和效果判断的方法见第 7.2 节。

进入下一轮时，档案提供历史策略起点，经验偏置影响候选生成方向。这是业务外循环连接 RSI 内循环的具体接口。由于商品供给与人群已经变化，历史策略和基线应在当前数据窗口重新评价；经验继承的是待检验的方向，不能把历史高分当作当前收益。若反馈只被归档而未被后续生成器使用，业务记录尚未闭合为递归改进。

06

反馈失效诊断

第一章提到的两个现象，现在可以放回完整的计算路径中理解：参数改变，要先传到商品得分，再跨过排序与约束形成新组合，最后进入模型并产生预测差异。任何一层都可能把变化压缩掉。排查时逐层保存同一次扰动前后的结果，比直接增大步长或追加搜索代数更容易找到原因。

对 RSI 而言，诊断的目标是确认“状态更新—行为变化—评价差异”之间的联系是否成立。重复组合与同分率是诊断指标，提高换品率本身并非改进目标。反馈不可分辨时，盲目增加代数会重复尝试；反馈有系统偏差时，持续更新还可能放大偏差。

当权重改变却没有换品，或商品更换后预测仍然同分时，仅看最终适应度无法判断问题出在哪里。本节将排查拆成五层：实际执行权重、商品得分、约束后的商品组合、模型输入，以及预测与校准输出。沿同一次策略扰动逐层比较，找到差异从哪一层开始消失，才能判断应调整搜索幅度、选品约束还是评估链路。下面先用图 6-1 说明信号可能被压缩的机制，再用图 6-2 展示五层结果如何对齐检查。

图 6-1：参数扰动沿评分、约束、特征编码与预测传播时，可能在不同环节失去区分信号；各类机制可以独立发生，图中不表示实测的连续衰减量。

这些失效机制需要通过实际观测区分。将同一次扰动前后的结果逐层对齐：先比较权重与商品得分，再比较最终组合、模型输入以及校准前后的输出。

回到咖啡店的 A、B 两套策略：若实际权重不同、橱窗却仍是美式，先检查得分排序及固定挂品约束；若已变成“柚香拿铁＋燕麦拿铁”，就继续检查品槽是否同步变化。若原始预测不同，校准后却都落在 0.300，差异消失在校准环节。这个反例与第三章中能够区分 A、B 的情况对照，说明应定位同一次扰动，而不是一遇到同分就继续增大搜索步长。

图 6-2：上下对齐同一次扰动前后的五层结果，灰色保留未变部分，橙色高亮实际差异；示例展示输入已变而校准后同分的情况。

第一层，参数真的变了吗？ 检查采样与参数变换。候选虽然在变换空间不同，经过归一化和投影后可能非常接近，应比较真正进入选品器的权重。

第二层，变化传到商品得分了吗？ 检查商品评分。高度相关的销量、曝光和加购信号可能使多种权重仍给热门品相同的优势，幂律与归一化又可能压缩分差。需要观察商品之间的得分间隔，而不只是权重距离。

第三层，新的排序产生了新组合吗？ 检查排序与约束。候选池接近板块容量、固定商品占位较多，或去重规则约束较强时，许多策略都会落到同一个可行组合。此时提高搜索次数可能只增加重复评价，应同时监控独特组合比例和换品程度。

第四层，模型实际看到了新商品吗？ 检查模型输入。商品 ID 改变不代表 642 维输入必然改变；所用特征相同、商品映射缺失或缺失值回填，都可能让替换失去实际输入差异。需要逐维比较特征，而不是只比较选品列表。

第五层，预测差异在哪里消失了？ 分别检查原始预测与校准。树模型的分段输出和单调校准的平台都可能导致同分，应分别定位在预测前还是校准后失去差异。

早期诊断实验显示，修复调整幅度与评分问题后，测试中的选品变化度从 0 提升至 0.61，选品不变的店铺占比从 55% 降至 0%。这说明该测试场景恢复了策略对组合的影响，不是业务收益，也不能与其他实验中不同定义的换品指标直接合并。

07

实验验证

评估这套 RSI 系统的效果，需要把三个问题分开：本轮是否找到更好的策略，利用反馈是否优于不更新，以及历史积累是否改善下一轮。第 7.1 节给出运行记录和单项机制对照，第 7.2 节检验整套策略的线上效果，第 7.3 节提出跨轮次与机制消融设计。已有实验分别覆盖这些问题的一部分；单次策略收益、反馈更新收益与长期积累收益需要分别报告。

7.1 离线对照实验

离线实验分别观察完整搜索的运行表现、反馈更新的增量、专家边界的取舍，以及不同迭代方式的可比性。四组实验回答的问题不同，其结论需要分别解读。

7.1.1 多岛运行观察

先确认完整搜索能否运行并留下可分析的结果。一次完整链路实验在四个品类上各执行 60 代搜索，原实验记录规模为每岛 1,000 家店，采用 LLM 调度模式。它验证了候选生成、执行、评估、档案与经验记录的运行链路。

图 7-1：历史运行中四个品类的跨代适应度变化；评估日期及评分状态可能变化，曲线不能直接解释为线上 P2 提升。

这些是跨代历史评分，评估日期与复合评分状态可能同时变化。它们证明运行过程中发现过更高评分候选，不能直接证明固定独立数据上的改进，更不能解释为线上 P2 的相对提升。

导出的权重可以形成业务假设。例如，咖啡橱窗较重视图片非翻拍与上架时效，甜品橱窗的城市热销权重达到 0.60。解释时必须先核对特征方向：上架时效按反向时长评分，高分对应近期上架，因此较高权重体现的是对新品的偏好；下单用户数也不能直接解释为复购或忠诚度。权重集中意味着需要进一步检验稳定性，不等于该特征存在已确认的因果作用。

7.1.2 优化器对照

在完整链路之外，我们进一步把问题缩小：如果只改变权重采样器，利用反馈更新分布是否比一直随机尝试更好？

第四章介绍了 CMA-ES 如何根据候选评分调整搜索分布。本次实验将它与固定分布随机搜索进行对照，只改变橱窗与推荐权重的生成方式：随机组始终从初始分布采样；CMA-ES 组（下文简称 CMA 组）根据每批候选的评价结果更新分布，再生成下一批权重。两组使用相同数据、固定边界的门控专家评估器及校准、初始策略与固定挂品，不启用其他候选来源、迁移、经验引导或动态调度，以单独检验反馈更新的作用。

实验包含四品类、10 个配对种子，每方法每品类 201 次候选评价，共 16,080 次搜索评价；1,999 家店中 1,599 家参与搜索，400 家用于最终留出评价，另计 160 次留出调用。两组初始分布与首批候选一致，后续差异才来自是否利用反馈更新。

图 7-2：随机搜索与 CMA-ES 的同预算搜索曲线，展示全部种子的均值与正负一个标准差；留出统计与适用限制见下文。

先在每个种子内等权平均四品类，再进行种子配对统计，随机组平均增量为 +0.010593，CMA 组为 +0.014150，差值 +0.003557，95% 配对区间为 [+0.002089, +0.005234]。重采样单位为种子，不能把店铺或搜索步数当成额外独立重复。各列为原始统计分别四舍五入，展示值相减可能存在末位差异。

在当前固定条件下，CMA-ES 的优势体现为最终候选质量，达到早期门槛的速度则没有优势。 预设门槛为初始评分 +0.002，达到门槛的截断评价次数均值为随机组 5.300、CMA 组 6.275；40 组配对中有 37 组在共同首批候选内已达标，CMA 尚未开始利用反馈。饮品区间跨过 0，其单独优势也未确认。

结果还受数据契约限制：该实验固定挂品由共同初始策略生成，并非真实线上挂品；后续复验核查发现沿用的旧快照缺少店铺历史字段，并发现模型日期原点的历史局限。两组共同使用相同输入可以支持受限条件下的优化器比较，但不能据此证明完整真实特征条件下仍有相同优势。后续应补齐同日期上下文重新验证。详见正式实验记录。

7.1.3 专家边界对照

另一个实验展示了不同的结果：候选排序提高了，方案却没有被采用。原因在于，模型更新需要同时照顾收益与退化风险。

自动边界实验采用相同数据、时间切分与训练预算，种子为 42；固定目标区间与训练集分位数区间分别训练专家，共用同一通用模型。

图 7-3：同口径测试误差、分区误差与换品分差的比较；部分指标改善不等于通过联合验收。

自动边界在部分指标上改善，但验证集排序提升为 0.427 个百分点，未达到预设 0.5 的门槛；共同分箱的最大原始 MAE 恶化约 18.2%，超过预设容忍范围。因此本轮不采用自动边界，也未继续追加种子。

这说明应以联合验收条件约束模型更新。总体平均误差和排序均值可能掩盖部分店铺区间的退化，分区误差、校准与敏感性都需要检查。单种子结论仅针对本次方案，不代表自动分区这一方向普遍无效。详见边界对照实验。

7.1.4 搜索框架对照

对比完整迭代方式，比对比单个优化器更复杂。除了预算相同，还要确认每种方法真正实现了它所声称的迭代机制。

在框架对照实验中，我们比较了 Shinka 权重搜索、ReAct 当前实现与坐标下降。旧结果中 Shinka 的留出预测增量较高，但存在两项影响解释的问题：其一，坐标下降不能代表完整 AutoResearch；其二，旧版评估器的特征构造随后被修正，旧缓存也缺少完整店铺上下文。

图 7-4：三种迭代方式在统一评估预算下的历史搜索曲线。该实验存在适配器与特征口径限制，不据此认定当前框架优劣。

这组结果更适合作为对照设计的复盘材料。新的复验适配器已区分 ReAct 的观察行动迭代与 AutoResearch 的实验保留／撤销账本，并要求统一实际评估次数、完整数据、模型版本和初始策略；截至当前材料记录，正式复验尚未完成。

有效对照还需要记录独特候选数量、无效提议、模型调用及实际评价次数。一次大模型调用不一定产生一个新候选，重复提议也必须按约定计入预算。即使某个适配器表现较差，也需先检查提议空间、反馈设计和实现约束，不能直接推广为整个方法类别无效。复验条件与阻塞见复验记录。

7.2 线上 AB 实验

离线评分更高的选品策略，能否带来更多真实加购，需要通过线上 AB 实验验证。本节先介绍分流与判断方法，再给出一轮阶段性结果，最后说明实验记录怎样接入第五章的经验机制。

实验设计围绕整套选品策略展开：控制组使用已有托管策略，实验组使用进化筛选出的候选策略，按 C 端用户随机分组并保持分组稳定。同一店铺面向两组用户时，组件类型、展示位置、样式与视觉素材保持一致，主要改变商品选择及其组合结果，以尽量隔离选品策略的影响。实验期间冻结两组策略，商品列表仍可根据各组固定策略响应新品、缺货等供给变化；若中途修改权重或组合规则，应作为新一轮实验处理，避免把多套策略的效果混在一起。

结果判断以进店至加购的整店 P2 为主指标，并结合成交与异常指标观察潜在代价。每轮实验应预先明确目标店铺范围、分流比例、观测窗口和判定规则，同时报告效应大小与不确定性，避免看到短期正向波动就提前结束实验。按用户分流时，统计推断还需考虑同一用户的重复访问，不能把这些访问简单视为彼此独立的样本。品类差异可用于分析策略的适用范围，但整套方案的收益不能直接归因于某个权重、某个板块或某个搜索算子。

阶段性实验结果为上述方法提供了一次实际检验。首轮线上 AB 覆盖四个类目、约四万家店，按用户进行 50:50 分流。在定向店铺的 8 天有效观测中，实验平台报告整店 P2 相对提升 0.34%，p = 0.0389。辅助指标中，访问下单率相对提升 0.46%（p = 0.0284），进店下单转化率相对提升 0.44%（p = 0.0347）。

这轮结果为整套选品方案在该投放范围与观测窗口内改善 P2 提供了阶段性正向证据，不能据此认定长期收益或各项机制的独立贡献。相对变化与 p 值采用实验平台的统计结果，不由展示精度下的百分比反推；现有记录未包含完整观测起止日期和置信水平。后续实验仍需在新的时间窗口与店铺范围内持续验证，并将每轮结果连同策略和实验条件一并纳入经验积累。

一轮实验结束后，需要把被检验的候选与基线、适用店铺范围、效应大小及不确定性关联保存。可靠的正向结果支持继续探索相近策略，负向结果提示降低相关方向的优先级；证据不足的结果保留为待验证记录。第五章的经验机制负责进一步筛选、衰减并汇聚这些反馈，形成后续候选生成的偏置。线上效应不直接替换离线适应度。

要检验 RSI 的跨轮积累价值，需进一步比较继承经验与重置经验的多轮搜索。两组使用相同的数据窗口、评估器、起点规则和预算，仅改变历史反馈的使用方式；按轮观察留出候选质量，再在适合的线上实验中验证业务效果。单轮 AB 判断投放策略，多轮对照才检验经验是否帮助了下一次决策。

7.3 机制消融设计

RSI 的机制归因需要控制“多搜索了一些”和“更好地利用了反馈”之间的差别。除单项消融外，跨轮实验应设置状态继承组与对应状态重置组，在相同评价预算下比较后续候选；还可打乱经验与策略的对应关系，检验有效信息是否来自正确的历史反馈。以下是需要逐项检验的设计，尚未全部完成。

其中，随机采样与 CMA-ES 已有固定条件下的正式对照；专家结构有架构迭代与边界测试记录；经验融合、联合优化归因及调度增益还需要补齐独立证据。各项比较应报告配对种子上的差异与区间，避免仅凭一条最好的搜索曲线判断机制有效。

08

总结

淘宝闪购店装 RSI 系统通过反馈更新自身的选品策略与搜索状态：策略决定当前行为，评价提供调整依据，搜索分布与经验决定后续尝试。Agent Loop 的目标是在业务约束和预算内持续提出可验证的改进，而递归性体现在本轮产生的状态被下一轮消费。

这套系统由可执行策略、多岛进化、固定评估器和经验调控共同组成。递归自我改进体现在这些模块之间的状态传递：评价结果进入更新过程，更新后的状态再次参与候选生成。CMA-ES、树模型和门控方法提供基础能力，面向店装 RSI 的设计集中在以下方面。

实践中最有启发的发现，是搜索能力受整条反馈路径约束。权重变化若无法改变组合，优化器就缺少新的尝试；组合变化若不能形成可靠分差，搜索就缺少有效方向；实验结果若不能对应到被冻结和发布的策略，后续经验也失去依据。

将这套 RSI 系统的方法迁移到其他组合决策场景时，应先确定可修改状态、可执行边界与独立验收方式，再检验反馈是否真实改变后续行为。若进一步允许系统自动更新评估器或更新规则，还需保持独立的验证基准，避免生成器与裁判同时变化后失去可比性。这属于下一层研究问题，不能由当前策略搜索结果直接推出。下一阶段，工作会继续围绕以下可验证的问题展开：

策略推广：在新日期与新店铺范围继续观察 P2、成交和异常指标，明确实验窗口、分流与护栏。

候选区分：在完整业务上下文下检验专家区间、训练范围与校准，同时观察排序、误差、分区稳定性和换品响应。

机制贡献：固定模型、数据、种子与实际评价预算，完成迭代方式复验及调度、经验机制消融。

持续闭环：连续开展候选筛选、线上实验与反馈后再搜索，比较多轮业务效果及跨日稳定性。

RSI 的价值最终取决于反馈能否转化为可验证的下一次改进。当前证据支持受限条件下的搜索反馈收益与整套选品方案的阶段性业务价值；持续继承经验是否优于每轮重新开始，仍是后续实验需要回答的核心问题。让每一次更新有对象、每一条反馈有去向、每一项收益有独立验证，是这套店装 RSI 系统持续运行与验证改进的基础。

致谢

感谢李哲、贺永明和崔智恒师兄在项目实践中的悉心指导，感谢杨宇、柴绪顺在工程实现方面的支持与协助，感谢张海锋在业务方面的支持，感谢俞秀娟、朱翔和杨雨萌在生图素材方面的支持。

参考文献

[1] Zhang, J., Hu, S., Lu, C., Lange, R., & Clune, J. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents. arXiv:2505.22954, 2025. https://arxiv.org/abs/2505.22954 

[2] Lange, R. T., Imajuku, Y., & Cetin, E. ShinkaEvolve: Towards Open-Ended And Sample-Efficient Program Evolution. arXiv:2509.19349, 2025. 

https://arxiv.org/abs/2509.19349

[3] Hansen, N. The CMA Evolution Strategy: A Tutorial. arXiv:1604.00772, 2016. https://arxiv.org/abs/1604.00772

[4] Yao, S., et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR, 2023. 

https://arxiv.org/abs/2210.03629

[5] Karpathy, A. autoresearch. 开源项目. 

https://github.com/karpathy/autoresearch

[6] Shinn, N., et al. Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS, 2023. 

https://arxiv.org/abs/2303.11366

[7] Carbonell, J., & Goldstein, J. The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries. SIGIR, 1998: 335–336. https://doi.org/10.1145/290941.291025

[8] Ke, G., et al. LightGBM: A Highly Efficient Gradient Boosting Decision Tree. NeurIPS, 2017. https://proceedings.neurips.cc/paper_files/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html

[9] Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. Adaptive Mixtures of Local Experts. Neural Computation, 1991, 3(1): 79–87.

https://doi.org/10.1162/neco.1991.3.1.79

[10] Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. Controlled Experiments on the Web: Survey and Practical Guide. Data Mining and Knowledge Discovery, 2009, 18:140–181. 

https://doi.org/10.1007/s10618-008-0114-1