Agentic RL 的 Sandbox 编排:从预热到复用
以 800 条 Coding Agent rollout 为例,讨论提前准备多少环境、每批处理多少任务,以及环境复用如何影响训练耗时。
以 800 条 Coding Agent rollout 为例,讨论提前准备多少环境、每批处理多少任务,以及环境复用如何影响训练耗时。
从 StatefulSet 的 partition 出发,讨论推理负载的更新单位、版本恢复、Role 协同与原地更新,以及它们各自需要保留的关系。
从 LWS 的多机副本与 Dynamo 的推理执行出发,讨论 Kthena 的工作负载模型、分组方式、控制权,以及调度与运行时之间的分工。
从 Substrate 的真实实现出发,理解 Actor 与 Pod 生命周期分离、两级调度的价值,以及第二层控制面必须承担的状态与治理成本。
从 Agent Session、Sandbox 与 Kubernetes 的职责边界出发,介绍 AgentCube 如何构建具备隔离、安全与冷热路径管理能力的云原生 AI Agent Runtime。
基于真实 GPU 实验,介绍 Kthena ModelServing 如何管理 Prefill/Decode 拓扑,并通过 workload identity 对接 llm-d Router。