Skip to content

Posts tagged Kubernetes

  1. Agentic RL 的 Sandbox 编排：从预热到复用

    以 800 条 Coding Agent rollout 为例，讨论提前准备多少环境、每批处理多少任务，以及环境复用如何影响训练耗时。

  2. 为什么 Agent 基础设施开始在 Kubernetes 之上再造一层控制面

    从 Substrate 的真实实现出发，理解 Actor 与 Pod 生命周期分离、两级调度的价值，以及第二层控制面必须承担的状态与治理成本。

  3. AgentCube × Kubernetes Agent Sandbox：构建云原生 AI Agent Runtime

    从 Agent Session、Sandbox 与 Kubernetes 的职责边界出发，介绍 AgentCube 如何构建具备隔离、安全与冷热路径管理能力的云原生 AI Agent Runtime。

  4. 从 StatefulSet 到推理负载：滚动升级需要保留什么

    从 StatefulSet 的 partition 出发，讨论推理负载的更新单位、版本恢复、Role 协同与原地更新，以及它们各自需要保留的关系。

  5. 基于 Kthena ModelServing 接入 llm-d Router：打通PD 推理链路

    基于真实 GPU 实验，介绍 Kthena ModelServing 如何管理 Prefill/Decode 拓扑，并通过 workload identity 对接 llm-d Router。

  6. 推理系统的边界：从 LWS、Dynamo 看 Kthena 的设计取舍

    从 LWS 的多机副本与 Dynamo 的推理执行出发，讨论 Kthena 的工作负载模型、分组方式、控制权，以及调度与运行时之间的分工。

  7. 基于 Volcano 的 Kthena ModelServing 拓扑亲和 / 反亲和调度

    基于 Volcano 的 Kthena ModelServing 拓扑亲和与反亲和调度。