Skip to content

Posts tagged Kthena

  1. 从 StatefulSet 到推理负载：滚动升级需要保留什么

    从 StatefulSet 的 partition 出发，讨论推理负载的更新单位、版本恢复、Role 协同与原地更新，以及它们各自需要保留的关系。

  2. 基于 Kthena ModelServing 接入 llm-d Router：打通PD 推理链路

    基于真实 GPU 实验，介绍 Kthena ModelServing 如何管理 Prefill/Decode 拓扑，并通过 workload identity 对接 llm-d Router。

  3. 推理系统的边界：从 LWS、Dynamo 看 Kthena 的设计取舍

    从 LWS 的多机副本与 Dynamo 的推理执行出发，讨论 Kthena 的工作负载模型、分组方式、控制权，以及调度与运行时之间的分工。

  4. 基于 Volcano 的 Kthena ModelServing 拓扑亲和 / 反亲和调度

    基于 Volcano 的 Kthena ModelServing 拓扑亲和与反亲和调度。