Skip to content

Posts tagged Volcano

  1. 推理系统的边界：从 LWS、Dynamo 看 Kthena 的设计取舍

    从 LWS 的多机副本与 Dynamo 的推理执行出发，讨论 Kthena 的工作负载模型、分组方式、控制权，以及调度与运行时之间的分工。

  2. 基于 Volcano 的 Kthena ModelServing 拓扑亲和 / 反亲和调度

    基于 Volcano 的 Kthena ModelServing 拓扑亲和与反亲和调度。