Skip to content

Posts tagged 架构

  1. 从 StatefulSet 到推理负载：滚动升级需要保留什么

    从 StatefulSet 的 partition 出发，讨论推理负载的更新单位、版本恢复、Role 协同与原地更新，以及它们各自需要保留的关系。

  2. 推理系统的边界：从 LWS、Dynamo 看 Kthena 的设计取舍

    从 LWS 的多机副本与 Dynamo 的推理执行出发，讨论 Kthena 的工作负载模型、分组方式、控制权，以及调度与运行时之间的分工。