Skip to content

Posts tagged llm-d

  1. 基于 Kthena ModelServing 接入 llm-d Router：打通PD 推理链路

    基于真实 GPU 实验，介绍 Kthena ModelServing 如何管理 Prefill/Decode 拓扑，并通过 workload identity 对接 llm-d Router。