vLLM KV Cache 池化：Mooncake + MultiConnector 生产级实践
Mooncake Master + MultiConnector（MooncakeConnectorV1 + AscendStoreConnector）双层 KV Cache 池化架构的完整实践指南：从原理到 GLM-5.2 生产配置，涵盖前缀缓存、SSD 卸载、Decode KV 回写和排障。
vLLMKV CacheMooncakeAscend NPU推理优化PD分离
运维不止，探索不息
高级运维工程师 / SRE，10 年经验。专注 Kubernetes GPU 集群运维、AI 基础设施、 可观测性体系建设与自动化平台工程。这里是技术实践的沉淀空间。
最新文章
KubeRay + vLLM：大模型推理的 K8s 分布式方案
KubeRay 架构全景解析：RayCluster/RayJob/RayService 三层 CRD、vLLM + Ray Serve 多节点 TP 推理、PD 分离编排，以及 9 个 K8s LLM 推理项目的横向对比与选型建议。
KubeRayvLLMKubernetes分布式推理Ray架构选型
vLLM 投机解码：MTP/Eagle3 生产级加速实践
vLLM 投机解码（Speculative Decoding）三种方案深度对比：MTP（GLM-5.2 内置）、Eagle3（Kimi-K2.6）、Draft Model，含 Ascend NPU 真实生产配置、吞吐提升实测和排坑指南。
vLLM投机解码Speculative DecodingMTPEagle3Ascend NPU推理优化
vLLM Ascend 昇腾推理部署：从硬件检测到生产上线
华为昇腾 NPU 上部署 vLLM 的完整指南：NPU 设备检测、Docker/Docker Compose/Kubelet 四种部署方式、Qwen3/DeepSeek/GLM 等 30+ 模型支持，以及 PD 分离和监控。
vLLMAscend NPU昇腾推理部署DockerNPU
大模型推理量化策略：W4A8/W8A8/FP8 选型与实践
FP16/W8A8/W4A8/FP8/AWQ/GPTQ 六种量化方案对比，含显存估算公式、Ascend 910B 实测数据（GLM-5.2-w8a8 / Kimi-K2.6-w4a8），以及生产选型决策树。
量化W8A8W4A8FP8Ascend NPU推理优化vLLM