Kthena v0.1 Documentation

Kthena 是一个基于 Kubernetes 的 LLM 推理平台，它改变了组织在生产环境中部署和管理大型语言模型的方式。通过声明式模型生命周期管理和智能请求路由，它为 LLM 推理工作负载提供了高性能和企业级可扩展性。