vLLM推理引擎在P/D分离架构下因竞态条件导致KV缓存越权读取引发数据泄露与服务中断
该漏洞源于预填充与解码组件间KV块租约管理机制的缺陷,当请求在编排器中滞留时间超过默认租约期限时,生产者会回收并复用KV缓存块,而消费者仍持有过期的远程块ID发起读取操作,这种时序竞争导致消费者静默加载其他请求的混合注意力状态或循环状态,攻击者可借此实施数据混淆甚至通过构造特定输入触发CUDA非法地址错误致使整个推理引擎崩溃,严重破坏系统的机密性、完整性及可用性。
组件
vLLM是一个高性能的大语言模型推理服务框架,其核心功能在于优化Transformer模型的注意力机制计算与内存管理,系统采用预填充与解码分离的分布式架构以最大化GPU资源利用率,旨在通过NIXL等底层通信库实现跨设备的高效张量传输与状态同步,从而支撑高并发、低延迟的企业级AI应用场景。
类型
Race Condition (CWE-362)
仓库
处置建议
- 建议开发者在数据传输层增加对预填充块租约有效性的严格校验机制,确保消费者在读取前验证租约是否过期,同时引入心跳续租逻辑以维持长等待请求的状态有效性,并在检测到无效读取时执行失败策略而非继续处理,以此消除竞态风险。
litellm代理授权逻辑缺陷致远程攻击者获取全量访问权限破坏系统完整性
该漏洞源于granted_scope函数在解析ID-JAG断言中的scope声明时未能区分缺失值与空字符串,导致空scope被错误映射为无限制的全局凭证,攻击者可构造包含空scope的有效签名令牌发起网络请求,从而绕过基于路由的细粒度访问控制策略,直接获得代理后端所有LLM及MCP推理接口的未受限调用权限,造成系统机密性与完整性的严重受损。
组件
litellm是一款面向大语言模型调用的统一接口代理工具,其架构旨在屏蔽底层异构模型差异并提供标准化的API接入服务,核心功能涵盖路由分发、密钥管理及请求鉴权,通过集成ID-JAG等身份断言机制实现对微服务或MCP资源的安全访问控制与权限隔离。
类型
Improper Authorization (CWE-285)
仓库
处置建议
- 建议在代码中严格区分claim字段的存在性与内容有效性,对非None但为空或空白字符的scope声明直接返回无效作用域拒绝响应,仅对完全缺失该字段的断言授予默认凭证,并补充针对空字符串场景的回归测试用例以确保授权逻辑的健壮性。