vLLM推理引擎在P/D分離架構下因競態條件導致KV緩存越權讀取引發數據泄露與服務中斷
該漏洞源於預填充與解碼組件間KV塊租約管理機制的缺陷,當請求在編排器中滯留時間超過默認租約期限時,生產者會回收並複用KV緩存塊,而消費者仍持有過期的遠程塊ID發起讀取操作,這種時序競爭導致消費者靜默加載其他請求的混合注意力狀態或循環狀態,攻擊者可藉此實施數據混淆甚至通過構造特定輸入觸發CUDA非法地址錯誤致使整個推理引擎崩潰,嚴重破壞系統的機密性、完整性及可用性。
組件
vLLM是一個高性能的大語言模型推理服務框架,其核心功能在於優化Transformer模型的注意力機制計算與內存管理,系統採用預填充與解碼分離的分佈式架構以最大化GPU資源利用率,旨在通過NIXL等底層通信庫實現跨設備的高效張量傳輸與狀態同步,從而支撐高併發、低延遲的企業級AI應用場景。
類型
Race Condition (CWE-362)
倉庫
處置建議
- 建議開發者在數據傳輸層增加對預填充塊租約有效性的嚴格校驗機制,確保消費者在讀取前驗證租約是否過期,同時引入心跳續租邏輯以維持長等待請求的狀態有效性,並在檢測到無效讀取時執行失敗策略而非繼續處理,以此消除競態風險。
litellm代理授權邏輯缺陷致遠程攻擊者獲取全量訪問權限破壞系統完整性
該漏洞源於granted_scope函數在解析ID-JAG斷言中的scope聲明時未能區分缺失值與空字符串,導致空scope被錯誤映射為無限制的全局憑證,攻擊者可構造包含空scope的有效簽名令牌發起網絡請求,從而繞過基於路由的細粒度訪問控制策略,直接獲得代理後端所有LLM及MCP推理接口的未受限調用權限,造成系統機密性與完整性的嚴重受損。
組件
litellm是一款面向大語言模型調用的統一接口代理工具,其架構旨在屏蔽底層異構模型差異並提供標準化的API接入服務,核心功能涵蓋路由分發、密鑰管理及請求鑑權,通過集成ID-JAG等身份斷言機制實現對微服務或MCP資源的安全訪問控制與權限隔離。
類型
Improper Authorization (CWE-285)
倉庫
處置建議
- 建議在代碼中嚴格區分claim字段的存在性與內容有效性,對非None但為空或空白字符的scope聲明直接返回無效作用域拒絕響應,僅對完全缺失該字段的斷言授予默認憑證,並補充針對空字符串場景的迴歸測試用例以確保授權邏輯的健壯性。