AI

GoogleのAI圧縮技術「TurboQuant」が衝撃──LLMのメモリ使用量を6分の1に削減

Google Researchが発表した「TurboQuant」は、LLMのKVキャッシュを3ビットまで圧縮し精度を維持する画期的技術。NVIDIA H100で最大8倍の高速化を実現し、AI推論のコスト構造を変える可能性がある。