保存推奨。 TurboQuantの「3ビット無損失」報道、実は誤りだった。 論文が主張しているのは3.5ビットでの無損失であり、0.5ビットの差が実務では効いてくる。 llama.cppフォークで実際に動くようになったので、仕組みと使いどころを整理しておく。 🧵 #AI実装ノウハウ pic.x.com/Kam322Sq53

まず事実確認から。 TurboQuantはKVキャッシュを量子化してVRAMを削減する手法。 「3ビットで無損失」と広まっているが、論文が主張しているのは3.5ビットでの無損失。 実務家が推奨しているのは4ビット量子化で、3ビットまで落とすと精度への影響が出る、というのが現時点の評価。