【リリース】国立情報学研究所が、オープンな国産LLM「LLM-jp-4 33B」を公開したとITmedia AI+が報じています。 ・約332億パラメータのDense型 ・ライセンスはApache 2.0で商用利用可 ・4種類のベンチマーク全てで従来モデルとgpt-oss-20bを上回ったとのこと pic.x.com/5w49tHp6X7

gpt-oss-120bの32K蒸留で、Dense KL約250GBに対し融合Chunked KLは約128GBと報告 知識蒸留を単一GPUへ。Top-Kキャッシュと分割KL損失でLLM蒸留のメモリを約250GBから128GBに - AI Chronicle ai-chronicle.blog.jp/archives/14418…