AIニュース・トレンド Transformerの残差接続を改良、AIモデルの精度が向上
Moonshot AIが2025年3月、Transformerの新しい構造「Attention Residuals」を発表しました。これは深層学習モデルの内部構造を改善する技術で、従来の残差接続を置き換えることで、モデルの学習効率と精度を高めます。同社の言語モデル「Kimi Linear」に組み込んだところ、数学問題の正答率が53.5%から57.1%に、プログラミングテストも59.1%から62.2%に向上しました。フリーランスが直接使うツールではありませんが、今後のAIツールの性能向上につながる基盤技術です。