「AIはまだまだ」は本当に正しいのか
「最新のAIでもこのタスクは苦手らしい」——そんな評価を目にしたことがある方も多いと思います。ところが、その評価自体が実態を正しく反映していない可能性が出てきました。英国のAIセキュリティ研究所（AISI）が2025年に発表した研究によれば、現在主流のAIベンチマーク（能力測定テスト）は、構造的にAIの能力を低く見積もってしまう設計になっているというのです。
AIの性能を測るベンチマークは、研究者や企業が「このモデルはどこまでできるか」を比較するために使われる重要な指標です。メディアで「GPT-5がXXのベンチマークでYY点を達成」といった形で報じられることもあり、多くの人がその数字をAIの実力として受け取っています。しかしAISIの研究は、その前提に疑問を投げかけています。
計算予算の「上限」がAIの手を縛っていた
問題の核心は「計算予算」にあります。AIが問題を解くとき、どれだけの計算ステップや処理量（トークン数）を使えるかには上限が設けられています。ベンチマークの運営上、コストや時間の都合からこの上限が低めに設定されることが多く、その結果、AIが本来発揮できる力を出し切れないままスコアが記録されてしまっているのです。
AISIは7つのベンチマークを対象にした調査を実施し、この仮説を検証しました。その結果は明確で、ソフトウェアエンジニアリングのタスクにおいてトークン予算を10倍に増やしたところ、成功率が25%上昇したことが確認されました。コードを書いたりバグを修正したりする作業で、単純にリソースの制限を緩めるだけでこれだけの差が出るというのは、かなりインパクトのある結果です。
さらに注目すべきは、最新のAIモデルほどこの恩恵を受けやすいという点です。研究によれば、計算予算を増やしたときの進歩の傾きは、従来の測定値より60%も急峻だったとされています。つまり、最先端モデルの実際の進化速度は、公表されているベンチマーク結果が示す以上に速い可能性があるということです。
セキュリティ面でも見落としが生まれるリスク
この問題が単なる「数字の話」で終わらない理由があります。AIの能力評価はセキュリティ対策にも直結しているからです。「このAIにはこれくらいの能力しかない」という前提でリスク管理が組まれている場合、実際の能力がそれを上回っていると、対策に穴が生まれる可能性があります。AISIはこの点を特に問題視しており、評価手法そのものを早急に見直す必要があると訴えています。
一般的なフリーランスの方がAIセキュリティの研究を直接読むことは少ないかもしれません。ただ、メディアやSNSで流れてくる「AIの限界」に関する情報が、現実のAIの実力を正確に反映していない可能性があることは、頭の片隅に置いておく価値があります。
フリーランスへの影響
この研究が直接的にツールの使い勝手を変えるわけではありませんが、日常業務でAIを使っているフリーランスにとって、いくつかの示唆があります。まず、「このAIにはこの仕事は無理」と早々に諦めていたタスクが、実はアプローチ次第でこなせる可能性があるということです。制限の多い無料プランではなく、より多くの計算リソースを使えるプランや設定を試すことで、結果が変わるケースがあるかもしれません。
また、AIの能力評価そのものに対する見方も変わってきます。ベンチマークのスコアだけでツール選びをするのではなく、実際に自分の業務で使ってみて判断するという姿勢がより重要になりそうです。特にコーディングや文章作成など、試行回数を重ねるほど精度が上がる作業では、AIに与えるリソースや指示の質が成果に大きく影響することが改めて示された形です。
とはいえ、今すぐ何かを変える必要があるかというと、そうでもありません。この研究は評価機関や研究者向けに大きな意義を持つものであり、個人ユーザーへの影響は今後の評価基準の改訂を経てじわじわと出てくるものです。焦らずに、動向を眺めておく程度でちょうどいいと思います。
まとめ
AIの「公式スコア」が実態を下回っている可能性があるという、評価の根本を問い直す研究でした。今すぐ使っているツールを変える必要はありませんが、AIの限界に関するニュースを少し懐疑的に見る習慣は持っておくといいかもしれません。詳細はAISIの発表資料を確認してみてください。
コメント