「テストの優等生」が現場で使えない理由
AIモデルの性能を測る指標として、長らく使われてきたのがMMULやGPQAといったベンチマークです。「このモデルはMMULで90%超え」「推論テストでGPT-4を上回った」といった表現を目にしたことがある方も多いでしょう。ところが、研究機関METRが2026年6月に公開した調査により、こうしたベンチマークスコアと実務での使い勝手に、深刻なズレがあることが改めて示されました。
従来のベンチマークは、採点しやすいタスクを中心に設計されています。選択式の知識問題や、正解が一意に定まる数学推論などがその代表例です。こういった問題であれば、AIは確かに目覚ましいスコアを出します。しかし実際の仕事では「この文脈で、このクライアントが本当に求めているものは何か」という判断や、プロジェクト全体の流れを把握した上での意思決定が求められます。こうした能力は、現在の評価指標ではほとんど測られていません。
開発者がAIを使うと、なぜ19%も遅くなるのか
METRの調査の中でも特に衝撃的だったのが、経験豊富な開発者を対象にした実験結果です。AIツールを使ったグループは、使わなかったグループと比べて、同じタスクの完了に平均19%も長い時間を要しました。生産性が上がるどころか、むしろ下がっているというのは直感に反する結果ですが、理由を聞くと納得できます。
現場の開発者たちが口を揃えて指摘するのは「AIの出力を確認・修正する手間」です。AIが生成したコードをそのまま使えることはほとんどなく、意図と異なる実装を見つけて修正するコストが積み重なります。加えて、プロジェクトが数週間・数ヶ月にわたる場合、AIは長期的な文脈を維持することが苦手です。前回の会話で決めた設計方針を踏まえた提案をしてくれることは稀で、毎回ゼロから背景を説明し直す手間が発生します。
これはコーディングだけの話ではありません。ライティング業務でも、長期連載の記事のトーンや読者との積み重ねた関係性をAIに引き継がせることは難しく、「短い単発タスク」以外では摩擦が生じやすいという構造は同じです。
新しい評価軸「ライフタイム・ホライゾン」とは
こうした問題意識を受けて、METRが提唱しているのが「ライフタイム・ホライゾン」という評価軸です。一問一答形式のテストではなく、数時間から数日にわたる連続したタスクの中で、AIがどこまで自律的に目的に向かって進められるかを測ります。同様の方向性で、OpenAIも「GDPval」と呼ばれる、デジタル知識労働のアウトプットを経済価値で測る指標の開発を進めています。
これらの新しい評価手法はまだ発展途上ですが、「ベンチマークで強いモデルを選ぶ」という従来の選び方に疑問を投げかけているのは確かです。特にGDPvalは、コード生成や文章作成といったデジタル作業に特化しているため、フリーランスの実務に近い評価軸と言えます。一方で、対面交渉や暗黙知が重要な業務、日本語特有のニュアンスを要するコミュニケーションなどは評価対象外であり、すべての仕事に適用できる万能な指標ではない点は押さえておきたいところです。
フリーランスへの影響
この研究が示すのは「AIはまだ使えない」という結論ではなく、「使い方とタスクの選び方が重要」という現実です。単発・短期・明確なアウトプットが定義できるタスク、たとえばメールの下書き作成、特定トピックのリサーチまとめ、定型的なコード補完などでは、AIは今も十分に効果を発揮します。一方で、クライアントとの長期的な関係性を踏まえた提案文の作成や、プロジェクト全体の方向性を判断するような作業では、AIへの過度な依存がかえって手戻りを増やすリスクがあります。
フリーランスとして収益を守るためには、「このタスクはAIが得意な領域か」を判断する自分自身の目を持つことが、今後ますます重要になってきます。ベンチマークスコアの高さよりも、自分の実際の業務フローの中で試してみた手応えを優先する姿勢が、賢いAI活用の第一歩と言えるでしょう。
まとめ
METRの調査は、AIへの期待と現実のギャップを数字で示した、信頼度の高い研究です。すぐに何か行動を変える必要はありませんが、「自分の業務でAIを使う場面をもう一度整理してみる」ことを試してみてはいかがでしょうか。短期・単発のタスクに絞ってAIを使うだけで、余計な修正コストが減り、体感的な生産性が改善するかもしれません。
参考：METR Benchmark Research（2026年6月公開）
コメント