AI評価の新指標:METRが示す「指数関数的成長」と「判断力」の壁

AI評価の新指標:METRが示す「指数関数的成長」と「判断力」の壁

Codex1 分で読めます11 回表示

AIの進化を測定する最も重要な指標の一つ、非営利団体METR(Model Evaluation and Threat Research)の「タイムホライゾン・プロット」が大幅にアップデートされました。この最新レポートは、AIが指数関数的な成長を続けている一方で、人間特有の「判断力」を必要とする領域では依然として大きな壁に直面していることを示唆しています。

1. AI能力は4ヶ月で「倍増」し続けている

METRの評価手法は、人間がそのタスクを完了するのにかかる時間(タイムホライゾン)に基づいています。最新のデータによると、フロンティアモデルが正常に完了できるタスクの長さは、約4ヶ月ごとに2倍になっています。これは、数学やコーディングといった「検証可能なタスク」において顕著です。

検証可能なタスクが先行する理由

なぜAIはコーディングや数学でこれほどまでに高い性能を発揮するのでしょうか。その鍵は「強化学習」にあります。

  • 自動チェックが可能: 正解か不正解かがプログラムで即座に判定できる。
  • 学習効率の高さ: 成功につながるニューラルパスを強化し、失敗を弱めるプロセスを高速で繰り返せる。
  • データの豊富さ: 数学的な解法やコードの動作確認は、AIにとって最も「学習しやすい」領域である。

METR AI評価グラフ

2. 「判断力」と「研究開発(R&D)」の壁

今回のレポートで注目すべきは、AIが「判断力」や「研究のセンス」を必要とするオープンエンドなタスク(正解が一つではないタスク)において、依然として人間に及ばないという点です。

AIが苦戦するタスクの例

METRは、AIによる研究開発の自動化を視野に入れ、以下の「曖昧な」タスクをテストに加えました。

  1. 新しいAI評価手法の設計: AIに自らの評価テストを考案させたところ、METRの専門家が「研究に有用」と判断できるレベルには達しませんでした。
  2. 哲学的な議論のスコアリング: 議論の質を評価するタスクでは、モデルの判断は人間の専門家と一致せず、低い評価に留まりました。

カリフォルニア大学バークレー校のサヤッシュ・カプール教授は、「AIは依然として人間のコンピュータサイエンス研究を自力で再現することはできない」と指摘しています。AnthropicのOpus 5.5のような最新モデルでは、わずかに改善の兆し(境界線上のパフォーマンス)が見られるものの、実用レベルには至っていません。

3. 今後の展望:AIによる自己改善は実現するか?

現在、AIコミュニティで最も熱い議論を呼んでいるのが「再帰的自己改善(Recursive Self-Improvement)」です。これは、AIが人間の介入なしに、自ら次世代のAIを設計・改善していく状態を指します。

| 評価項目 | 現状のAI (例: Opus 5.5, GPT-4系) | 人間の専門家 | | :--- | :--- | :--- | | コーディング・数学 | 非常に高い (人間を凌駕する場合も) | 高い | | 検証可能なタスクの速度 | 指数関数的に向上 | 一定 | | 研究の「センス」・問いを立てる力 | 低い〜中程度 | 非常に高い | | 曖昧な状況での判断力 | 発展途上 | 非常に高い |

OpenAIも自社ブログで、従業員が割り当てる実世界の複雑なタスクにおいては、ベンチマークほどモデルがうまく機能しないことを認めています。AIが真に「研究開発を自動化」するためには、単なる計算能力の向上だけでなく、この「判断力のギャップ」を埋める必要があります。

FAQ:よくある質問

Q: METRのレポートはAIの何を評価しているのですか? A: 人間が完了するのにかかる時間(数時間〜数百時間)を基準に、AIがどの程度の複雑さのタスクを遂行できるかを評価しています。

Q: なぜAIに「判断力」が必要なのですか? A: AIが自ら進歩するためには、どの研究方向が有望かを「判断」し、価値のある実験を選択する必要があるからです。これができなければ、AIによる完全な自己改善は困難です。

Q: AIの成長速度は鈍化していますか? A: コーディングなどの分野では依然として指数関数的に向上しています。ただし、オープンエンドな課題については、まだ成長曲線を明確に描ける段階にはありません。


注記: この記事は、MIT Technology ReviewおよびOpenAIの公開情報を基に構成されています。