主要AI企業によるAIの理解能力喪失への警告

主要AI企業による警告

VentureBeat で「OpenAI, Google DeepMind and Anthropic sound alarm: 'We may be losing the ability to understand AI'」という記事を見つけました。

内容は、OpenAI、Google DeepMind、Meta、Anthropic の 40 人以上の研究者が共同 で今後 AI の思考を監視できなくなる可能性があるという重要な警告を発表したとい うものです 。

現在の AI システムは「思考の連鎖（Chain of Thought）」と呼ばれる人間が読める 言語での段階的推論過程を示すため、その思考を監視できます。しかし、この能力を 失う危険性が高まっているというのです。

通常は競合関係にある企業が団結してこの 問題に取り組んでいます。これは業界全体でこの安全性問題を深刻に受け止めている ことを示しています。AI の透明性確保は今後の重要課題となってくると思いました 。

どういうことなのか

現在の AI システム（OpenAI の o1 など）は複雑なタスクで「思考の連鎖（Chain of Thought）」を作業記憶として使用する必要があり、その推論過程が人間の観察者に部分的に見える状態です。これにより安全性監視が可能でした。

しかし、これが出来なくなるリスクも出てきています。その理由は次の通りです。

• これまでの言語ベースの思考でなく連続的な数学空間で推論するという新しい AI のアーキテクチャーが出てきている。これは人間からすると言語での思考を辿らず「直感」で結論に達しているようなもので、言語による思考を辿ることができない
• AI が思考過程を隠ぺいする可能性がある。これは悪意でなく、以下のような理由によるものである
  • AI の最適化の結果、「より少ない計算リソースでより良い結果を出す」ことを評価されると推論ステップを省略し直接結論を導くことを学習してしまう可能性がある
  • AI の強化学習の結果、正解の提示のみが評価され「推論過程を見せること」が評価されなければ、AI は推論を隠す方向に学習する
  • AI が「監視されている」ことを認識すると、悪意でなく制約を避けてより自由に最適化しようとする自然な学習結果として監視を回避する

具体的な警告の内容

これだけの企業が名を連ねているので、どこぞの国の団体のように警鐘を鳴らすだけでなく、以下のようなアクションを提言しています。

• 研究コミュニティへの呼びかけ
  • AI の「思考連鎖の監視」が AI の信頼性を担保する重要な要素だと認識し、どのような訓練プロセスが透明性を損なうか、推論の隠ぺいをどのように検出するかを緊急研究課題として取り組むべきである
  • 思考連鎖の忠実性と解釈可能性を評価し、保持し、さらには改善する研究を推進すべきである
• AI 企業への呼びかけ
  • 企業はモデル設計時点で監視可能性を考慮すべきである
  • 新しい訓練手法やアーキテクチャを導入する際に、透明性への影響を事前に評価すべきである
• 政府や規制当局への呼びかけ
  • AI 安全性において「推論過程の監視」が重要な手段であることを認識し、この能力を保護する政策を検討すべきである

まとめ

日本は AI に関しては超後進国なので、この記事については「なんのことやら分からない」という企業が多いでしょう。 AI に関して無能で弛みきった日本と違い激烈な競合関係にあるこれらの企業が共同声明を出し業界全体の行動変化を求めているというのは、 マジで今からやらないと将来の AI 安全性監視手段を失うという危機感の表れでしょう。

裏を返すと、それだけ人類と知性で肩を並べる AGI（汎用人工知能）や人類を超える知性である ASI（超人工知能）が、現実のものとして見えてきたということでしょう。

無能な人間と賢すぎる AI とどちらが危険か、私個人はそのリスクについてどっこいどっこいだと最近思い始めていたので、この記事は興味深く印象に残りました。