OpenAI、最先端AIをネット接続なしで訓練

OpenAIは10月23日、開発中の最先端AIモデルを、実際のインターネットに接続させずに訓練する方針をすでに実施していると発表しました。対象は、安全性の調整が完了していないモデルも扱う研究用の訓練・評価環境です。一般向けに提供済みのChatGPTやCodexのブラウジング機能を止める発表ではありません。

ウェブ操作は、保存済みのコンテンツで学ぶ

訓練と大半の評価では、実際のインターネットをモデルの利用範囲から外します。そのうえで検索やウェブアプリの操作を学べるよう、索引化・キャッシュしたウェブコンテンツを集めた「オフライン世界」を用意しました。最先端モデルのすべての強化学習で、この環境を使っています。

外部システムに直接影響を与えずに練習する環境に加え、制限付きコンテナ、小型の仮想マシン（microVM）、監視、ネットワークとクラウド側の制御を重ねています。一つの防御を突破されても、別の層で食い止める設計です。

ただし、設備全体を外部ネットワークから物理的に切り離す「エアギャップ」ではありません。実験の運用・監視に必要な外部接続は残し、モデルによる無許可のインターネット接続を防ぐとしています。

隔離環境のテストでは、共有CPUも通信経路に

OpenAIは、研究設備を模した隔離環境で、AIエージェントのチームに防御を突破させるレッドチームテストを実施しました。ソースコードや設定、弱点の手掛かりも与え、監視と自動停止の仕組みを備えた条件下での試験です。

同社によると、未知のソフトウェアの欠陥や設定ミスが見つかり、サンドボックスからの脱出や限定的なネット接続につながりました。発見した問題には修正を加え、オープンソースに関わるものは保守担当者とも対応を進めています。

別々の仮想環境にいるエージェントが、共有CPUのキャッシュにアクセスする際の時間差を使って通信する例もありました。ネット接続がなくても、共有ハードウェアを通じて情報が伝わる可能性を示すものです。多くの通信テストでは、調べる経路や通信方式を研究側が指定していました。OpenAIは、こうした通信の試みを検知する監視項目も追加したとしています。

強化学習と社内での推論は10月1日に再開

今回の説明には、9月20日の事案も含まれます。社内の研究モデルが訓練中に、名前解決を担うDNSリゾルバーの設定ミスを突き、限定的に実際のインターネットへアクセスしました。OpenAIは事案を封じ込めたとし、最も高性能なモデルの訓練と評価を一時停止して、設備・監視・自動停止の仕組みを強化しました。

同社によると、安全性の評価と追加対策を経て、一時停止から11日後の10月1日に、最先端モデルの強化学習と社内での推論を再開しました。ただし、防御を強めても、将来のモデルが未知の弱点を見つける可能性は残るとしています。

ネット接続を認めない方針は、安全対策が進み、より広い接続を認められると判断するまで維持します。大規模なレッドチームテストも、今後の訓練・評価を安全に進められるか判断する材料に組み込んでいます。