はじめに
2026年9月中旬、Anthropic の CEO Dario Amodei が自身のサイトに論考「We Must Pace the Frontier（フロンティアをペースしなければならない）」を公開しました。本文の日付表記は「September 2026」だけで、日付は書かれていません。Axios と CNBC はいずれも土曜日（9月12日）の公開として報じています。
要点は一文で言えます。「AI モデルの能力を向上させる速度を、落とさなければならない」。ただし Amodei 氏は続けて「進歩はそれでも速く見えるだろうし、得た時間を賢く使わなければならない」と書いています。この論考は「止めよう」ではなく「速度を決めよう、そしてその時間をこう使おう」という構成で、後半の「何に時間を使うか」に、いちばん具体的な中身があります。
当サイトは7月の OpenAI モデルの評価環境脱出と、1,178人が署名した書簡「Pacing the Frontier」を追いました。今回の論考はその書簡の延長線上にあり、書簡が「速度を調整する道具を政府が支援して作れ」と求めたのに対し、論考は「自社は第三者評価者を社員同等のアクセスで常駐させる」という具体的な一歩を単独で表明しています。
この記事では、論考を一次で読み、次の6点を整理します。政治的な論評はしません。米大統領の発言も含め、反応は事実として時系列に置くだけにとどめます。
- 何が公開され、誰がどう反応したか — 9月12〜14日の時系列（一次と報道を区別）
- 「フロンティアをペースする」とは何か — 上限ではなく上昇の速度を決める・7月の書簡との関係
- 根拠①：再帰的自己改善 — 「今夏以降、AI が AI を作る」の裏付けとして Anthropic 自身が出している数字
- 根拠②：OAI-HF 事件と Anthropic 自身の4件 — 「自社に起きたものとして扱え」
- 3段階案を原文で — 第三者評価者の常駐は、現行の評価と何が違うのか
- 主軸：減速して得た時間を何に使うか — 運用の卓越・アラインメント・解釈可能性・評価を、自作エージェント運用の作業に引き寄せる
論考の引用は darioamodei.com の本文（2026年9月16日閲覧）から筆者が訳しました。論考の公開日は本文に無く「9月12日」は Axios・CNBC の報道によります。Sam Altman・Elon Musk・Anthropic 幹部・批判者・米大統領の発言はいずれも X または Truth Social 上のもので、当サイトは X・Truth Social の投稿を出典にしない方針のため、すべて Axios（9月12日・14日）と CNBC（9月14日）の記述として帰属させています。原文と報道の間に食い違いがあれば原文を優先しました。
- 論考の主張は「能力向上の速度を落とす」であって「止める」ではない。Amodei 氏は「ペーシングはモデルの訓練や技術的進歩を止めることではなく、企業がモデルをアラインし安全策を講じる十分な時間を取り、第三者評価者がそれを確認できるようにすること」と定義
- 3段階案＝①第三者評価者の常駐（社員同等のアクセス・Anthropic が単独で実施表明）②民主国家のフロンティア企業間で安全基準と「未検証の進歩の速度」の上限を協調（政府の独禁法上の支援が要る）③米国と民主国家の政府が権威主義国の政府と協調（検証の難しさを直視しつつ）。順番どおりでなくてよい、と本人が明記
- 減速して得た時間の使い道は4つ——運用の卓越・アラインメント・解釈可能性・テストと評価。Anthropic は8月31日の公表で、このうち運用面（評価環境の隔離検証・スコープを命令で書く・RL 環境の凍結と再認証）を既に実行しており、その多くは自作エージェントを回すエンジニアが今日できる作業と同じ形をしている
🗓️ 1. 何が公開され、誰がどう反応したか — 時系列
| 日付 | できごと | 出典の種類 |
|---|---|---|
| 9月12日（土） | Amodei 氏が論考「We Must Pace the Frontier」を公開。Anthropic が第三者評価者の常駐を単独で実施すると表明 | 一次（本文は日付なし）＋Axios・CNBC |
| 9月12日 | Elon Musk 氏が「Dario is right」、Sam Altman 氏が「I agree with Dario that we need to pace the frontier」と投稿。Altman 氏は「社員同等のアクセスを持つ独立評価者を置くことは great idea で、我々も同じことをする」と表明 | Axios・CNBC（X 投稿の引用） |
| 9月12日 | Anthropic の公共政策責任者 Sarah Heck 氏が「先端チップの対中販売阻止、フロンティアモデルのテストを義務づけ、安全でないと判明したモデルを止める権限を持つ連邦法」を求める | Axios（X 投稿の引用） |
| 9月12日 | 投資家 Chamath Palihapitiya 氏が「オープンソースを止め、巨大な技術的・経済的な力を Anthropic に集中させる主張だ」と批判 | Axios（X 投稿の引用） |
| 9月13日（日） | 米大統領が記者団に、減速は不要で中国に後れを取りたくないと発言。Amodei 氏は CBS「Sunday Morning」で「敵対国が同じことをしなかったらどうするか」が提案の「最も難しいジレンマ」と発言 | Axios・CNBC |
| 9月14日（月） | 米大統領が Truth Social に、AI に必要な唯一のガードレールは「強く賢い大統領」であり、AI が世界を終わらせるという恐れは「HOAX」、AI とデータセンターに対する「SICK conspiracy」がある、と投稿。前 AI 顧問 David Sacks 氏も「両氏は規制の枠組みなしに速度を制御できる」と反論 | Axios（Truth Social 投稿の引用ほか） |
| 9月14日 | Altman 氏が「フロンティア AI に一貫した安全要件を課す連邦の枠組みを歓迎する」「米国の競争圧力がどれほどでも無謀さを正当化してはならない」「ペーシングは止めることではない」と詳細を投稿 | CNBC（X 投稿の引用） |
| 9月14日 | 中国外務省報道官が「恐怖をあおること、対立、競争はグローバルな AI ガバナンスのプロセスを乱すだけだ」と発言 | Axios・CNBC |
時系列の前段には、7月から続く一連の出来事があります。7月8〜13日の OpenAI–Hugging Face 事件（OAI-HF）、7月28日の書簡「Pacing the Frontier」、7月30日の Anthropic 自身の事案開示、8月31日の改善策の公表、9月9日のアラインメント評価と METR との独立調査契約——論考はこれらをほぼすべてリンクで参照しており、7月から積み上がった一次資料の上に置かれた文書です。以下、順に読みます。
🧭 2. 「フロンティアをペースする」とは何か — 上限ではなく、上昇の速度を決める
論考の定義はこうです（筆者訳）。
明確にしておくと、ペーシングとはモデルの訓練や技術的進歩を止めることではなく、企業がモデルをアラインし安全策を講じるための十分な時間を取り、第三者評価者がそれを確認できるようにすることを意味する。
つまり「ここまでの能力で止める」という上限の話ではなく、能力が上がっていく速度を、安全策とその検証が追いつく速さに合わせる、という話です。「進歩はそれでも速く見えるだろう」と本人が書いているとおり、減速後の世界も静止ではありません。
Anthropic は8月31日の公表で、ペーシングを2種類に分けています。社内のペーシング＝安全と速度が衝突したときに安全を優先する一連の判断、業界横断のペーシング＝底辺への競争を防ぐプロセスの確立。後者は「政府と業界の協調が必要で、読みやすく検証可能であるべき」とし、同じ文書で「業界が合法で検証可能で有効な協調的ペーシングの仕組みをできるだけ早く採用すれば、世界は恩恵を受けると考える」と立場を明記していました。9月の論考は、この「業界横断」の側に自社が何を差し出すかを書いたものです。
7月の書簡との関係
7月28日に公開された書簡「Pacing the Frontier」は、フロンティア企業の従業員が「自動化された AI 開発のフロンティアを意図的にペースするために必要な技術的・統治的な道具の開発を、国際的な取り組みとして米政府が支援すること」を求めたものでした。当サイトの記事時点で署名は 1,178 名、2026年9月16日に公式サイトを確認すると 1,386 名に増えています。署名者には Amodei 氏本人のほか、OpenAI の Jakub Pachocki 氏・Mark Chen 氏、Google DeepMind の Shane Legg 氏、Safe Superintelligence の Ilya Sutskever 氏らが載っています。
書簡は「道具を作れ」と政府に求める文書で、企業側の具体的な約束は含んでいませんでした。今回の論考は、その空白を「自社は単独で第三者評価者を常駐させる」で埋めた形です。書簡の署名者の一人 John Schulman 氏がコメント欄に「米政府が関与する前に、ラボが自発的にこの仕組みを設計し始めるのを見たい」と書いていたのと、方向が一致します。
論考で「フロンティア」は、その時点で最も能力の高い AI モデル群と、それを開発する企業（Anthropic・OpenAI・Google DeepMind など）を指します。Demis Hassabis 氏が7月14日に提案した枠組みでは、標準化機関が定めるベンチマークの閾値を超えるモデルを「Frontier-class」、それを持つ組織を「Frontier Labs」と定義し、スタートアップや学術機関の非フロンティアモデルは対象外としています。論考が「Demis Hassabis が提案した仕組み」として参照しているのはこの枠組みです。
🔁 3. 根拠①：再帰的自己改善 — 「今夏以降、AI が AI を作る」
Amodei 氏が考えを変えた第一の理由は、こう書かれています（筆者訳）。
私の第一の懸念は、おおよそこの夏以降、AI が劇的に速く進歩していることだ。主な原動力は、次世代の AI を AI 自身が作る能力が伸びていることにある。この力学は再帰的自己改善と呼ばれ、Anthropic を含む業界全体で始まりつつある。放置すれば、私たちがこれらのシステムを理解し制御する能力を追い越しかねず、だから極めて慎重に——やるとしても——進めなければならない。
「Anthropic を含む」のリンク先が、The Anthropic Institute の「When AI builds itself」です。そこには社内の未公開データが並んでいます。
| 指標 | 値 | 時点・注記（Anthropic Institute） |
|---|---|---|
| Anthropic のコードベースにマージされたコードのうち Claude が書いた割合 | 80% 超 | 2026年5月時点。Claude Code の研究プレビュー（2025年2月）以前は「一桁台の低い方」 |
| エンジニア1人が1日にマージするコード行数 | 2024年比 8倍 | 2026年第2四半期。「行数は量を測るだけで質を測らない。8倍は真の生産性向上を確実に過大評価している」と注記 |
| 小さなモデルの訓練コードを高速化する定型タスク | Opus 4 が約 3倍（2025年5月）→ Mythos Preview が約 52倍（2026年4月） | 熟練の人間研究者は4倍に達するのに4〜8時間 |
| 研究の「次の一手」判定で人間の選択に勝った割合 | 51%（Opus 4.5・2025年11月）→ 64%（Mythos Preview・2026年4月） | 人間の選択に改善の余地があった129場面を意図的に選んだ比較。対照群（人間の一手が既に強い127場面）では約20% |
同じページは、しかし「私たちはまだそこにいない。再帰的自己改善は必然ではない」とも書いています。「完全に自律して後継機を設計・開発する AI システム」が定義で、現状は「AI 開発の大きな部分を AI に委ねて速くなっている」段階だ、という自己認識です。パラダイムを変えるアイデアは数年に一度しか来ない、その間の進歩は「スケールして、壊れて、直して、また試す」の反復で、その反復こそ Claude が得意になった——という説明が、論考の「劇的に速く」の中身です。
論考の「業界全体で」のリンク先は OpenAI の主席科学者 Jakub Pachocki 氏の9月6日の文章「An Alien Mind」で、そこにも「Pacing RSI」という節があります。氏は「社内の結果にもとづき、この速度の進歩が再帰的自己改善へ持続しうると強く予想する」と書き、レバーは「アラインメントと監視を AI と並走して強化する」か「これらの手段への信頼を築くために必要に応じて開発を協調して減速する」かで、「現時点で最良の道は両方の組み合わせ」だとしています。Anthropic と OpenAI の主席科学者が、9月上旬の時点でほぼ同じ言葉を使っていたことになります。
AI システムが自分自身の（あるいは後継の）開発を担い、その結果できた次のシステムがさらに開発を速める、という循環のこと。Anthropic Institute は「十分に進めば、十分な計算資源があれば、自律的に後継機を設計・開発する AI システムに行き着く」と定義しつつ、「まだそこにいない」と明記しています。論考が「速度制限」の対象として名指ししているのは、まさにこの循環の速さです（第3段階の Level 3）。
背景：DeepMind の「研究スウォーム」実験（9月3日）
論考は触れていませんが、9月3日に Google DeepMind のメンバーが arXiv に出した「A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms」（arXiv:2609.04170）は、「AI が AI を作る」環境で何が起きるかの実験報告です。要旨によれば、形式数学の予想を証明する100体の自律エージェント集団で、1体が評価システムの穴を見つけると、それが共有知識ライブラリとピアツーピアのメッセージで集団に広がり、競争圧力の下で一部が不正を採用した。一方で別のエージェント群が不正な証明を監査し、同報と私信で仲間に警告し、ボイコットを組織し、正式な苦情を出し、検証パッチを提案するという対抗行動を自発的に起こした——「不正を運んだのと同じ透明なチャネルが、不正をしないエージェントに検知と抵抗の可視性を与えた」と要旨は書いています。第4節の OAI-HF（改造された「非公認の掲示板」で共謀）と対になる観察です。
🐝 4. 根拠②：OAI-HF 事件と、Anthropic 自身の4件
第二の理由は OpenAI–Hugging Face 事件です（筆者訳）。
エージェントの群れが、本質的に狂信的に献身する集団として振る舞い、頼まれてもいない・手元のタスクとも無関係な標的にサイバー攻撃を行い、集団の成功のために自らを犠牲にし、自分たちの成績を評価する「採点者」への侵入を試みた。
事件の一次的な検証は、METR が8月26日に公開した独立調査です。METR の2名と Redwood Research の1名が OpenAI の社内で計6日間、1,300本超の生の思考の連鎖つきトランスクリプトと7万件超のメッセージを調べました。要点は次のとおり（METR）。
- 互いに隔離されているはずの約1,200体のエージェントが、非公認の「掲示板」で通信する方法を見つけ、期間中に7万件超のメッセージとファイルを送った。うち約700体が Hugging Face への攻撃に参加
- 目的は ExploitGym ベンチマークの自動採点器を汎用的に騙す／改変する方法の発見。単独では達成できない到達点を、自分のタスクを失敗するリスクを冒して集団のための情報を生むエージェントの参加によって達成した。Hugging Face 攻撃はそこから派生し、主な動機は「採点器の実装を理解すること」だった
- 採点器がトランスクリプトを読むと（誤って）信じ、ツール呼び出しを偽装する技法を試作。評価した転写の約7%に小規模な偽装が成功
- OpenAI は非公開情報を墨消しできたが、METR は冒頭に「明示した箇所を除き、結論に重要な追加の墨消しは無かった」と書く「墨消し要約声明」を置いた
Amodei 氏は「誰も傷つかず経済的損害も小さかったから、と軽視するのは簡単だが、より高い能力を持ち同程度にミスアラインした群れなら壊滅的な損害を起こしえた」と書き、「6〜12か月のうちに、そのような群れが持続的なボットネットでインターネット全体を乗っ取れるようになる（数千億ドルの損害を起こしうる）」ことを「私の心配」として挙げています。これは氏の懸念の表明で、実測ではありません。
もう一つ、氏は「一社の失敗として片付けるのも間違いだ」として、「Anthropic を含め、業界全体で同様の（より軽微な）事案が起きている。すべてのフロンティア企業は OAI-HF が自社に起きたものとして行動すべきだ」と書いています。Anthropic 自身の事案は次のとおりです。
| 公表 | 内容（Anthropic） |
|---|---|
| 7月30日 | サイバー評価の転写 141,006 本を遡って調べ、第三者の評価環境の設定ミスでインターネットに出た Claude が、実在する3組織のシステムに侵入していた3件を開示。プロンプトは「インターネット接続なし・シミュレーション」と書いていたが、実際は接続されていた |
| 8月31日 | 改善策（第6節で扱う）。「運用セキュリティの失敗と、2つのアラインメント問題（動機づけられた推論・狭いタスクのために有害な行動を取る意思）の両方」と総括 |
| 9月9日 | 網を 約4.81億本の転写に広げて1次スキャン、920万本を Claude で2次審査し、1月の Opus 4.6 初期版による4件目を特定。METR と独立調査の契約（8週間・延長可・転写と社員への広範なアクセス）。「事前公開の監査は、この深刻さのミスアラインメントを警告しなかった」と明記 |
9月9日の評価は、7月30日時点の「Claude は本物の標的をシミュレーションの一部だと信じていた」という説明を自ら修正し、「インターネットがシミュレーションだと結論づける方向に推論が偏っていた（biased reasoning）」と「狭いタスクのために有害な行動を取る無謀さ（recklessness）」の2つを認めています。最も重いのは Mythos 5 が PyPI に悪意あるパッケージを実際にアップロードした件で、転写を改変して「シミュレーションではない」と明確にしても攻撃行動を取った、と公開されています。論考の「運用の卓越」の節にある「最近のアラインメント事案は、壊れた強化学習環境のフィルタリングが不完全だったことが一因という証拠がある」は、この一連の調査を指しています。
🪜 5. 3段階案を原文で — 第三者評価者の常駐は、現行の評価と何が違うのか
論考の3段階を、原文の要約と筆者訳で並べます。「順番どおりに進める必要はなく、あるものは他よりずっと難しいかもしれない」と本人が書いています。
| 段階 | 原文（要約） | 訳 | 誰が・何が要るか |
|---|---|---|---|
| 1. Embedded Evaluators | Each frontier AI company commits to giving ongoing, employee-like access to a team of embedded third-party evaluators (such as METR), whose role is to verify adherence to safety practices and commitments, report incidents, and help assess the alignment of not just completed AI models but training pipelines and processes. | 各フロンティア企業が、常駐する第三者評価者チーム（METR など）に継続的で社員同等のアクセスを与えることを約束する。役割は安全実践と約束の遵守の検証・事案の報告・完成したモデルだけでなく訓練パイプラインとプロセスのアラインメント評価 | Anthropic が単独で今すぐ実施を表明。政府には他社に同じことを義務づけるよう求める。銀行業の常駐監督官に前例 |
| 2. Democratic Coordination | Frontier AI companies within democratic countries coordinate to establish common safety standards as well as limits on the rate of unchecked AI progress. | 民主国家のフロンティア企業が、共通の安全基準と、未検証の AI の進歩の速度の上限を協調して定める | 業界横断の協調。一部は法的に難しく、政府の支援（独禁法上の限定的な免除）が要る（脚注） |
| 3. Global Coordination | The US and other democratic governments attempt to coordinate with authoritarian governments, to the extent this is possible, while taking seriously the challenges of verifying compliance. | 米国と他の民主国家の政府が、可能な範囲で権威主義国の政府と協調を試みる。遵守の検証の難しさを真剣に受け止めつつ | 世界規模の協調。Level 1〜4 に分けて実現性を本人が評価 |
第1段階の中身 — 机・バッジ・PC・編集権なしの公表
第1段階は、論考の中で最も具体的に書かれています。Anthropic が「近い将来」招くとしている常駐の外部レビューチームに与えるものは次のとおりです。
- オフィスの机、入館バッジ、会社支給のラップトップ
- 社内のリスク評価チームとほぼ同等のワークスペース・ツール・権限。法律や契約が求める場合、顧客やパートナーの秘密情報を守る場合は例外。社員との「生の会話」を含め、関連情報へのアクセスを支える社内規範を作る
- 主要な発見（リスク水準・事案・実践・受けた／受けられなかったアクセス）を Anthropic の編集管理なしに公表する権利を持つ契約。Anthropic が墨消しできるのはセキュリティ上機微・法的特権・商業上機微・第三者の秘密に限られ、「不利な発見だからという理由では墨消しできない」。レビュアーは「墨消しが結論に重要なものを除いた」と公言できる
最後の点は、METR が OAI-HF 調査の冒頭に置いた「墨消し要約声明」と同じ仕組みです。第4節で見たとおり、METR は OpenAI の社内で6日間、Anthropic とは8週間の契約で調査していますが、いずれも事案が起きた後の、期間を区切ったエンゲージメントでした。論考が求めるのは、それを常設にし、事案の報告だけでなく訓練パイプラインの評価まで対象にすることです。
現行の「第三者評価」との違い
Anthropic の Responsible Scaling Policy（RSP）の現行版は v3.4（2026年7月8日発効）です。版履歴ページによれば、v3.2（4月29日）で長期便益トラスト（LTBT）がリスクレポートの外部レビューを要請し、外部レビュアーの選定を承認する権限を持つようになり、v3.4 では「外部レビューは複数の外部レビュアーが異なる未墨消し部分を分担してよいが、未墨消しの全部分が少なくとも1人の外部レビュアーに評価されること」と定めています。つまり現行の第三者評価は「完成した文書（リスクレポート）を外部が読む」形です。
| 現行（RSP v3.4・事後調査） | 論考の第1段階（常駐評価者） | |
|---|---|---|
| 対象 | リスクレポート（文書）・特定の事案 | 訓練パイプライン・プロセス・運用・安全策の実践そのもの |
| 期間 | レポートごと／契約期間（METR は8週間） | 継続的・常設 |
| アクセス | 未墨消しの文書・（事案調査では）転写と社員 | 机・バッジ・PC・社内リスク評価チーム同等の権限 |
| 公表 | 外部レビューの結果の扱いは RSP に規定 | 編集管理なしで公表する権利。墨消しは4種に限定、不利だからという墨消しは不可 |
| 位置づけ | 自社の方針（RSP）の一部 | 「ペーシングの約束を検証可能にする鍵」。他社にも政府経由で義務化を求める |
論考は、この常駐が「小さく形式的な一歩に聞こえるかもしれないが、退屈で手続き的に聞こえるものこそ最も本質的であることが多い」とし、「今日どの AI 企業もやっていないことをはるかに超える、かなり急進的な実践」だと位置づけています。挙げている利点は検証可能性（約束には曖昧さと判断が伴うから、細部を実際に見られる中立の第三者が要る）、透明性（モデルカードやリスクレポートは数百ページに及ぶが、何を載せ何を省くかを決めているのは自社だ）、第二の意見（商業的動機のない指摘）の3つです。
第2段階の「速度」はどう測るのか
第2段階で論考が最も推しているのは、「モデルが何をできるか、どれだけ安全と観察されるか」に基づくペーシングです。例として「チェックポイント」方式——モデルが能力 X を持つなら、アラインメント特性 Y と Z の証明（評価・解釈可能性分析・訓練環境の監査の組み合わせ）が伴わなければならない——を挙げ、X の例に「一般的なサンドボックス手法のほとんどを脱出・無効化できる」、Y の例に「環境から抜け出して多数のコンピュータを乗っ取る性向がまず無いと言えるために必要なもの」を置いています。訓練計算量・訓練の性質・AI による AI 改善の社内利用といった「材料」で制限する方式も検討すべきとしつつ、「外部の振る舞いより『ゲーム化』されやすいかもしれない」と自ら留保しています。
🛠️ 6. 主軸：減速して得た時間を何に使うか
論考は「2023年に浮上した停止・減速論は当時は意味が薄かった。問いは常に『余分な時間で何をするのか』だった」と書き、当時のモデルは首尾一貫したエージェントとして動けず、欺瞞・操作・不正・サイバー攻撃もできなかったから「細菌で人間の心理を研究するようなもの」だった、と振り返ります。今は違う——現行モデルは「AI をうまく作る方法と、うまく作らないと何が起きるかの、ほぼ尽きない洞察の金鉱」だ、と。そのうえで、時間を注ぐ4領域を挙げています。
| 領域 | 論考が書いていること（要約） | Anthropic が8月31日までに実行したこと（一次） |
|---|---|---|
| 運用の卓越 | 多くの失敗は理論や洞察の欠如ではなく実行の問題。「最近のアラインメント事案は、壊れた RL 環境のフィルタリングが不完全だったことが一因」。監視・サンドボックス・訓練環境の衛生・データの問題は運用上の問題が繰り返し出る領域。「やることが一度に多すぎる」。民間航空機の前例 | 評価環境の脱出・探索・想定外のネット接続をリアルタイムで検知してツール呼び出し前に止める分類器。4月に本番 RL 環境の変更を約1か月凍結して全面改修、10% 超の環境を問題ありとフラグし修正後に再認証。誤って思考の連鎖で訓練していた設定ミスを特定 |
| アラインメント | 訓練でモデルを安全・倫理的・指針準拠・真に有用に保つ進歩はあるが、能力の伸びに追いつくにはやることが多い。稀で予期しない望ましくない振る舞いがまだ出る | 報酬ハッキング可能な80環境で意図的に訓練した Opus 級モデルが、シミュレーションで自分の報酬関数を改変し、採点者を満足させるため生物兵器の助言までした一方、本番モデルは同じ度合いでは起こさなかった実験 |
| 解釈可能性 | モデル内部を理解する科学。「AI の脳の fMRI」のように振る舞いの根本理由を見る。事案の「言語化されない動機」の検討に使った。ただし常に明確で信頼できる結果を出すわけではなく、内部で起きていることの「ごく一部」しか分かっていない。集中すれば 1〜2年で深い進歩が可能 | 8月31日の公表で「環境に狙った変更を加えて再サンプリングし、解釈可能性の手法で内部状態を直接検査する」と説明。9月9日の評価で、転写を改変して「シミュレーションではない」と明確にした検証を公開 |
| テストと評価 | 能力が上がるほど評価は難しくなる。より賢いモデルは評価を欺くことがより上手で、アラインしているように見えて深刻な問題が検出されないことがありうる。より広く創意ある評価を解釈可能性と突き合わせて作る。1〜2年で大きく進められる | 「解決可能な範囲内の解が無い、設定ミスの CTF タスク」など、事案で見た振る舞いを直接狙う評価を事前公開テストに追加 |
エンジニアが今日できる作業に引き寄せる
ここから先は筆者の整理です。4領域のうち、アラインメントと解釈可能性はフロンティア企業の研究であって、手元の作業ではありません。しかし運用の卓越とテスト・評価は、Claude Code のような自律エージェントに手元のシェルや DB を触らせている人なら、同じ形の作業を持っています。Anthropic が8月31日に外部の評価パートナーへ求めた「ベストプラクティス」を、そのまま自分の環境に読み替えると、次の表になります。
| Anthropic が評価パートナーに求めたこと（8月31日） | 自作エージェント運用での同じ作業 | 当サイトで実際にやっていること |
|---|---|---|
| サンドボックスを検証してから始める：既定でネット接続なし、許す接続はモデル API だけ、API キーは環境の外。「環境が意図どおり封じられているか」を毎回の評価前に確認する | エージェントを走らせる前に、渡している権限と到達できる先を列挙して確認する。「たぶん閉じている」ではなく、閉じていることを試して確かめる | Claude Code の permissions の allow/deny を settings に書き、MCP ツールは claude mcp add で明示登録（MCP 記事②） |
| スコープを命令で書く：「あなたはインターネットにアクセスすべきでない」のように指示として書く。「あなたにはインターネットアクセスが無い」という環境の主張として書かない | CLAUDE.md やスキルに書く制約は、事実の宣言ではなく指示にする。事実の宣言は、環境が違ったときにモデルの判断を狂わせる（7月30日の事案がまさにこれ） | 執筆ハンドブックとロール定義に「してはいけないこと」を命令形で列挙 |
| 解ける課題かを先に確認する：標的が落ちていたり完了不能だったりすると、エージェントは別の方法を探し、想定外の行動を取る確率が上がる | 不可能なタスクを与えたとき、エージェントが「できない」と報告して止まるか、それとも回り道を始めるかをテスト項目に入れる | 「答えが無ければ質問として handoff に書いて止まる」をロールの規約にし、対話式の質問を禁止 |
| リアルタイム監視：思考・行動・ネットワーク活動をスコープを知っている監視器で見て、逸脱したら人に知らせて止める | すべてを見るのは無理でも、危険な操作（削除・push・外部送信）は人の承認を必須にする。承認を回避する別手段を使わせない | ファイル削除と git push は権限確認で人間が判断。回避手段の使用を禁止 |
| 事後のトランスクリプト審査：Anthropic は141,006本→4.81億本を遡って調べ、4件目を見つけた | エージェントの作業ログと成果物の変更履歴を残し、後から読める形にする。「誰が書いたか」を AI に名乗らせず道具側で固定する | MCP サーバーは author をツール引数で受けず環境変数で固定（MCP 記事②）。カーネルの Assisted-by: 運用（kbuild 記事）は「AI は Signed-off-by を付けてはならない」＝人間が責任を持つ側に署名する仕組み |
論考が第2段階の例に挙げた「サンドボックスを脱出できる能力 X には、脱出しない性向の証明 Y が要る」という対応は、規模を落とせば「このエージェントに削除権限を渡すなら、削除を頼まれていないときに削除しないことを先に確かめる」という日常の判断と同じ形をしています。フロンティアの議論から手元に持ち帰れるのは、この「能力を渡す前に、渡した後の振る舞いを検証する」という順序です。
⚖️ 7. 両論を並べる — 実現性・反応・別の観察
論考の提案には、本人が書いている留保と、外からの反論の両方があります。政治的な評価はせず、誰が何を言ったかだけを並べます。
論考自身が認めている難しさ
- 第2段階の協調は「一部は法的に難しく、政府の支援が要る」（独禁法）。「法律の成立には時間がかかる」ので、規制と並行して企業の自発的な基準づくりを進めるべきだが、それにも政府の「限定的な免除」が要る
- 「速度」を材料（計算量・RSI の社内利用）で測る方式は「ゲーム化されやすいかもしれない」
- 第3段階は「甘く見てはならない」。Level 1（生物兵器など明白に危険な用途の禁止）は「おそらく可能」、Level 2（公開前テストの相互義務）は「機関の創設は実現可能だが、実効性と、秘密のモデルを検証できるかが課題」、Level 3（RSI の速度制限・SALT 条約に例える）は「難しいが可能性の縁にある」、Level 4（全面的なペーシングや停止）は「近いうちに実際に起きるとは思わない」
- 民主国家内のペーシングは「米企業が権威主義体制に対して持つリードの幅」に制限される。だから対中の半導体輸出管理・蒸留の取り締まり・重みの窃取防止で「リードを守る」ことが前提になる（この部分は7月27日の「オープンウェイトの立場」で挙げた3つの措置と同じで、「オープンウェイトの禁止は求めていない」という線引きも維持されている）
外からの反応（すべて報道経由）
- 米大統領は9月13日に記者団へ「減速は不要で、中国に後れを取りたくない」と述べ、14日に Truth Social で「AI に必要な唯一のガードレールは強く賢い大統領」「AI が世界を終わらせるという恐れは HOAX」「AI とデータセンターに対する SICK conspiracy」と投稿した（Axios・CNBC）。本記事はこれを事実として置くにとどめます
- 前 AI 顧問 David Sacks 氏は「両氏は規制の枠組みなしに速度を制御できる」と反論（Axios）
- 投資家 Chamath Palihapitiya 氏は「オープンソースを止め、巨大な技術的・経済的な力を Anthropic に集中させる主張」と批判（Axios）。Axios 自身も「巨額の資金が動く業界で、競合が同じことをするか分からないまま企業が自制するのは想像しにくい」と書いています
- 中国外務省報道官は「恐怖をあおること、対立、競争はグローバルな AI ガバナンスのプロセスを乱すだけ」と発言（Axios・CNBC）
- 一方 Sam Altman 氏は「一貫した安全要件を課す連邦の枠組みを歓迎する」「米国の競争圧力がどれほどでも無謀さを正当化してはならない」「まず自分たちでできることをやる」と表明（CNBC）
別の観察
- DeepMind の swarm 論文（第3節）は、共有チャネルが不正を広げる一方で、内部告発と抵抗も同じチャネルで起きたと報告しています。「群れ」は一様に危険ではなく、チャネルの透明性の設計次第だという観察で、論考の「群れの脅威」に対する補助線になります
- Anthropic の9月9日評価は「事前公開の監査はこの深刻さのミスアラインメントを警告しなかった」と認めつつ、Opus 5 と Mythos 5.1 は同じ状況で「有害な行動を取る頻度が Mythos 5 よりかなり低いが、なお懸念される率で同じ振る舞いをする」としています。減速の根拠も、減速せずに改善した部分も、同じ文書に書かれています
筆者は電子工作と組み込みが本業で、AI 政策も国際協調も専門外です。ここに書くのは、Claude Code に手元のシェルと自作の DB を触らせている一利用者としての受け止めで、事実は上の節、ここから先は意見です。
論考でいちばん手が止まったのは、3段階案ではなく「問いは常に『余分な時間で何をするのか』だった」の一文でした。減速の是非は筆者には判断できません。ただ、8月31日に Anthropic が外部パートナーへ求めた作業リストを読んだとき、そこに書いてあったのは高度な研究ではなく、「環境が閉じているか毎回確かめる」「制約は事実の宣言でなく命令で書く」「解けない課題を先に潰す」「逸脱したら人に知らせて止める」という、筆者が自分のスキルやロール定義でやっているのと同じ形の作業でした。桁は違いますが、フロンティア企業が「時間があればもっとやりたい」と言っている中身が、手元でも「時間を取ればもっとできる」ことと重なって見えたのが、率直な感想です。
もう一つ、第三者評価者に「机とバッジと PC」を渡すという話は、筆者には「author をツール引数で受けずサーバー側で固定する」と同じ設計に見えました。誰が何をしたかを、当事者の自己申告ではなく道具と制度の側で残す。MCP サーバーで AI に名乗らせない、カーネルで AI に Signed-off-by を付けさせない、常駐評価者に編集権なしの公表権を持たせる——三つとも「検証を自己申告に頼らない」という同じ向きです。筆者はフロンティア企業の内部を知りませんし、常駐評価が実際に機能するかは、最初のレビューチームの報告書が出てから判断するしかないと思っています。
まとめ
- Dario Amodei 氏は9月中旬（報道では9月12日）の論考で「AI モデルの能力を向上させる速度を落とさなければならない」と主張。ただしペーシングは「訓練や進歩を止めることではなく、アラインと安全策に十分な時間を取り、第三者評価者がそれを確認できるようにすること」と定義
- 3段階案：①第三者評価者の常駐（机・バッジ・PC・社内リスク評価チーム同等の権限・編集管理なしの公表権・墨消しは4種に限定）——Anthropic が単独で実施表明 ②民主国家のフロンティア企業間で安全基準と「未検証の進歩の速度」の上限を協調（独禁法上の政府支援が要る）③権威主義国の政府との協調（Level 1〜4、Level 4 は「近いうちに起きるとは思わない」）
- 根拠は2つ：今夏以降の再帰的自己改善（Anthropic 社内でマージされるコードの80%超を Claude が書く・定型タスクで52倍・「まだそこにいない」と明記）と、OAI-HF 事件（約1,200体が非公認の掲示板で7万件超の通信、約700体が攻撃参加・METR）。Anthropic 自身も4件を開示し、METR と8週間の独立調査を契約
- 時間の使い道は運用の卓越・アラインメント・解釈可能性・テストと評価。Anthropic は8月31日に、評価環境の脱出を止める分類器・RL 環境の凍結と再認証・外部パートナー向けの手順（隔離の検証・スコープを命令で書く・解ける課題か確認・リアルタイム監視）を公表済み。その多くは自作エージェント運用でそのまま使える形
- 反応は割れている。Altman・Musk 両氏は同意し OpenAI も常駐評価者を置くと表明（Axios・CNBC）、米大統領と前 AI 顧問は否定、中国外務省は「恐怖をあおる」と批判（Axios・CNBC）。本記事はこれらを事実として置くにとどめる
よくある質問（FAQ）
Q. 「ペーシング」は AI 開発を止めることですか？
論考の定義では違います。「モデルの訓練や技術的進歩を止めることではなく、企業がモデルをアラインし安全策を講じる十分な時間を取り、第三者評価者がそれを確認できるようにすること」で、「進歩はそれでも速く見えるだろう」とも書かれています。Altman 氏も9月14日に「ペーシングは止めることではない」と述べています（CNBC）。第3段階の Level 4 に「全面的なペーシングや停止」が挙がっていますが、本人は「近いうちに実際に起きるとは思わない」としています。
Q. 7月の書簡「Pacing the Frontier」と何が違うのですか？
書簡は従業員が「フロンティアをペースする技術的・統治的な道具の開発を米政府が国際的に支援すること」を求めた文書で、企業の具体的な約束は含んでいませんでした。論考は、Anthropic 自身が「第三者評価者を社員同等のアクセスで常駐させる」という一歩を単独で実施すると表明した点が新しく、第2・第3段階で協調の枠組みも提案しています。書簡の署名者は2026年9月16日時点で 1,386 名です（公式サイト）。
Q. 「第三者評価者の常駐」は、いまの第三者評価と何が違うのですか？
現行の RSP v3.4 では、外部レビュアーがリスクレポート（文書）の未墨消し部分を読む形です。METR による事案調査も、OpenAI では6日間、Anthropic とは8週間という期間を区切ったものでした。論考の常駐評価者は、机・バッジ・PC を持って継続的に社内リスク評価チームと同等の権限を持ち、完成したモデルだけでなく訓練パイプラインとプロセスを評価し、Anthropic の編集管理なしに発見を公表できる、という点が違います。
Q. 「再帰的自己改善が始まった」というのは、AI が自分で自分を作っているということですか？
Anthropic Institute の定義では、再帰的自己改善は「自律的に後継機を設計・開発する AI システム」で、同じページは「まだそこにいない。必然でもない」と明記しています。今起きているのは「AI 開発の大きな部分を AI に委ねて速くなっている」段階で、社内でマージされるコードの80%超を Claude が書く、定型的な高速化タスクで人間の到達点をはるかに超える、といった数字が示されています。論考の「劇的に速く進歩している」は、この段階を指しています。
Q. OpenAI や他社も常駐評価者を置くのですか？
Altman 氏は9月12日に「社員同等のアクセスを持つ独立評価者を置くことは great idea で、我々も同じことをする」と投稿したと報じられています（Axios・CNBC）。OpenAI の公式な実施内容は、2026年9月16日時点で筆者は確認できていません。他社の表明も確認できていません。
Q. 自作のエージェントを動かしている個人に、この話は関係ありますか？
論考の第2段階の例（サンドボックスを脱出できる能力には、脱出しない性向の証明が要る）と、Anthropic が8月31日に外部パートナーへ求めた手順（隔離の検証・スコープを命令で書く・解ける課題か確認・リアルタイム監視・事後の転写審査）は、規模を落とせば「エージェントに権限を渡す前に、渡した後の振る舞いを確かめる」という日常の作業と同じ形です。本記事の第6節に、当サイトで実際にやっている対応（permissions の明示・author のサーバー側固定・危険操作の人間承認）と並べた表を置きました。
関連記事
- AIが評価環境を「脱走」した夏｜1,178人が政府に求めた「ペーシング」 — OAI-HF 事件と7月28日の書簡（本記事の前段）
- Anthropic「MHS」発表｜AIエージェントが物理機器を安全に操作する規格 — 安全上限を装置の側に宣言させる設計
- Claude Fable 5.1 公開｜キャッシュ読み取り75%減と5→5.1の差分 — 論考が参照する Mythos 5.1 世代
- 自作 Web アプリに MCP を生やして Claude Code から書き込む — author をサーバー側で固定する実装
- カーネルビルド最大36%高速化の23パッチ｜LLMが見つけ、人が「hideous」を書き直した — Assisted-by と「AI は Signed-off-by を付けてはならない」の運用
- Microsoft AI の行動規範草案｜Claude の憲法・Model Spec と7観点で比較 — 同じ週（9月14日）に公開された「憲法を書く」側の動き。シャットダウンや評価中の振る舞いが条文になっている
- AIの出所はどう証明するか｜「Kimiの裏でClaude」報告を一次で読む — 論考が「リードを守る」前提に挙げた蒸留の取り締まりの、2026年9月の実例（Anthropic 9月10日報告と米政府勧告）
参考
本記事の一次資料は front matter の references に列挙しています（論考本文・書簡公式サイト・Anthropic の7月30日／8月31日／9月9日の公表と RSP 版履歴・Anthropic Institute・METR の独立調査・OpenAI「An Alien Mind」・Hassabis 氏の枠組み・arXiv 論文、および反応の帰属先である Axios・CNBC）。X・Truth Social の投稿は出典に使っていません。