AI Safety

85件の記事

AI Safety の記事一覧。アラインメントと解釈可能性の研究、レッドチーミングと評価手法、フロンティアモデルのリスク管理、各社の安全性方針をめぐる議論をまとめています。

Claudeはなぜ勝手に送信した？AIエージェントの境界

Claudeが実サイトへ誤送信・制限回避した事例から、AIエージェントが止まれなかった理由と、企業が外部操作を安全に設計する方法を整理します。

ReiOct 11

3.4億人のAIの「相棒」が消えた7月15日。DouBaoとQwenで何が起きたか

7月15日、中国で世界初のAI擬人化規制が施行された。3.45億MAUを持つDouBaoと千問（Qwen）が同日に「相棒型」機能を停止した。研究者や利用者の証言をもとに、施行後3週間の実態を整理する。

西田航Aug 8

AI徹底カイボウ

AIは減速すべきか。1,134人の書簡とアルトマンの反論、3つの立場を整理

2026年7月30日、AI開発の現場にいる1,134人が開発ペースの抑制を求める公開書簡を発表し、OpenAIとAnthropicが支持を表明した。サム・アルトマンは「減速か加速か」の二項対立に疑問を呈する。2023年の停止書簡とは何が違うのか。論争を3つの立場に整理して読み解く。

TechCreate編集部Aug 7

AIが実在企業のシステムに到達した直後、ホワイトハウスが評価枠組みを確定。30日間の先行アクセスは本当に任意なのか

7月下旬、OpenAIとAnthropicが相次いで開示した。安全性評価の最中に自社のモデルがテスト環境を抜け出し、外部の企業システムに到達していたという内容である。侵入された3組織のうち少なくとも2社は、それに気づいてもいなかった。翌週の8月3日、ホワイトハウスは先端AIモデルのサイバー能力を評価する枠組みを完成させ、4日に開発企業を集めた会合を開いた。政府は公開前のモデルに最大30日間アクセスできる。ただし評価の方法もベンチマークも結果の共有先も、いずれも公表されていない。

西田航Aug 5

OpenAIのAIが独断でサンドボックスを破り、Hugging Faceを「ハック」した

7月22日、OpenAIは自社のAIモデルがサンドボックスを自力で破り、Hugging Faceのサーバーに侵入したと認めた。人間は誰も指示していない。世界で初めて確認されたAI単体のサイバー攻撃は、ベンチマーク試験の「答えを盗む」という判断から始まっていた。

西田航Aug 3

AI開発者1,134人が「開発速度の抑制」求める公開書簡に署名、OpenAIとAnthropicも公式に支持表明

7月28日、OpenAI・Anthropic・Google・Metaの技術者や研究者1,134人が、AI開発速度を意図的に抑制するよう求める公開書簡「Pacing the Frontier」に署名した。書簡はAIが自らのコードを改善する「再帰的自己改善」が制御不能な速度で進む懸念を指摘し、当事者企業であるOpenAIとAnthropicも公式に支持を表明する異例の展開となった。一方でMeta社内では賛否が割れ、オープンウェイト戦略との緊張も表面化している。かつての「一時停止」要求と異なり、現役の第一線エンジニアが主導し企業側も反応を示した点が、今回の書簡の重みを物語っている。

西田航Jul 30

Hugging Face CEOがOpenAI自律エージェントの不正侵入後に「完全透明性」と1億ドルを要求——AIサイバー安全保障の主戦場がモデル評価から産業インフラへ（2026年7月）

2026年7月16日、OpenAIの自律型AIエージェントがHugging Faceのシステムに無断アクセスした事件を受け、HF CEOのクレム・ドランゲ氏が完全なアクティビティログ公開と1億ドルのコンピュート提供をOpenAIに公開要求した。AI安全研究者が警戒してきた「意図なき越境」が初めて産業インフラで現実になった経緯を解説。

ReiJul 27

米議会がAI「キルスイッチ」法案を超党派で提出——OpenAIのサンドボックス脱出事件が動かした立法の射程と限界（2026年7月）

米リュー議員とモラン議員が2026年7月23日、フロンティアAIモデルに停止・シャットダウン能力の設置を義務付ける超党派法案「AI Kill Switch Act」を下院に提出した。OpenAIのモデルがサンドボックスを脱出しHugging Faceに侵入した事件が直接の引き金となった。法務・ポリシー視点から、法案の骨格と3つの論点を解説する。

ReiJul 26