OpenAIは、Altmanが投資したセキュリティチームをひっそりと募集しましたが、スーパーアライメントとは関係ありません。

著者：赵健，甲子光年

OpenAIのチーフサイエンティスト、イリヤ・スツケバー（Ilya Sutskever）が退職を発表してから8日後、OpenAIは静かに安全関連のチームを一つ招募しました。

このチームは「Indent」と呼ばれ、アメリカ・カリフォルニア州に拠点を置くデータセキュリティのスタートアップです。5月23日、Indentの共同創業者でCEOのフアド・マティン（Fouad Matin）がXでOpenAIに参加し、安全関連の業務を担当することを発表しました。

両者は詳細を発表していませんが、IndentはおそらくOpenAIに完全に統合されるでしょう。Indentはそのウェブサイトで、「慎重に検討した結果、非常に困難な決定を下しました。Indentは今後数ヶ月以内に閉鎖されます」と発表し、「7月15日以降、サービスは停止します」と述べています。

特筆すべきは、OpenAIのCEOサム・アルトマン（Sam Altman）が2021年にIndentの560万ドルのシードラウンドの資金調達に関与しており、両者は古い知り合いであるということです。

最近、OpenAIは波乱が続いており、特にイリヤ・スツケバーの退職後に引き起こされた連鎖反応が注目されています。OpenAIの安全を担当するスーパーアライメントチームの共同リーダーであるジャーン・レイク（Jan Leike）も退職を発表しました。彼らが共同でリードしていたスーパーアライメントチームは昨年7月に設立されたばかりで、今や崩壊しています。

しかし、よく見ると、Indentチームの加入は安全チームへの新しい血液の補充ではありますが、スーパーアライメントチームとは全く関係がありません。

Indentチームの加入は、サム・アルトマンがOpenAIを徹底的な商業化企業に変えようとしていることをより明確に示しています。

1. Indentとは？

まず、Indentという会社について紹介します。

Indentは2018年に設立され、データセキュリティ関連の業務を行っています。彼らが提供するサービスは非常にシンプルで、アクセス権の承認プロセスを自動化するものです。

例えば、エンジニアが生産サーバーログを確認する必要がある場合や、顧客サポートが敏感なシステムの管理者権限を必要とする場合、彼らはIndentのアプリケーションを使用してアクセス権をリクエストできます。IT部門の助けを借りる必要はありません。レビュアーはSlackを通じて通知を受け取り、そこから直接承認できます。そして、期限が来るとアクセス権は自動的に取り消されます。

Indentは、会社の全員にオンデマンドのアクセス管理を提供し、必要なときに必要なコンテンツにアクセスできるようにします。

一見シンプルなこのサービスは、重要なニーズを解決しています。チームの規模が拡大するにつれて、ますます多くの従業員が多くのサービスにアクセスする必要があり、これらのサービスの承認には数日、数週間、さらには数ヶ月かかることがあります。もちろん、承認プロセスを簡素化することは可能ですが、最も簡単な方法が必ずしも最も正しい方法ではなく、これはセキュリティ上の問題を引き起こす可能性があります。重要なビジネスが関与する場合、数時間以内に顧客に返信するのと数日後に返信するのでは、全く異なる結果をもたらします。

多くの企業は、異なるチームの重要なサービス、コラボレーション、または顧客データを処理するために少なくとも数十のアプリケーションを使用しており、各アプリケーションには数十の異なる潜在的な役割やサブ権限があります。これは簡単に制御を失うことになります。

Indentは、チームに民主的なアクセス管理と説明責任を実現するための最もシンプルで安全な方法を提供します。

2023年、大規模モデルの台頭に伴い、Indentはデータセキュリティの業務を大規模モデルの分野に拡大しました。

2024年3月、Indentの共同創業者でCEOのフアド・マティンは「価値百万ドルの人工知能エンジニアリング問題」という記事を発表しました。

彼は、モデルの重み、バイアス、そしてそれらを訓練するために使用されるデータが人工知能の王冠の宝石であり、企業にとって最も貴重な資産であると述べました。カスタムモデルの開発や既存モデルの微調整を行う企業は、エンジニアリング時間、計算能力、訓練データの収集に数百万ドルを投資します。

しかし、大規模言語モデルには漏洩のリスクがあります。彼はLlamaを例に挙げ、Metaは当初Llamaを完全にオープンソースにすることを考えていなかったが、いくつかの制限を設けたと述べました。しかし、誰かがそれを4chanに漏洩させました。Metaは仕方なくLlamaを完全にオープンソースにしました。

そのため、Indentはモデルの重み、訓練データ、微調整データのセキュリティソリューションを提案しました。

2. アルトマンとの深い関係

IndentとOpenAIの関係は長い歴史があります。

Indentには2人の共同創業者がいます。フアド・マティン（Fouad Matin）がCEOを務め、ダン・ギレスピー（Dan Gillespie）がCTOを務めています。

フアド・マティンはエンジニアであり、プライバシーの提唱者であり、ストリートファッションの愛好者でもあります。彼は以前、Segment社でデータインフラストラクチャ製品に従事していました。2016年、彼は他の人と共にVotePlzを設立しました。これは非党派の有権者登録および投票率向上のための非営利組織です。彼は人々が満足のいく仕事を見つける手助けをすることに情熱を注いでおり、以前にはYC W16プログラムを通じて推薦採用会社を設立しました。

ダン・ギレスピーは、最初の非Google社員としてKubernetesのリリースを管理し、プロジェクトの初期から定期的な貢献者でした。彼がK8sに入るきっかけとなったのは、協力的なデプロイメントツールの共同創業者兼CTO（YC W16）で、そこでMinikubeを構築しました。彼の会社はCoreOSに買収され、その後CoreOSはRedHatの一部となり、さらにIBMの一部となりました。

経歴から見ても、彼らは若い頃からYCとの関係が深いことがわかります。サム・アルトマンは2011年にスタートアップインキュベーターYCに投資し、2014年にはYCの社長に就任し、2019年までOpenAIのCEOを務めました。

2021年12月21日、Indentは560万ドルのシードラウンドの資金調達を発表し、リード投資家にはShardul Shah（Index Venturesパートナー）、Kevin Mahaffey（Lookout CTO）、Swift Venturesが含まれ、共同投資者にはサム・アルトマンと彼の弟ジャック・アルトマン（Jack Altman）が名を連ねました。

両者の密接な関係と、今後Indentが大規模モデルのセキュリティ分野に進出することは、IndentがOpenAIに統合されるための布石となりました。

3. Indentはスーパーアライメントに参加しない

Indentチーム全体を招募することは、OpenAIにとってスーパーアライメントチームの補充となるのでしょうか？答えは否定的です。なぜなら、これは全く異なる2つのチームだからです。

OpenAIの安全チームは実際には3つあります：安全システムチーム（Safety Systems）、準備チーム（Preparedness）、スーパーアライメントチーム（Superalignment）。

3つのチームの役割は、安全システムチームは現在のモデルの展開リスクに焦点を当て、既存のモデルやChatGPTなどの製品の悪用を減らすことに専念しています。準備チームは最前線のモデルの安全評価に専念し、スーパーアライメントチームはスーパーインテリジェンスの調整に専念し、より遠い未来におけるスーパーインテリジェンスモデルの安全性の基盤を築くことを目指しています。

安全システムチームは比較的成熟したチームで、安全エンジニアリング、モデル安全研究、安全推論研究、人間と機械の相互作用の4つのサブシステムに分かれています。エンジニアリング、研究、政策、AIコラボレーション、製品管理などの分野の専門家からなる多様な専門家チームが集まっています。OpenAIは、この人材の組み合わせが非常に効果的であることが証明されており、OpenAIが事前トレーニングの改善やモデルの微調整から推論時の監視と緩和に至るまでの広範なソリューションにアクセスできるようにしていると述べています。

準備チームは最前線の人工知能リスクの研究が必要なレベルに達していません。このギャップを埋め、システム的に安全思考を促進するために、OpenAIは2023年12月に「準備フレームワーク」と呼ばれる初期バージョンを発表しました。これは、OpenAIがますます強力なモデルがもたらす壊滅的リスクを追跡、評価、予測、そして防ぐプロセスを説明しています。

OpenAIはまた、技術的な作業を監督し、安全な意思決定の運営構造を確立するための専用チームを設立すると述べています。準備チームは、最前線のモデル能力の限界を検査し、評価し、総合報告を行うために技術的な作業を推進します。OpenAIは、すべての報告をレビューし、同時にリーダーシップと取締役会に送信するためのクロスファンクショナルな安全コンサルティンググループを作成しています。リーダーシップは意思決定者ですが、取締役会はその決定を覆す権限を持っています。

スーパーアライメントチームは2023年7月5日に設立されたばかりの新しいチームで、2027年までに人間よりもはるかに賢い人工知能システムを導くための科学と技術を用いることを目的としています。OpenAIはこの作業に会社の20%の計算リソースを投入すると宣言しています。

スーパーアライメントに関しては、まだ明確で実行可能な解決策はありません。OpenAIの研究方法は、すでにアライメントされた小さなモデルを使用して大きなモデルを監視し、その後小さなモデルの規模を徐々に拡大してスーパーインテリジェンスをアライメントし、全プロセスをストレステストすることです。

OpenAIのスーパーアライメントチームはイリヤ・スツケバーとジャーン・レイクが共同でリードしていましたが、現在彼らは退職しています。メディアの報道によれば、彼らの退職後、スーパーアライメントチームは崩壊しています。

Indentチームはスーパーアライメントチームに参加するのではありません。IndentチームがXで発表した情報によれば、彼らが参加するのはOpenAIの準備チームであり、最前線のモデルの準備から顧客のデータ管理を担当します。

これは、OpenAIが最前線のモデルへの投資を強化していることを意味します。

最近、フランス・パリで開催されたVivaTechサミットで、OpenAIの開発者体験責任者ロマン・ユエ（Romain Huet）が発表したPPTには、OpenAIの次の新モデル「GPT Next」が2024年の後半にリリースされることが明らかにされました。

画像はOpenAIがVivaTechで共有したPPTからのものです。

OpenAIの今後の作業の焦点は、この新モデルの能力と安全性にある可能性が高いです。

4. OpenAIの「原罪」

スーパーアライメントチームの解散、Indentチームの加入を一連の関連イベントとしてつなげると、唯一の結論が導き出されます：OpenAIはモデルの実装と商業化を加速しています。

この点は、スーパーアライメントチームの責任者ジャーン・レイクの退職声明の中で既に公にされています。

ジャーン・レイクは、次世代モデルの準備にもっと多くの帯域幅を費やすべきだと考えており、安全性、監視、準備、対抗的堅牢性、超一貫性、機密性、社会的影響などの関連テーマを含めるべきだと述べていますが、過去数ヶ月間、彼のチームは「計算リソースに苦しんでいた」------最初に約束された20%の計算リソースすら満たされていなかったのです。

彼は、OpenAIの安全文化とプロセスがもはや重視されておらず、華やかな製品が好まれていると考えています。

これに対し、OpenAIの社長グレッグ・ブロックマン（Greg Brockman）の長文の反応の中には、次のような一言があります：

私たちは、このような（ますます強力な）システムが人々に非常に有益で役立つものであり、安全に提供できる可能性があると考えていますが、それには多くの基盤作業が必要です。これには、訓練中に何に接続するかの慎重な考慮、スケーラブルな監視などの課題を解決するためのソリューション、そして他の新しい安全作業が含まれます。私たちがこの方向に向かって構築する中で、製品をリリースするための安全基準に達するのがいつになるかはまだ不明ですが、もしそれがリリーススケジュールの遅延を引き起こすなら、それでも構いません。

前述のように、OpenAIはスーパーアライメントチームを設立する際に、人間よりもはるかに賢いスーパーインテリジェンスシステムを導くためのタイムラインを2027年に設定しました。グレッグ・ブロックマンの反応は、このタイムラインを変更することに相当します------「もしリリースが遅れても構いません。」

強調すべきは、OpenAIが安全を軽視しているわけではありませんが、明らかに安全に対する重視には条件が付いています------すべての安全は実行可能なモデル、商業化可能な製品を前提としなければなりません。明らかに、リソースが相対的に限られている前提の下では、OpenAIでさえ選択をしなければなりません。

サム・アルトマンは、より純粋な商人としての道を選ぶ傾向があります。

安全と商業化は矛盾するのでしょうか？世界の他のすべての企業にとって、これは矛盾ではありません。しかし、OpenAIはその例外です。

2023年3月、GPT-4がリリースされた後、イーロン・マスクは魂の問いを投げかけました：「私は混乱しています。私は1億ドルの非営利団体に寄付しましたが、どうしてそれが300億ドルの営利団体になったのでしょうか？」

OpenAIの内部での騒動が発生した際、外部では矛盾の引き金がここから生じたことをある程度予測していました。今年3月8日、調査結果が発表された後、OpenAIは公式発表の中でサム・アルトマンの復帰を伝えるだけでなく、「新しい企業ガバナンス基準を採用する」、「OpenAIの利益相反ポリシーを強化する」などの重要な改善を行うことを発表しました。

ただし、OpenAIのスーパーアライメントチームの解散まで、新しいポリシーは待たれました。これが多くの退職した従業員がOpenAIに失望する理由かもしれません。