OpenAI 悄悄招募了 Altman 投資的安全團隊，但與超級對齊無關

行業速遞

2024-05-28 11:19:19

薩姆·奧特曼選擇做一個純粹的商人。

分享至

微信掃碼

作者：趙健，甲子光年

在OpenAI首席科學家伊利亞·蘇茨克維（Ilya Sutskever）宣布離職8天後，OpenAI悄悄招募了一整個安全相關的團隊。

這個團隊名叫「Indent」，是一家位於美國加利福尼亞州的數據安全初創公司。5月23日，Indent的聯合創始人、CEO阿福德·馬丁（Fouad Matin）在X上宣布自己將加入OpenAI負責安全相關的工作。

雖然雙方並未宣布細節，但Indent這家公司大概率將全部併入OpenAI。Indent在其網站上宣布，"經過仔細考慮，我們做出了一個非常艱難的決定，Indent將在未來幾個月內關閉"，"7月15日之後服務將停止使用"。

值得一提的是，OpenAI CEO 薩姆·奧爾特曼（Sam Altman），曾在2021年參與了Indent 560萬美元的種子輪融資，雙方算是老相識了。

近期OpenAI風波不斷，其中備受關注的是在伊利亞·蘇茨克維離職後引發的連鎖反應，OpenAI負責安全的超級團隊的聯合主管簡·雷克（Jan Leike）也宣布離職。兩人共同領導的超級對齊團隊去年7月才剛剛成立，現在已經分崩離析。

然而，仔細一看就會發現，Indent團隊的加入雖然是對安全團隊新鮮血液的補充，但與超級對齊團隊卻毫無關係。

Indent團隊的加入更加明確了一件事：薩姆·奧爾特曼正在把OpenAI變成一家徹頭徹尾的商業化公司。

1.Indent是誰？

先介紹一下Indent這家公司。

Indent成立於2018年，從事數據安全相關業務，它所提供的服務也很簡單------自動化處理訪問權限的審批流程。

比如，當工程師需要查看生產伺服器日誌或客戶支持需要敏感系統的管理員權限時，他們可以使用Indent的應用程序請求訪問權限，而無需IT部門的幫助。審閱者可以通過Slack收到消息並直接從那裡批准，然後一旦時間到期，訪問權限就會自動撤銷。

Indent為公司中的每個人提供按需訪問控制，讓他們可以在需要時訪問自己需要的內容。

這項看似簡單的服務解決了一個重要的需求------隨著團隊規模的擴大，越來越多的員工需要訪問越來越多的服務，而這些服務的審批可能需要幾天、幾週甚至幾個月的時間。當然可以簡化審批流程，但最簡單的方法往往不是最正確的方法，因為這可能帶來安全問題。如果涉及到關鍵業務，在幾個小時內回覆客戶還是幾天內回覆客戶將會帶來完全不同的結果。

許多公司至少使用幾十個應用程序來處理不同團隊的關鍵服務、協作或客戶數據，每個應用程序都有幾十個不同的潛在角色或子權限，這很容易失控。

而Indent，就是為團隊提供最簡單、最安全的方式來實現民主化的訪問管理和問責制度。

2023年，在大模型興起之後，Indent將數據安全的業務順勢拓展到了大模型領域。

2024年3月，Indent聯合創始人、CEO阿福德·馬丁發表了一篇文章《價值百萬美元的人工智能工程問題》。

他提到，模型權重、偏差和訓練它們所用的數據是人工智能皇冠上的明珠，是公司最寶貴的資產。對於開發定制模型或微調現有模型的公司來說，他們會在工程時間、計算能力和訓練數據收集上投入數百萬美元。

但是，大語言模型存在洩露的風險。他以Llama舉例，Meta一開始並沒有考慮將Llama完全開源，而是做出一些限制。然而，有人卻將其洩露在了4chan網站上。Meta不得不順水推舟，將Llama完全開源了。

因此，Indent針對性地提出了模型權重、訓練數據、微調數據的安全解決方案。

2.與Altman淵源頗深

Indent與OpenAI雙方的淵源由來已久。

Indent有兩位聯合創始人，阿福德·馬丁（Fouad Matin）擔任CEO，丹·吉萊斯皮（Dan Gillespie）擔任CTO。

阿福德·馬丁是一位工程師、隱私倡導者，也是街頭服飾愛好者，他之前在 Segment 公司從事數據基礎設施產品的工作。2016年，他與別人共同創立了 VotePlz，這是一個非黨派的選民註冊和投票率非營利組織。他熱衷於幫助人們找到令人滿意的工作，此前他創立了一家通過 YC W16 計劃的推薦招聘公司。

丹·吉萊斯皮是第一個非谷歌員工管理 Kubernetes 發布的人，並且自項目早期以來一直是定期貢獻者。作為他進入 K8s 的起點，他是一家協作部署工具的聯合創始人兼 CTO（YC W16），在那裡他構建了 Minikube。他的公司被 CoreOS 收購，後來 CoreOS 成為了 RedHat 的一部分，隨後又成為IBM的一部分。

通過履歷可以看出，兩人早年間與YC關係緊密。而薩姆·奧爾特曼在2011年投入了創業孵化器YC，並2014年擔任YC總裁，直到2019年擔任OpenAI CEO。

2021年12月21日，Indent宣布獲得560萬美元的種子輪融資，領投方包括Shardul Shah（Index Ventures合夥人）、Kevin Mahaffey（Lookout 首席技術官）和Swift Ventures，而跟投方的豪華陣容中，就包括薩姆·奧爾特曼以及他的弟弟傑克·奧爾特曼（Jack Altman）。

雙方緊密的關係，以及日後Indent涉足大模型安全領域，為Indent併入OpenAI做好了鋪墊。

3.Indent並非加入超級對齊

將Indent一整個團隊招募至麾下，是OpenAI對於超級對齊團隊的補充嗎？答案是否定的，因為這是兩個完全不同的團隊。

OpenAI的安全團隊實際上一共有三個：安全系統團隊（ Safety Systems）、準備團隊（ Preparedness）、超級對齊團隊（Superalignment）。

三個團隊的分工為：安全系統團隊關注當前模型的部署風險，專注於減少對現有模型和ChatGPT等產品的濫用；準備團隊專注於前沿模型的安全評估；超級對齊團隊專注於協調超級智能，為在更遙遠的未來擁有的超級智能模型的安全性奠定基礎。

安全系統團隊是一個相對成熟的團隊，分為四個子系統：安全工程、模型安全研究、安全推理研究、人機交互，匯集了一支多樣化的專家團隊，包括工程、研究、政策、人工智能協作和產品管理等領域的專家。OpenAI表示這種人才組合已被證明非常有效，使OpenAI能夠接觸到從預訓練改進和模型微調到推理時監控和緩解的廣泛解決方案範圍。

準備團隊對前沿人工智能風險的研究遠遠沒有達到需要達到的水平。為了彌補這一差距並系統化安全思維，OpenAI在2023年12月發布了一個名為"準備框架"的初始版本，它描述了OpenAI跟蹤、評估、預測和防範日益強大的模型帶來的災難性風險的過程。

OpenAI還表示將成立一個專門的團隊來監督技術工作，並建立安全決策的運營結構。準備團隊將推動技術工作，以檢查前沿模型能力的極限、進行評估並綜合報告。OpenAI正在創建一個跨職能的安全諮詢小組，以審查所有報告並同時將其發送給領導層和董事會。雖然領導層是決策者，但董事會有權推翻決定。

超級對齊團隊是2023年7月5日剛剛成立的新團隊，旨在在2027年之前用科學與技術來引導和控制比人類聰明得多的人工智能系統。OpenAI宣稱會用公司20%的計算資源投入這項工作。

關於超級對齊還沒有明確可行的解決方案。OpenAI的研究方法是，用已經對齊的小模型來監督大模型，然後通過逐步擴大小模型的規模來逐步對齊超級智能，並對整個流程進行壓力測試。

OpenAI超級對齊團隊由伊利亞·蘇茨克維和簡·雷克共同領導，但兩人現在已經離職。據媒體報導，在兩人離職後，超級對齊團隊已經分崩離析。

Indent團隊並非加入超級團隊。根據Indent團隊在X上發布的信息，他們加入的是OpenAI的準備團隊，負責前沿模型的準備到客戶的數據管理。

這意味著OpenAI正在加大前沿模型的投入。

近期在法國巴黎舉辦的VivaTech峰會上，OpenAI開發者體驗主管Romain Huet展示的PPT裡，透露了OpenAI的下一款新模型"GPT Next"將在2024年晚些時候發布。

圖片為OpenAI在VivaTech分享的PPT，來自X

OpenAI接下來的工作重心，很可能就在這款新模型的能力與安全上。

4.OpenAI的"原罪"

超級團隊的解散、Indent團隊的加入，如果把一系列相關事件串在一起，只能得出一個結論：OpenAI正在加速追求模型的落地與商業化。

這一點，在超級對齊團隊主管簡·雷克的離職聲明中已經公開化了。

簡·雷克認為應該把更多的帶寬花在為下一代模型做準備上，包括安全、監控、準備、對抗穩健性、超一致性、機密性、社會影響和相關主題，但過去幾個月他的團隊"卻為計算資源苦苦掙扎"------連最初承諾的20%的計算資源也不能滿足了。

他認為，OpenAI的安全文化與流程已經不再受重視，而光鮮的產品備受青睞。

對此，在OpenAI總裁格雷格·布羅克曼（Greg Brockman）長篇大論的回應裡有這麼一句話：

我們認為這樣的（越來越強大的）系統將對人們非常有益和有幫助，並且有可能安全地交付它們，但這需要大量的基礎工作。這包括在訓練時它們連接到什麼的周到考慮，解決可擴展監督等難題的解決方案，以及其他新型的安全工作。在我們朝著這個方向構建時，我們還不確定何時能達到我們的安全標準來發布產品，如果這導致發布時間表推遲，那也沒關係。