安全分野におけるクラスター知恵：コミュニティ主導のバウンティと監査市場

著者：Ray，IOSG Ventures

前言

ブロックチェーンは大規模なコンピュータシステムとして、現在のシステムの複雑さは5年前のレベルをはるかに超えており、インフラストラクチャのモジュール化の程度はさらに細かくなり、アプリケーション層のスマートコントラクトのロジックはますます豊富になり、コントラクト間の相互作用も非常に頻繁です。さらに重要なのは、ブロックチェーンシステムが管理する資産の量が非常に膨大であるため、最近のブロックチェーンセキュリティコミュニティではセキュリティサイクルに関する議論が増えてきました（状況は2017年と同じで、人々がセキュリティについて言及する際、開発者がコントラクトを書き終え、イーサリアム財団の友人に一目見せて基本的なテストを行うことだけを考えていました）。

ブロックチェーンプログラム全体のセキュリティライフサイクルにおいて（テスト、第三者監査の招待、事後監視、監査の更新から）、バグバウンティコミュニティは、安全マットのようにゲーム理論や集団作業の方法でホワイトハットをプロジェクトのコードに対する最後のレビューを行うように引き付けます。また、スマートコントラクトのセキュリティ作業者は、バグバウンティが防衛線の最後の一人のように感じることもありますが、私はバグバウンティと監査コンペティションが将来的により大きな価値を発揮し、全体のセキュリティライフサイクルを通じてシステム全体のセキュリティを向上させる役割を果たす可能性があると考えています。

もちろん、従来のネットワークセキュリティ分野にもバグバウンティプログラム（Bug Bounty or Vulnerability Rewards）が存在します。まず、Facebook、Google、Microsoftなどの大手テクノロジー企業は、自社のインハウスセキュリティチームと自社の製品ラインに対してバウンティプログラムを展開します。次に、2015年頃からHackerOneやBugcrowdを代表とするバグバウンティの第三者プラットフォームが登場しました。現在、これらの2社のリーディングセキュリティ企業は、バウンティを発行して手数料を得ることで、年収がそれぞれ約5000万ドルと2000万ドルに達しています。一方、ブロックチェーンの世界では、バウンティはセキュリティサークルで頻繁に議論されるより興味深いトピックです。主な理由は、ブロックチェーンコードのオープンソース化がハッカーの攻撃と攻撃戦略のコストをさらに低くし、加えてクリプトの世界では集団作業が非常に奨励され、クリエイターと所有権経済のオープンな貢献モデルがあるため、よりオープンなホワイトハット経済モデルがより価値を持つようになっています。

バグバウンティと監査コンペティションとは何ですか？なぜそれらが必要なのですか？

セキュリティは攻撃者と防御者の動的なゲームのプロセスです。コンピュータセキュリティの専門家であるブルース・シュナイアーが言うように、「セキュリティはプロセスであり、製品ではありません。それは思考の方法であり、ソフトウェア開発プロセスのあらゆる側面に浸透しなければなりません。」ブロックチェーンの世界では、すべてのコードがオープンソースで透明な暗い森の中で、長期的に生存したいブロックチェーンプロジェクトは、自社の製品/コントラクトのセキュリティに対して永遠の需要を持つことは必然です。ほとんどのブロックチェーン製品は多かれ少なかれ金融的な属性を持ち、金融において最も重要な資産は信頼であり、ユーザーの信頼は一度きりです。

従来の監査の不足と問題はどこにあるのでしょうか？コミュニティ主導のバグバウンティと監査コンペティションは、これらの問題をどのように補完できるのでしょうか？

監査サービスを利用する開発者はしばしば次のことを発見します：

• 第三者監査会社のサービスを購入しても、コードが監査された後に問題が発生することがあります。これらの問題の原因はさまざまですが（技術的なものと非技術的なもの）、最終的には監査会社に依存することは完全に信頼できるわけではないことを示しています。コード監査の質は監査者のレベルに依存し、顧客は「誰がより良いか」を判断する能力に欠けることが多いです。
• バウンティプラットフォームと監査コンペティションは、よりオープンな「サンドボックス」として、プロジェクトコードをホワイトハットが自由にレビューできるようにします。背景は制限されず（専門の監査会社の人員やフリーランスのセキュリティアナリストが含まれる可能性があります）、武器庫も制限されません。顧客がすべきことは、合理的な報酬を設定し、ホワイトハットが問題を見つけたときに彼らの貢献に対して支払うことです。
• 通常、顧客はホワイトハットにレビューしてもらう必要があるコードを提出し、脆弱性のセキュリティレベルを定義します（通常、経済的損失の可能性に関連し、経済的損失を直接引き起こす可能性が高い脆弱性は深刻度が高くなります）、報酬の予算、テストのコード範囲、さらにはテスト手順を定義します。

市場規模はどのくらいですか？

バウンティプラットフォームと監査コンペティションのビジネスモデルは、通常、顧客が支払うバウンティの一部または設定された総バウンティプールから一定の割合をプラットフォームのサービス料として抽出します。コードセキュリティ監査のニーズがある顧客（プロジェクト側）は、自身のニーズ（どのコードが監査される必要があるか、脆弱性の深刻度をどのように定義するか、どれだけの報酬を支払う意向があるか）に基づいてバウンティプラットフォームで計画を公表し、ホワイトハットはプロジェクト側のニーズに基づいて脆弱性を探します。一旦脆弱性がホワイトハットによって見つかり、プロジェクト側のニーズを満たすと、報酬がホワイトハットに支払われ、バウンティプラットフォームはその中から手数料を抽出します。

Web2の従来のネットワークセキュリティ分野では、バグバウンティプラットフォームも比較的新しい方向性です（2012年以降に登場）。現在、最大のバグバウンティプラットフォームはHackerOneとBugcrowdです。2022年、HackerOneの年収は5800万ドルに達し、会社の評価額は約5億ドルに達し、歴史的に累積支払われたバウンティは2.3億ドル（2021年、2022年の2年間で1.5億ドル支払われました）、65,000以上のソフトウェア脆弱性が発見され、登録されたハッカーの数は100万人を超え、毎月HackerOneのサービスを利用する顧客の数は1000社を超えています。一方、競合のBugcrowdは2022年に2000万ドルを超える収入を上げました。

Web3のセキュリティ分野では、2022年にすべてのweb3バグバウンティと監査コンペティションプラットフォームがホワイトハットハッカーに5000万ドルの報酬を支払いました。この種のプラットフォームの平均料金は10%〜30%程度であるため、保守的に見積もると現在の市場規模は$5m〜$15m程度であり、非常に新興の市場です。

もう一つ興味深いことは、ますます多くの顧客がこのような分散型セキュリティコミュニティが提供するコード監査サービスを直接利用することを望んでいることです。最も有名な例は、Openseaが新しいプラットフォームSeaportを立ち上げる前に、従来のように第三者監査会社を直接探すのではなく、現在最大の分散型監査コンペティションプラットフォームCode4Renaを選び、100万ドルのバウンティプールを設定したことです。従来のセキュリティ監査市場がますます競争が激化する中で（人材、技術ツール、市場BDの競争）、分散型のセキュリティサービスがこの市場の重要な増分となるのでしょうか？（現在市場には56社の監査会社があり、トップ企業の昨年の年収は1000万ドル〜4000万ドルであり、分散型セキュリティ市場の想像の余地は非常に大きいと考えています）。

バグバウンティプラットフォーム vs 監査コンペティションプラットフォーム

バグバウンティプラットフォームはWeb2でも10年の発展の歴史がありますが、監査コンペティションプラットフォームはWeb3ネイティブの新しい概念です。監査コンペティションサービスの対象は、製品を間もなく立ち上げるプロジェクトや新機能を追加するプロジェクトであり、分散型コミュニティの力を借りて特定の期間（2週間以上）で監査サービスを完了するのを助けます。この観点から、監査コンペティションは従来の監査会社にとってかなりの商業的脅威をもたらすでしょう。

以下に、参加方法、報酬構造、テストのカバレッジの範囲の3つの側面から、これら2つのプラットフォームの違いを示します：

参加方法

バグバウンティプラットフォーム（例：Immunefi）では、通常オープンなプロジェクトであり、誰でも参加できます。参加者は通常独立して脆弱性を探索し、報告することで報酬を得ます。同じ脆弱性を発見した2人がいる場合、先着順の原則に従い、最初に報告した人が報酬を受け取ります。

コミュニティ主導の監査コンペティションプラットフォーム（例：Code4rena、Sherlock）は通常、時間制限があり、参加者は特定の時間範囲内で脆弱性を探し、報告するために競争します。バウンティプラットフォームに比べて、チームワークが一部あります（各プロジェクトには明確にリードシニア監査員とリードジャッジが割り当てられ、最終的にすべての監査結果をレビューし、整理して監査報告書を顧客に提出します。この2人のリーダーもコミュニティの選挙や競争の分散型原則に従います）。また、指定された時間内に2人の監査競争者が同じ脆弱性を発見した場合、両者が報酬を得ることができます。

報酬構造

両者が実際に発放する報酬は、発見された脆弱性の深刻度を主に考慮します。

唯一の違いは、Code4Renaのようなコミュニティ主導の監査コンペティションプラットフォームでは、各プロジェクトの報酬プールの一部（5%〜10%）がリードシニア監査員とリードジャッジに固定的に配分されることです。彼らは実際には従来の監査会社のプロジェクト責任者の役割を担っています。

もう一つの興味深い点は、バグバウンティプラットフォームでは、プロジェクト側が時折プロジェクトトークンを報酬として提供することがありますが、コミュニティの中には、価格変動のあるプロジェクトトークンよりもUSDCやUSDTのようなステーブルコインを好むホワイトハットハッカーもいることです。

範囲と重点

バグバウンティプラットフォームのプロジェクトは通常広範囲ですが、監査コンペティションのプロジェクトは通常、特定の機能や側面に焦点を当てており、ホワイトハットが短期間で集中して作業を完了する必要があります。

監査コンペティションに特化したプロジェクト

Code4Rena - eスポーツのようなコミュニティ主導の監査コンペティションプラットフォーム

Code4Renaには3つの役割タイプがあります：

1. 監査員（Wardens）はコードを監査します。専門のセキュリティエンジニアから、より多くの経験を得ようとする初心者の開発者まで、誰でも監査員として登録し、公開監査コンペティションに参加できます。

2. 評価者（Judges）は通常、C4コミュニティの中で最も優れたエンジニアです。彼らは脆弱性の深刻度、有効性、質を決定し、監査員のパフォーマンスを評価します。

3. スポンサー（Sponsors）はプロジェクト側であり、Opensea、Blur、ENS、Chainlinkなどが含まれ、彼らのプロジェクトのコードを監査するために監査員を引き付けるために報酬プールを作成します。スポンサーは、プライバシーを高めるために招待制のプライベートコンペティションを開催することも選択できます。

最も興味深い点は、Code4Renaが築こうとしている文化です：協力とチームワークを奨励することです。従来のバグバウンティプログラムとは異なり、Code4Renaは有効な脆弱性を報告したすべての監査員に報酬を支払います。この方法で、監査員間の健全な競争を促進し、彼らは高い深刻度と一般的な脆弱性を探す動機を持ちます。このプラットフォームでは、一部の監査員グループが一時的なチームを作り、共同で脆弱性を探します。

ビジネスモデル：

どのプロジェクトもCode4renaで監査コンペティションプログラムを開始し、USDCまたはETHを提供して基本的な報酬プールを設定できます（通常、報酬プールの規模は$40,000〜$100,000です）。Code4renaは、基本的な報酬プールから20%をプラットフォームのサービス収入として、競技の組織、評価、監査結果の報告書の整理を提供します。プロジェクト側は、基本的な報酬プールの上にプロジェクトトークンを提供して追加の報酬プールを設定することもでき、Code4renaはこの追加の報酬プールから40%の手数料を徴収します。

Sherlock - スマートコントラクト保険を提供するコミュニティ主導の監査

Code4renaと同様に、Sherlockにも監査員、スポンサー、評価者などの役割がありますが、Sherlockの独自性はプラットフォームが提供する保険サービスにあります。誰でもSherlockプラットフォームの保険プールに投資でき、投資家はUSDCを保険プールに預け、プロトコルの顧客はサービスを購入してスマートコントラクトがハッキングされるリスクをヘッジできます。保険投資者の収入源には、プロトコル顧客が支払う保険料 + 保険プールの資金を他のDeFiプール（Aave、Compoundなど）に預けることで得られる利息 + Sherlockトークンのインセンティブが含まれます。しかし、投資者は利益を得る一方で保険契約のリスクを負います。

Code4renaとは異なる点は、プラットフォームが提供する監査サービスの収益配分メカニズムです。Code4renaと比較して、Sherlockには首席シニアセキュリティ監査員と首席評価者が報酬プールから固定の金額（5%〜10%）を得ることを許可するルールがあります。これにより、専任のシニア監査員に適切に補償とインセンティブを提供します。また、リーダーシップの役割を選択し競争する制度もあります。

ハッカーコミュニティを構築するには？Web3のホワイトハットが最も関心を持つことは何ですか？

私たちは、さまざまな分散型セキュリティコミュニティ（ImmuneFi、Hats Finance、Code4Rena、Sherlockなど）を観察し、一部のセキュリティ起業家と話した結果、すべての分散型プラットフォームが目指しているのは、より健康的で効率的なコミュニケーションと協力のプラットフォームを構築することだと考えています。バウンティプラットフォームは、ハッカーとプロジェクトの間のマーケットプレイスのようなものであり、彼らはハッカーの視点から彼らのニーズ（以下の表のように）を考慮する必要がある一方で、プロジェクト側が最も関心を持つこと（監査の質）も考慮する必要があります。

出典: 《Bug Hunters' Perspectives on the Challenges and Benefits of the Bug Bounty Ecosystem》

一般的なニーズに加えて、Immunefiのホワイトハットコミュニティ（私は最も活発なホワイトハットのDiscordコミュニティを見ました）では、いくつかの興味深いトピックも見られました。

例えば：

Rappieというホワイトハットは、以前に発見したプロジェクトの脆弱性を公開したいと考えており、遵守すべきコミュニティルールについて相談しています。（1. 修正された脆弱性のみを公開する。2. 公開する情報がプロトコルやそのユーザーに悪影響を与えないことを確認する。機密情報を保護すること、例えば、SQLインジェクションの脆弱性を修正した後に彼らの完全なデータベース情報を公開しないこと。3. 公開する前にプロジェクトチームにプライベートメッセージを送信することを確認する）。

Noam Yakovというホワイトハットは、あるバウンティプロジェクトの定義に疑問を持っています（これはよくあることで、通常、比較的深刻なセキュリティ脆弱性を発見した場合にのみ報酬を得られるため、プロジェクト側が脆弱性のセキュリティレベルをどのように定義するかはホワイトハットが非常に関心を持つ事柄であり、コミュニティでもこのような論争がよく聞かれます）。彼はUniwhalesのバウンティプロジェクトで、MEVの影響を深刻なセキュリティ脆弱性として定義することに疑問を持ちましたが、最終的にはこのような記述はすべてのMEVの状況に適用されないという意見が出ました。例えば、トキシックオーダーフローがプロトコルのプール資産を枯渇させる場合は、確実に深刻なセキュリティ事故と見なされます（したがって、安全レベルのフレームワークを定義することはしばしば不十分であり、通常はプラットフォーム内の仲裁者のような役割が実際の異なるケースに介入する必要があります）。

非常に興味深いトピック「Immunefiのようなバウンティプラットフォームに対するあなたたちの要求と期待は何ですか？」に対して、ckksecというホワイトハットは次のように答えました：1）彼らのような匿名の暗号ホワイトハットの労働収入について法的な明確化を手助けすること、例えば請求書を発行すること。2）プラットフォームはホワイトハットに対して評価システムを持つだけでなく、プロジェクトの質についても評価すべきです。なぜなら、ホワイトハットはしばしばプロジェクトの質を見極めるために時間を費やす必要があるからです。3）自分のプロフィールを開示することを望むホワイトハットに対して、プラットフォームは彼らのワークフローを表示できるようにし、またプラットフォームはプロジェクト側が受け取ったセキュリティ分析報告書の情報をより透明に示すことが望ましいです。

ホワイトハットに役立つツールは何ですか？

LLMs GPTの人気が高まる中、最近ではセキュリティ監査がAIに取って代わられるかどうかについての議論を頻繁に耳にします。私が話した経験豊富なセキュリティ専門家は、一般的にGPTが人間の知恵を直接置き換えることは難しいと考えています。一部の低いハンギングフルーツ（簡単に発見できる問題）は言語モデルで検出できるかもしれませんが、中高リスクの問題には専門家の参加が必要です。例えば、あるベテランのセキュリティ専門家は、データ分析や動的分析などのより複雑なテストには、プロトコルの実際のビジネスロジックに基づいて安全分析テストを行い、テストの期待目標属性を事前に定義する必要があるとフィードバックしています。最も難しい部分は、良好な属性を作成し、正しいテスト領域を定義することです。彼らのGPTに対する実験によれば、現在の段階ではGPTが人間を完全に置き換えることはできないと考えています。

もちろん、現在も比較的楽観的な結果が示されており、LLMがセキュリティ分析ツールの分析効率を大幅に向上させ、誤報率を低下させることができることが示されています。 https://twitter.com/HatforceSec/status/1671758690808913922

https://www.researchgate.net/publication/371758506Doyoustillneedamanualsmartcontract_audit。

このトピックについて、別の興味深い非技術的な視点から考えてみましょう。セキュリティ攻撃者と防御者の間には動的なゲームがあり、魔が高ければ道も高い。AIは相対的にセキュリティ攻撃者に助けをもたらすことができるのでしょうか？

人間中心のセキュリティ

人々はソフトウェアが冷たく、機械的で論理的なものであると習慣的に考えがちです。システムのセキュリティを向上させるには、分析技術やシステム防御レベルを向上させるだけで十分だと考えています。しかし、人々は経済的インセンティブや人間性の側面からセキュリティ問題を考えることが不足しています。オープンソースコードの暗い森の中で、私たちは合理的な人の仮定により適した分配システムを構築し、ブロックチェーンシステムのセキュリティに長期的に貢献することを望む人々を引き付けるための正の経済的インセンティブを構築する必要があります。

現在の従来のセキュリティ監査市場の状況は安定しており、ブランドの評判はこの分野の企業にとって最も重要な無形資産です。時間が経つにつれて、トップのセキュリティブランドの影響力と顧客の信頼度は着実に高まっていますが、従来のセキュリティ監査にも自身の問題があります（ビジネスモデルが単一で人力に依存しており、スケールアップ成長が難しいため、成長と監査の質の間でバランスを取る必要があります。一部の企業はこのようなボトルネックに直面し、ブランドの価値に影響を与えています）。

コミュニティ主導のセキュリティ監査コンペティションは革新的なビジネスモデルであり、現在2つの主要プラットフォームの顧客数は300を超え、徐々にPMFを見つけています。バウンティプラットフォームはセキュリティライフサイクルに良い補完を提供します。これらの分散型プラットフォームは特に効果的なトークンモデルを見つけていないものの、私たちはこの市場が将来的に規模のある成長を遂げることを非常に期待しています（なぜなら、集団の知恵はセキュリティ市場の攻防ゲームのシナリオに非常に適しているからです）。

コミュニティ主導の監査プラットフォームは、中央集権的な監査会社に脅威をもたらすのでしょうか？私たちは、彼らが良性の相互競争と相補的な関係になると考えています。短期的には、Code4renaのようなプラットフォームが一定のネットワーク効果を形成し、良好なトラックレコード（監査されたプロジェクトのハッキング率が低い）を示すことで、中小の中央集権的企業に一定の競争圧力をもたらす可能性がありますが、長期的には、これが中央集権的な監査プラットフォームとコミュニティ主導のプラットフォームとの商業的協力を促進する可能性があります。なぜなら、これにより中央集権的なセキュリティ監査プラットフォームの顧客群を拡大し、監査の質を向上させることができるからです（以前のWeb2の大企業が内部で独立して運営していたセキュリティバウンティプロジェクトが、後に第三者プラットフォームのHackerOneなどと協力する論理に似ています）。

コミュニティ主導のセキュリティプラットフォームが目指す方向は、よりDAO化されたものです（Fortaもこの範疇に入れることができます）が、現在のプロジェクトの実際の運営では、作業フローと経済的配分プロセスをより透明で公開する方法、プロジェクト側のプライバシーとセキュリティの考慮をどのようにバランスさせるか、チームワークと個人の貢献の関係をより明確に定義する方法、利益の対立が発生した場合により公平で専門的な視点から問題を解決する方法など、これらはすべてセキュリティDAOが直面する課題です。

参考文献:

1.《HackerOne Year Book》

2.《Bounty Everything - Hackers and the Making of the Global Bug Marketplace》

3.《An empirical study of vulnerability rewards programs》

4.《The 2022 Hacker Report》

5.《Productivity and Patterns of Activity in Bug Bounty Programs》

6. https://immunefi.com

7. https://bugrap.io/

8. https://hackenproof.com/

9. https://hats.finance/

10. https://code4rena.com/

11. https://www.sherlock.xyz/