ChainCatcher のメッセージによると、TechCrunch の報道で、イーロン・マスクは Stagwell の会長マーク・ペンとのライブ対話の中で、現在の AI モデルのトレーニングは実世界のデータをほぼ使い果たしており、「私たちは人類の知識の蓄積の総和を使い尽くしました。これは昨年に起こりました。」と述べました。マスクは、前 Open AI のチーフサイエンティストであるイリヤ・サツケバーと同じ見解を持っており、彼は NeurIPS 機械学習会議で AI 業界が「データのピーク」に達しており、今後はモデル開発の方法を変える必要があると提案しました。マスクは、合成データが実データを補完する手段になると考えており、AI は生成と自己評価データを通じて自己学習を実現すると述べています。この傾向は、マイクロソフト、Meta、Open AI、Anthropic などのテクノロジー大手によって採用されており、マイクロソフトの Phi-4 モデルやグーグルの Gemma モデルは、実データと合成データを組み合わせてトレーニングされています。ガートナーは、2024年の AI および分析プロジェクトの約 60% のデータが合成生成されると予測しています。合成データの利点にはコスト削減が含まれます。例えば、AI スタートアップの Writer は、ほぼ完全に合成データに基づく Palmyra X 004 モデルを開発するのに約 70 万ドルを費やしましたが、同規模の Open AI モデルの開発コストは約 460 万ドルです。しかし、合成データにはリスクもあり、モデルの創造性の低下、出力の偏りの悪化、そして潜在的なモデルの崩壊が含まれます。特に、トレーニングデータ自体に偏りがある場合、生成結果にも影響を与える可能性があります。

ChainCatcher のメッセージによると、Cointelegraph が報じたところによれば、OpenAI の共同創設者 Ilya Sutskever は、バンクーバーで開催された NeurIPS 2024 大会で、AI の事前学習時代が終わりを迎え、AI 超知能時代が到来しようとしていると述べました。彼はデータを化石燃料に例え、インターネットデータの成長がピークに達し、計算能力の成長速度が利用可能なトレーニングデータの総量を超えていることを指摘しました。Sutskever は、AI の発展の次の段階は三つの主要な方向性によって主導されると予測しています：自律型 AI エージェント、合成データ、推論時の計算。