Chatgpt

OpenAI 發布更新:實現實時跨音頻、視覺和文本推理

ChainCatcher 消息,据 Cointelegraph 報導,OpenAI 在 10 月對其模型進行了四項更新,幫助其 AI 模型更好地進行對話並提高圖像識別能力。第一項重大更新是實時 API,它允許開發人員使用單個提示創建人工智能生成的語音應用程序,實現類似於 ChatGPT 高級語音模式的自然對話。以前開發人員必須將多個模型"拼接在一起"才能創建這些體驗。音頻輸入通常需要在接收響應之前完全上傳和處理,這意味著語音相互對話等實時應用程序的延遲較高。借助 Realtime API 的流媒體功能,開發人員現在可以實現即時、自然的互動,就像語音助手一樣。該 API 運行在 2024 年 5 月發布的 GPT-4 上,可以實時跨音頻、視覺和文本進行推理。另一項更新包括為開發人員提供的微調工具,使他們能夠改進從圖像和文本輸入生成的人工智能響應。基於圖像的微調器使人工智能能夠更好地理解圖像,從而增強視覺搜索和物體檢測能力。該過程包括來自人類的反饋,他們提供了好的和壞的反應例子進行訓練。除了語音和視覺更新之外,OpenAI 還推出了"模型蒸餾"和"提示緩存",允許較小的模型向較大的模型學習,並通過重用已處理的文本來減少開發成本和時間。據路透社報導,OpenAI 預計明年收入將增至 116 億美元,高於 2024 年預計的 37 億美元。
ChainCatcher 與創新者共建Web3世界