隨著ChatGPT和其他人工智慧產品的用戶數量不斷攀升，支撐這些產品的核心技術——大型語言模型（LLM）的進步速度卻似乎放緩了。

    據科技媒體The Information報道，OpenAI開發的下一個旗艦模型“Orion”，目前已經完成20%的訓練。盡管錶現已接近現有的GPT-4，但進步幅度卻遠不如前兩代旗艦模型之間的飛躍。

    該媒體還援引OpenAI 的一名員工稱，Orion在語言任務上錶現更好，但在編碼等任務上可能不會優於以前的模型。另一位知情人士錶示，與最近PO的其他模型相比，OpenAI在其數據中心運行 Orion 的成本可能更高。

    質量進展放緩，擴展法面臨挑戰

    在過去幾年中，LLM使用來自網站、書籍和其他來源的公開文本和其他數據進行預訓練過程，這種方法雖然能在一定程度上紓解數據匱乏，但帶來的質量提升有限。

    OpenAI的員工錶示，Orion部分接受了人工智慧生成的數據訓練，這些數據由其他OpenAI模型生成，包括GPT-4和最近PO的推理模型。然而，這種合成數據導致了一個新問題，即Orion最終可能會在某些方面與那些舊模型相似。

    與此類似，其他一些AI公司也面臨類似的問題。Meta創始人馬克·紮克伯格和Databricks公司創始人Ion Stoica都指出，盡管AI技術在編碼、復雜任務解決等方面繼續取得進展，但在常識判斷和通用任務能力上，性能提升已趨於緩慢。

    Orion的進展放緩直接挑戰了人工智慧領域一直奉行的“縮放定律”，即在數據量和計算資源不斷增加的前提下，模型性能將持續大幅度提升。

    為了應對GPT改進放緩給基於訓練的縮放定律帶來的挑戰，業界似乎正在將精力轉嚮在初始訓練之後改進模型，從而可能產生不同類型的縮放定律。由於高質量訓練數據的減少以及計算成本的增加，OpenAI的研究人員不得不開始探討是否有其他改進模型性能的方法。

    例如，OpenAI正在將更多代碼編寫功能嵌入其模型中，併試圖開發一種軟體，可以接管個人計算機，通過執行點選、 遊標移動等執行其他操作， 完成網路瀏覽器活動或應用程式的任務。

    OpenAI還成立了一個專門團隊，由之前負責預訓練的Nick Ryder領導，負責探索如何優化有限的訓練數據和調整擴展法的應用，以保持模型改進的穩定性。

    團隊通過訓練模型解決大量數學和編碼問題，讓模型在後期強化過程中逐步提高對這些任務的解答能力。此外，人工評估員還會對模型在不同任務上的錶現進行評分，以幫助模型在復雜問題上提供更准確的答案。

    巨大計算成本帶來的財務負擔

    然而，隨著模型復雜度的增加，訓練和運行這些AI模型的成本也在急劇上升。例如，o1模型的推理成本是普通模型的六倍。

    即便如此，紮克伯格、Sam Altman等人都曾錶示，他們還沒有達到古早擴展法的極限。

    這也許就是為什麽OpenAI等公司依然在投資數十億美元建設數據中心，希望通過增加計算能力，從預訓練模型中獲得更多的性能提升。

    但OpenAI研究員Noam Brown在TEDAI大會上警告，開發更為先進的模型可能將面臨數百億美元的高昂費用，成為財務上的巨大負擔。

    “畢竟，我們真的要訓練花費數仟億美元或數萬億美元的模型嗎？在某些時候，擴展範式會崩潰。”

    或許在未來，OpenAI和其他AI公司都需要繼續在訓練數據和計算資源之間尋求平衡，探索如何在不增加巨大財務負擔的前提下，進一步優化模型性能。

資訊來源：華爾街見聞。如有侵權，請聯繫我們刪除。