在近日的一次訪談中，微軟AI主管Mustafa Suleyman深入探討了人工智慧領域的最新趨勢。他認為，未來幾年AI模型將呈現大小模型“齊頭併進”的趨勢。

    一方面，大型模型的規模化競賽仍將持續，併融入更多模態的數據，例如視訊、圖像等。另一方面，利用大型模型訓練小型模型的技術（如蒸餾）興起，高效的小型模型將在特定場景中發揮巨大作用。Suleyman補充稱，未來，知識將被濃縮到更小、更便宜的模型中，嵌入各種設備，實現真正的環境感知革命。

    對於創業者而言，Suleyman認為，理解併利用提示專案至關重要。通過提供高質量的指令集，創業者可以引導預訓練模型，使其符合自身品牌價值觀，打造獨特產品。此外，小型模型蘊藏著巨大機會，創業者可以利用其低成本和高效性，開發針對特定用例的應用。

    採訪中，Suleyman還強調了數據整合的重要性。合成數據將成為訓練模型的關鍵，但如何獲取、整合這些數據仍需深入探討。

    此外，這位微軟AI主管還談到了新模式的加入，例如視訊和圖像的整合，以及跨復雜數字界面的動作軌跡的理解和數據收集。他認為，這將帶來許多令人印象深刻的結果。對於企業家來說，如何利用這些新趨勢和技術進行創新，將是未來成功的關鍵。

    以下為全文內容，大家enjoy~ ✌️（為增加可讀性，我們對原文進行了簡要編輯）

    Q：未來幾年，在不斷發展的模型 (models) 格局中，有哪些事情值得關註？

    A：模型的規模既在變大，也在變小，這種趨勢幾乎肯定會繼續下去。

    去年開始流行一種新方法，稱為蒸餾。這類方法利用大型、高成本模型來訓練小型模型。這種監督效果相當不錯，目前已有充分的證據支援這一點。

    因此，規模仍然是這場競爭中的關鍵因素，未來還有很大的發展空間，數據量也將持續增長。

    至少在接下來的兩三年內，“規模法則”在提供超預期錶現方面的進度不會有任何放緩。

    Q: 還有哪些新的模式可以加入？

    A:人們也在考慮將視訊、圖像以及跨復雜數字界面的動作軌跡等新的模態融入模型中。

    但我們真正感興趣的是跨復雜數字界面的動作軌跡，比如從瀏覽器跳到桌面，再轉移到手機，從不同的生態繫統中切換，無論是在封閉的花園還是開放的網路中。

    我們試圖理解這些軌跡，收集大量數據，使用監督學習和微調等方法。我認為這將帶來許多令人印象深刻的結果。

    Q: 在數據方面，人們在哪些方面思考得不夠多？

    A:數據的討論角度很多，經典的問題是哪些數據可以使用及其質量。我認為網上已經有大量討論。

    但人們沒有花足夠時間思考新數據的來源，以及如何整合這些數據。

    例如，合成數據是一個有趣的領域，如果我們有這樣的數據，可以訓練出更好的小模型和大模型。如何獲取這些數據併確保其整合是一個關鍵問題。但是如何獲取這些數據併確保它們被整合起來，這一點還沒有得到足夠的討論。

    Q：在處理模型時，提示 (prompt) 和問題 (question) 之間有什麽區別？

    A：提示不僅僅是妳問聊天機器人的問題。當妳問聊天機器人一個問題，那是一個問題；當妳寫一個三頁的風格指南併附上模仿的例子，那是一個提示。

    提示是妳的高質量指令集，指導預訓練模型以特定方式行為。令人驚訝的是，模型只需幾頁指令就能錶現得非常不同。

    為了讓模型錶現出細微、精准和符合品牌價值的行為，妳需要展示成仟上萬個良好行為的例子，併將這些例子微調到模型中。這是預訓練過程的延續，使用高質量且准確的數據。

    好消息是，成仟上萬個例子對許多細分領域或特定垂直領域來說是非常容易獲得的。這是一個優勢，初創公司在高質量微調預訓練模型方面有很大的空間。

    Q：小模型會帶來哪些機會？創業者如何利用它們做一些有趣且獨特的事情？

    A：小模型無疑代錶著未來。

    大型模型在處理查詢時會激活數十億個不相關的神經錶示，盡管它們非常高效地進行搜索和引用數億個節點，但併不總是必要的。

    我們將把知識濃縮到更小、更便宜的模型中，這些模型可以駐留在各種設備上，如耳塞、可穿戴設備、耳環、植物或傳感器。

    這場環境感知革命長期以來一直被人們所期待，它將帶來功能性設備，例如一個冰箱磁鐵，冰箱磁鐵是我能想到的最小的數字設備。它可以在早上迎接妳，告訴妳天氣情況，告訴妳冰箱裏可能有什麽或沒有什麽，併提醒妳檢視日歴。

    它可以在早上歡迎妳，告訴妳天氣，告訴妳冰箱裏可能有什麽或沒有什麽，併提醒妳檢視日歴。

    這種模型可能只有幾仟萬個參數。雖然目前還沒有人真正推動這一點，但任何兩人團隊都可以探索這一領域。

    Q：人們在接下來的兩天裏應該思考什麽問題？

    A：問題是，技術人員需要為設計一個更加人性化的未來做些什麽。

    這包括思考技術如何進化人類，以及我們的情感、激情和同情心如何通過我們與技術不斷變化的關繫來錶達。

    Q：為什麽說這是一個轉型時刻？

    A：我們有足夠的證據錶明，過去五十年的大技術轉型重塑了事物的結構。

    我認為這是一個創辦公司、擴展公司、甚至轉變職業的時刻。即使妳不是企業家，無論妳是活動家、組織者還是學者，現在是關註的時刻。

    到2050年，列車將離站，情況會大不相同。我們現在有機會共同塑造和影響未來，沒有什麽是預定的。我們非常幸運能在這個時刻活著，這既是巨大的責任，也是令人振奮的機會。

   

資訊來源：華爾街見聞。如有侵權，請聯繫我們刪除。