您的位置：首頁 > 產經 >

天天頭條：谷歌泄密文件：AI大戰，谷歌沒有護城河，OpenAI也沒有

來源：華爾街見聞 ? 2023-05-05 10:14:23

AI大戰，究竟誰才是最終贏家？

或許既不是人們討論最激烈的OpenAI，也不是微軟、谷歌等科技巨頭，開源AI可能將在未來占領高地。

周四，據媒體semianalysis報道，谷歌研究員在一份泄密文件中坦言，谷歌沒有護城河，OpenAI也是如此，與開源AI競爭將難以占據優勢。

(資料圖)

正如文件中提到的，開源模型訓練速度更快，可定制性更強，更私密，而且比同類產品能力更出色。他們正在用100美元和130億的參數做一些“谷歌1000萬美元和540億的參數難以企及”的事情，而且在短短幾周內就能做到，而不是幾個月。

對于用戶而言，如果有一個沒有使用限制、免費、高質量的替代品，誰還會為谷歌的產品付費呢？

以下是谷歌泄密文件：

谷歌沒有護城河，OpenAI也是如此
我們對OpenAI進行了很多審視和思考，誰會跨越下一個里程碑？下一步會有什么行動？
但令人不安的事實是，我們沒有能力贏得這場軍備競賽，OpenAI也是如此。在我們爭吵不休的時候，第三個派別一直在悄悄地搶我們的飯碗。
我指的是開源AI，簡而言之他們正在搶走我們的市場份額。我們認為的“主要的開放問題”如今被解決了，并且已經觸達用戶。僅舉幾例：
手機上的LLMs：人們以5 tokens/sec在Pixel 6上運行基礎模型。
可擴展的個人人工智能：你可以在一個晚上用你的筆記本電腦上微調生成個性化的AI助手。
負責任的發布：這個問題并沒有“解決”，而是“避免”。有的整個網站充滿了沒有任何限制的藝術模型，而文字也不甘落后。
多模態性：目前的多模態ScienceQA SOTA是在一小時內訓練完成的。
雖然我們的模型在質量上仍有一點優勢，但差距正在以令人驚訝的速度迅速縮小。開源模型訓練速度更快，可定制性更強，更私密，而且比同類產品能力更出色。他們正在用100美元和130億的參數做一些“谷歌用1000萬美元和540億的參數難以企及”的事情，而且在幾周內就能做到，而不是幾個月。這對我們有深遠的影響：
我們沒有訣竅。我們最大的希望是向谷歌以外的其他人學習并與他們合作。我們應該優先考慮實現3P整合。
當免費的、不受限制的替代品質量相當時，人們不會為一個受限制的模式付費。我們應該考慮我們的附加值到底在哪里？
大模型正在拖累我們，從長遠來看，最好的模型是那些可以快速迭代的模型。
發生了什么？
三月初，Meta的大語言模型LLaMA被泄露，開源社區得到了第一個真正有能力的基礎模型。它沒有指令或對話調整，也沒有RLHF。盡管如此，社區立即理解了他們所得到的東西的意義。
隨后，巨大的創新成果接連涌現出來，發展僅僅間隔了幾天。現在，不到一個月的時間，就出現了指令調整、量化、質量改進、人類評價、多模態、RLHF等變體，許多都是相互關聯的。
最重要的是，他們已經解決了縮放（scaling）問題，達到了任何人都可以調整的程度。許多新的想法都來自于普通人，門檻已經從一個主要研究機構下降到一個人、一個晚上和一臺強大的筆記本電腦。
在許多方面，這對任何人來說都不那么驚訝。當前開源大模型的復興緊隨生成圖像模型的火熱，開源社區并沒有忘記這些相似之處，許多人稱這是LLMs的“Stable?Diffusion”時刻。
通過低秩矩陣微調方法（LoRA），結合規模上的重大突破（如大模型Chinchilla），公眾可以用較低成本參與進來；在這兩種情況下，獲得一個足夠高質量的模型可以引發了世界各地的個人和機構的想法和迭代的熱潮，很快就會超越大型企業。
這些貢獻在圖像生成領域非常關鍵，使Stable?Diffusion公司走上了與Dall-E不同的道路。擁有一個開放的模式帶來的產品整合、市場、用戶界面和創新，這些都是Dall-E所沒有的。
其效果是可想而知的：在文化影響方面，與OpenAI的解決方案相比，它迅速占據了主導地位，變得越來越相互依賴。同樣的事情是否會發生在LLM上還有待觀察，但廣泛的結構元素是相同的。
我們錯過了什么？
開源最近成功的創新直接解決了我們仍在掙扎的問題，多關注他們的工作可以幫助我們避免重蹈覆轍。
LoRA是一個非常強大的技術，我們應該多加注意，LoRA的工作原理是將模型更新表示為低秩因子化，這將更新矩陣的大小減少了幾千倍。這使得模型的微調只需要一小部分的成本和時間。能夠在幾個小時內在消費類硬件上對語言模型進行個性化調整是一件大事，特別是對于那些涉及在近乎實時的情況下納入新的和多樣化的知識。這項技術的存在在谷歌內部沒有得到充分的利用，盡管它直接影響了我們一些最雄心勃勃的項目。
從頭開始重新訓練模型是一條艱難的道路，LoRA之所以如此有效，部分原因在于--像其他形式的微調--是可堆疊的，像指令調整這樣的改進可以被應用，然后隨著其他貢獻者增加對話、推理或工具使用而被利用。雖然單個的微調是低等級的，但它們的總和不需要，允許模型的全等級更新隨著時間的推移而積累。
這意味著，隨著新的和更好的數據集和任務的出現，模型可以以較低成本保持更新，而不需要支付全面訓練的費用。
相比之下，從頭開始訓練大模型，不僅丟掉了預訓練，還丟掉了之前的任何迭代改進。在開源的世界里，這些改進在不久之后就會占據主導地位，從而使全面重新訓練的成本變得非常昂貴。
我們應該深思熟慮，每個新的應用或想法是否真的需要一個全新的模型。如果我們真的有重大的架構改進，那么我們應該投資于更積極的提煉形式，盡可能地保留前一代的能力。如果我們能在小模型上更快地進行迭代，那么從長遠來看，大模型并不是更有優勢。
LoRA更新的成本非常低（約100美元），這意味著幾乎任何有想法的人都可以生成。訓練時間少于一天是很正常的，在這種速度下，所有這些微調的累積效應不需要很長時間就可以克服初始的模型規模劣勢。
數據質量的擴展性比大小更好體現在這些項目中，許多模型通過在小型、高質量的數據集上進行訓練來節省時間。這表明在數據擴展規律有一定的靈活性，同時正迅速成為谷歌之外的標準訓練方式。這兩種方法在谷歌都不占優勢，但幸運的是，這些高質量的數據集是開源的，可以免費使用。
與開源直接競爭是一個賠本生意
最近的這一進展對我們的商業戰略有直接、重大的影響，如果有一個沒有使用限制、免費、高質量的替代品，誰還會為谷歌的產品付費呢？
而且，我們不應該指望能夠追趕上，現代互聯網在開放源碼上運行是有原因的，開放源碼有一些無法復制的優勢。
我們更需要他們，對我們的技術進行保密始終是不穩固的，谷歌的研究人員經常變動，所以我們可以假設他們知道我們所知道的一切，而且只要這個途徑是開放的，相關技術就會繼續散播出去。
但在技術方面保持競爭優勢變得更加困難，世界各地的研究機構都在彼此的工作基礎上，以廣度優先的方式探索解決方案的空間，遠遠超過了我們的能力。我們可以嘗試緊緊抓住我們的秘密，而外部的創新會稀釋它們的價值，或者我們可以嘗試相互學習。