「成本降维打击」谷歌TPU 成只是 OpenAI GPU的一半，要怎样赢

aidj

https://youtu.be/psrsH1p7j8c

aidj

AI研究之一 - AI產業的Duration

今年研究AI產業，我主要關注在AI的三朵烏雲
1. 技術迭代的可能性（AI 是多長遠的生意）？
2. AI是泡沫嗎？若是，他該有多大？
3. AI目前潛在滲透哪些市場了（AI市場有多大）？

今天先分享AI技術迭代的可能性，我們可以先看看整的AI的歷史

圖文好讀版放留言

AI的兩次典範轉移與兩次寒冬

從1950年代至今，AI技術的核心思想至少經歷了兩次底層的邏輯轉變，並伴隨著兩次殘酷的「AI寒冬」。

第一次浪潮：連結主義的黎明與寒冬 (1943-1980)
崛起 (1943-1969)： AI的夢想起源於「連結主義」（Connectionist），也就是嘗試模仿人類神經系統來打造智慧。從1943年神經元模型的提出，到1956年達特茅斯會議正式確立「人工智慧」一詞，再到1957年能夠從數據中學習的「感知器」（Perceptron）誕生，整個領域充滿了樂觀的熱情。

寒冬 (1969-1980)： 然而，1969年Marvin Minsky的著作《Perceptrons》無情地指出了單層感知器的根本性限制，這本書的發表，加上當時的技術無法解決更複雜的問題，導致了承諾的落空。政府和企業因此大幅削減資助，AI迎來了第一次寒冬。早期基於這個理想而生的研究和商業嘗試，也隨之凋零。

第二次浪潮：符號主義的興盛與寒冬 (1980-2000s)
崛起 (1980-1987)： 第一次寒冬過後，AI轉向了另一條路——「符號主義」（Symbolics），也就是專家系統。這個理念是將人類專家的知識編寫成一套套的規則和事實，讓電腦能夠根據這些邏輯進行推理。在80年代，Lisp Machines、Thinking Machines等公司應運而生，知識工程師成為當時最熱門的職業。

寒冬 (1987-2000s)： 正如Yann LeCun所提醒的，歷史總是驚人地相似。專家系統雖然在特定領域很強大，但它們的知識庫難以維護、成本高昂，且無法應對新情境。1987年，LISP機市場的崩潰標誌著第二次AI寒冬的到來。那些曾經叱吒風雲的專家系統公司，也隨之成為時代的眼淚。

這個歷史規律非常清晰：每一次寒冬，都淘汰了基於舊技術範式建立的公司；而每一次春天，都催生了掌握新一代技術的公司。

第三次浪潮：深度學習與Transformer的黃金時代
從廢墟中，連結主義以更強大的姿態重生了。1986年的反向傳播算法、1989年Yann LeCun的卷積神經網絡（CNN），為處理複雜數據提供了可能。而到了2017年，《Attention Is All You Need》論文發表的Transformer架構，徹底引爆了我們今天所處的AI革命。
這個時代的商業巨頭，如Deepmind、OpenAI、商湯科技，無一不是站在深度學習和Transformer的肩膀上。

歷史走到這裡，我們不禁要問：這次，會不一樣嗎？

來自巨人的詰問：Transformer是終局，還是又一個週期？
儘管Transformer架構取得了巨大成功，但AI領域的三位頂級學者——Yann LeCun、Rich Sutton和李飛飛，卻不約而同地指出了當前路線的潛在局限。

Yann LeCun：
我們現在看到的部署AI系統的困難過程並不是新鮮事。它在所有時候都發生過。這也是為什麼，也許你的一些聽眾還太年輕，不記得這件事，但在1980年代早期，AI領域曾出現一波巨大的興趣浪潮，圍繞著專家系統（expert systems）。你知道，1980年代最熱門的工作將是知識工程師，你的工作將是坐在一位專家旁邊，然後將專家的知識轉化為規則和事實，然後將其輸入到一個推論引擎中，該引擎將能夠推導出新的事實並回答問題等等。
這始終是AI的一個危險。我的意思是，信號很清楚，LLMs即使擁有所有花俏功能，仍然扮演著重要的角色，至少在資訊檢索方面。

Rich Sutton：
對我來說，擁有目標是智慧的本質。如果某物能夠實現目標，它就是智慧的。我喜歡John McCarthy的定義，即智慧是實現目標能力的計算部分。你必須有目標，否則你只是一個行為系統。你不是什麼特別的東西，你不是智慧的。
建立一個物理世界的模型並推導數學假設或運算的後果，這是非常不同的事情。經驗世界必須透過學習來獲得。你必須學習後果。而數學更具計算性，更像標準的規劃。在那裡，它們可以有找到證明的目標，並且在某種程度上被賦予了找到證明的目標。
為什麼我們需要一個全新的架構來開始進行體驗式、持續的學習？為什麼我們不能從大型語言模型開始做這件事？
在「慘痛的教訓」的每一個案例中，你都可以從人類知識開始，然後再去做那些可擴展的事情。情況總是如此。從來沒有任何理由說這一定是不好的。但事實上，在實踐中，它總是證明是不好的。

李飛飛：
我選擇透過視覺智慧的視角來看待人工智慧，因為人類是深度視覺化的動物。我們可以稍後多談一些，但我們大量的智慧是建立在視覺感知、空間理解之上，而不僅僅是語言本身。我認為它們是互補的。
今天你拿一個模型，讓它看一段幾個辦公室房間的影片，然後要求模型計算椅子的數量。這是一個學齡前兒童，或者也許是一個小學生可以做到的事情。但 AI 做不到。所以 AI 今天還有很多事情做不到。
空間智慧比僅僅創造那個平面的 2D 世界更深層。對我來說，空間智慧是創造、推理、互動、理解深度空間世界的能力，無論是 2D、3D 還是 4D，包括動態等等。所以 World Labs 專注於此。
我們剛才談到每個大腦大約 20 瓦。所以從這個角度來看，這是一個小數字，但實際上是令人難以置信的，是數億年的演化才給了我們這些能力。

對未來的兩種猜想：更多的Token，還是全新的典範？
綜合歷史的教訓和巨人的觀點，我們對AI的未來可以提出兩種截然不同的猜想：

猜想一：進化之路——透過真實世界數據，需要更多Token
這是一個相對樂觀的看法。即使真正思考的模型出現，比如視覺、聽覺、觸覺，讓它成為一個「Robotic AI」或「Physical AI」。在這種模式下，AI為了理解和操作複雜的物理世界，需要處理的數據量（Token）將會指數級增長。如果是這樣，當前的GPU、資料中心需求都會持續，不會出現根本性的典範轉移。

猜想二：革命之路——「會思考」的AI，來自全新架構
這是一個更具顛覆性的可能。如果Yann LeCun、Sutton和李飛飛是對的，那麼一個真正「會思考」、擁有目標、理解物理世界的AI，可能需要一個全新的、效率極高的底層架構。這個新架構或許不再以「Token預測」為核心，而是更接近生物大腦的運作方式。在這種範式下，我們對Token的依賴可能會大幅降低，甚至被其他概念所取代。

這是AI的第一朵烏雲：AI到底是多久的行業？十年？還是百年？
回顧AI的歷史，我們看到的是一條螺旋式上升的道路，充滿了創造性毀滅。每一次的技術寒冬，都為下一次更強大的技術爆發掃清了道路。

今天，我們正站在Transformer這座高峰上，享受著前所未有的風景。但歷史的鐘擺和智者的遠見提醒我們，這座山峰或許並不是旅程的終點。

但是，對於底層轉換的可能性，我們很難說，目前看起來科技學者正在打造下一代的AI模型，而企業家正在Scale這一代的AI模型，這一代AI模型的特徵，就是需要大量消耗Token，因此需要大量的資料中心。

無論如何，可以想像到，消費者將會持續是AI世代最大的受益者。