TPU 十年磨一剑

aidj

NVDA投資人小心了！為什麼Google 的十年伏筆為即將重置 AI 戰爭 ＃AI戰爭 01

身為企業級用戶與 AI 重度玩家，我最近很好奇，為什麼Gemini的表現從落後、急起直追、超越，到現在遙遙領先GPT pro?

今天，我們就一起來探討這現象背後的底層原因。如果你是NVDA的投資人，或是gpt, gemini的用戶，那相信今天的分析，會對你有很大的啟發：

一、從瑞士刀到手術刀：架構的背叛

我們都得承認，NVIDIA 的晶片仍是地表最強。

H100、B200，峰值算力冠絕群雄，CUDA 生態，更是NVIDIA的萬里長城，沒有競爭者。

在這個領域裡，GPU 是萬能的瑞士刀：FP64、FP32、FP16，全能兼容。你要訓練、要推理、要渲染，統統可以。

所以十年來，它主宰一切。

但 Google 走了另一條路。

它從十年前就開始打造，打造一把只為「矩陣乘法」存在的手術刀——TPU。

這把刀開不了罐頭、插不了電視，但可以專精一處。

當年看起來笨、看起來傻，但現在從算力競賽，走到開門賣菜做生意的時候，當時的魯鈍，卻成為今天最準確的菜刀。

因為模型訓練已漸趨成熟，競賽雖未結束，但市場早就開始迎客發展。

在AI 的世界，本質上全是矩陣運算。

所以當開門做生意時，「多功能」成了負擔，「專用化」變成優勢。

就像麥當勞打敗第一代漢堡店一樣，新一代的速食戰爭，開始了。

二、系統的勝利：當硬體學會「群體思考」

TPU 的勝利，不在單顆晶片的速度，而在它如何集體作戰。

NVIDIA 的 GPU 集群，靠 NVLink 或 InfiniBand 傳遞資料。

正由於每一次梯度同步都要排隊。延遲，是它的天敵，所以你才會聽到那麼多矽光子，還有炒作股價的鬼故事。

光電轉換有那麼簡單？

還是炒股必較快啦！

至於Google 的 Mesh 架構，則讓數千顆 TPU 以「大腦式互連」彼此對話。

不必回 CPU，不必軟體協調。資料在矽裡穿行，如同神經信號。

這讓延遲幾乎歸零，能耗減半。

在千顆級的團戰中，TPU 幾乎零損耗。

而這，就是系統智商的起點。

再加上統一的記憶體模型，每顆晶片都能即時調用整個集群的權重。

這能讓梯度回傳不再卡頓，那種「萬人同心」的算力流動，是 GPU 永遠達不到的境界。

更致命的，是能效。

Google TPU 機房的 PUE（能源使用效率）僅 1.06，而 GPU 機房普遍在 1.3 至 1.4。

別小看這 0.3 的差距，當運算量以兆為單位成長，這 30% 的節電，就是現金流，就是勝利。

三、AI 的經濟學：從 CapEx 戰爭，走向 OpEx 戰爭

AI 世界的經濟規則，正在發生一場無聲的政變。

「訓練」是前期投資（CapEx）——一筆巨大的沉沒成本。

你要建資料中心、買 GPU、組叢集、跑幾個月，這筆錢燒完就是資產。

「推理」則是營運支出（OpEx）——每天都在燒。

服務全球數億用戶，每一次 prompt 都在消耗電、冷卻與折舊。

2025 年開始，AI 的成本主戰場已從訓練轉向推理。

訓練或許只佔總成本 20%，推理卻佔 80%。

這就讓AI 從工程問題，變成能源問題。

當這個結構改變，強悍但昂貴的 GPU，不再適合當生意核心。

真正的決勝點，不是誰的模型更快，而是誰的「每次回答」更便宜。

四、Google 的終局：垂直整合與「NVIDIA 稅」的終結

Google 等這一天，等了十年。

TPU v7（Ironwood）出場，宣告「推理時代」的啟動。

它讓 Google 成為唯一一家完成「AI 全鏈垂直整合」的企業：

從模型（Gemini）→ 晶片（TPU）→ 雲端（GCP），三個願望一次滿足，讓競爭者望塵莫及。

三者一體，能效最大化。

這時候競爭對手，在幹什麼呢？

OpenAI 在 Azure 上運行，還要向 Microsoft 付雲端費、向 NVIDIA 付硬體稅。

這就是業界戲稱的「NVIDIA 稅」。

所以當奧特曼開始玩龐氏騙局的AI永動機，oracle和meta開始大發公司債，你就知道為什麼了。

因為他們只能花錢玩遊戲，離賺錢還遠得很。

但Google 沒這問題。

他本來就在賺錢，更別提它的推理成本，幾乎只等於電費。

這就是為什麼 Gemini Flash 的 API 可以比對手便宜 15～25 倍。也是為什麼我說在很多領域裡，連差距十倍的gemini pro（20鎂）, 都可以打敗gpt pro一樣（200鎂）

這不是促銷，而是物理結構的勝利。

OpenAI 靠外包 GPU、用現金換算力，靈活但貴。

Google 靠自有 TPU、以整合換效率，笨重但長壽。

一個在燒錢玩金融遊戲，一個靠營運現金流自己造電。

這場戰爭的勝負，早已寫在能效報表裡。

五、從絕對壟斷到能源分封制

Google 不會「打敗」 NVIDIA，因為他們根本不是同一條線上的敵人。

NVIDIA 賣的是武器。

Google 建的是帝國。

但若 Google 用能效成本打敗了 OpenAI，這個NVIDIA 的最大客戶與利潤來源，你說，最後會發生什麼？

投資AI當然沒有不對，但若你看錯趨勢，將現金與注意力損耗在賭博共和國的AI泡沫裡，還一直關注那些在物理上、技術上、實現根本遙遙無期的所謂新技術，那我提醒你，要小心了。

未來的戰爭，不在公司之間，而在國家層級的能源秩序。

誰能在能源與能效之間找到平衡，誰就主宰未來十年。

中國靠補貼與特高壓擴建資料中心，但缺高端晶片。

美國有晶片卻缺電，而 Google，掌握能效與綠能協議，居然成了唯一能在能源荒時代穩定供給算力的企業。

在這個領域力，玩家是超越國家級別的，而川普領導的美國政府，還有他的草台班子，其實只是一個概念，甚至不是一個玩家。

六、結語：AI 的極限，不在算法，而在電力

AI 的本質，是將能量轉化為智慧。

Google 用十年，讓這個轉換率逼近物理極限。

真正的競爭，不是誰更聰明，而是誰更省電。

NVIDIA 仍是最強霸主，但帝國的壟斷已被重構。

Google 憑 TPU 與能效整合，正把整個賽局推向一個全新維度——能源分封制的時代。

親愛的朋友，你有在投資AI嗎？

你有每天運用AI，在強化自己的競爭力嗎？

如果你有，希望今天的這篇文，對你有點小小的幫助

本系列的下一篇，我們再繼續延伸討論：

＃算力即貨幣 的年代，Google 如何凍結能源成本，成為 AI 世界的中央銀行？

當然，還有對你的影響。

祝福你

＃nvda #openai #gpt #gemini #tpu #gpu #tensor #meta #ai #深義分析

aidj

很多老闆問我：「AI 知識庫是不是只有大公司玩得起？」答案是——從今天開始，不一定了。

謝銘元 #ALLinAI商學院 共同創辦人

Google 最新推出的 Gemini API File Search，等於是把 AI 核心裡最複雜、最燒錢的那一段（文件處理、向量化、檢索），全都幫你打包好。

簡單講，它是中小企業能用的「RAG 核心引擎積木」，讓 AI 知識庫變成「插上就能用」的工具。

一、開發門檻直接降到地板價

以前你想做 AI 知識庫，要懂雲端、懂資料庫、還得搞 embedding 模型，搞起來像在組伺服器。

現在，用 Gemini API File Search，只要把 PDF 或 Google Docs 上傳，直接問問題就能得到答案。
不需要 IT 部門，不需要 AI 專家。

有點程式基礎的員工，甚至用無程式平台，幾天就能做出一個公司專屬的 AI 問答助理。

維運？Google 全包。

想像你開咖啡店，以前要架網站、搞金流，現在只要開 Uber Eats 帳號就能接單。

Gemini File Search 就是 AI 世界的 Uber Eats。

二、成本結構友善，幾乎沒有固定成本

傳統 RAG 要為資料庫、伺服器付月費，哪怕沒人用也得付錢。

Gemini 的做法是「用才付費，不用不花錢」。

你可以把十年文件全上傳，平常沒人查就不花錢，只有真的問問題、生成答案時才計費。

成本透明、彈性，特別適合季節性需求的產業。

例如會計師事務所在報稅季查詢量暴增，其他時間成本幾乎歸零。

AI 成本第一次變成「像水電費一樣好預算」。

三、答案有憑有據，解決「AI 瞎掰」問題

很多人怕 AI 胡說八道，尤其在客服或內部規章查詢這種地方。

Gemini API File Search 的答案會自動附上「來源文件與段落」，可直接點回原文。

像 HR 問：「年資三年以上有幾天特休？」

AI 回答：「依《員工手冊 v3.2》第18頁第4條，每年14天。」

後面還標註文件與頁碼。

這種自帶引註的機制，等於多了一層保險。

四、能直接嵌入現有系統，彈性超高

因為它是 API，可以嵌入到公司官網、LINE、Slack、Teams，甚至 CRM 或 ERP 系統。

客服問答、內部查詢、合約摘要、客戶紀錄比對，全都能自動完成。

中小企業不必「為了導入 AI 改系統」，只要讓現有流程更聰明就行。

最後的觀察

Gemini API File Search 讓 AI 知識庫從「大企業專案」變成「人人能玩的積木」。

真正的轉折是這句話：你不再需要問「做一個 AI 系統要花多少錢」，而是該問「我手上有哪些文件，能幫我解決什麼問題？」

AI 的門檻終於被打開。

中小企業第一次能用大企業等級的技術，解決每天真實的營運痛點。