把 LLM 直接燒進晶片：Taalas × Qwen 27B

aidj

把 LLM 直接燒進晶片：Taalas × Qwen 27B，將神級 tool use 小模型放到晶片的可能性
.
前幾天看到一條讓我停下來認真研究的推文：Taalas 宣稱要把 Qwen 3.5-27B 整個燒進 ASIC 晶片，17,000 tok/s、PCIe 標準插槽、功耗只有 GPU 的十分之一
.
Taalas 不是 PPT 公司，他們的核心技術叫 Mask ROM Recall Fabric——在晶片製造時就把模型權重刻進電晶體，完全消除記憶體搬運的瓶頸
.
重點是，他們不只是畫餅。第一顆晶片 HC1 已經成功把 Llama 8B 燒進去，法國獨立研究者實測 ~15,750 tok/s。之後又成功燒了 Llama 4B，也有公開 demo。速度是被驗證過的，不是投影片上的數字
.
但真正讓我興奮的是他們選擇的下一個目標：Qwen 3.5-27B

為什麼這個選擇精準到位？因為 Qwen 27B 不只是「又一個開源模型」——它是目前 tool use 能力最強的小模型

這件事的意義要放在 AI Agent 的語境下才看得懂
Agent 工作流的核心能力不是聊天，是 tool calling——模型要能正確解析意圖、選擇工具、組裝參數、處理回傳結果
.
這個能力在大模型上不稀奇，但在 27B 這個量級做到接近大模型水準，目前只有 Qwen 27B 做到了
網路上有一個測試 ToolCall-15 ——15 個場景、12 個工具、Temperature 0、模擬回應、不挑最好的那次
測了 Qwen 3.5 全系列，從 0.8B 到 397B
結果讓人意外：全部通過的只有兩個模型——27B dense 和它的蒸餾版
不是最大的那個。
.
Taalas 如果成功把 Qwen 27B 燒進 ASIC，你拿到的不只是一張「跑得很快的推理卡」，而是一張能跑本地 Agent 工作流的專用卡

- 客服系統查訂單、呼叫 API、更新資料庫  
- 內部知識庫判斷搜尋策略、選擇資料源
- 文件處理解析格式、呼叫轉換工具、驗證輸出

全是 tool calling。這些穩定、高頻的工作負載，配上零邊際成本的 ASIC 推理卡，算一下帳就知道有多誘人
.
但我想把視角再拉遠一點。
如果這條路走通了，終局不只是「資料中心多一種推理卡」。想像一下：一顆強推理、強 tool use 的 ASIC 晶片，功耗夠低、體積夠小、成本夠便宜——它可以塞進任何 embedded system
.
工廠的邊緣閘道器裡，一顆晶片跑本地 Agent，即時監控產線、自主調用 MES 系統下指令。醫療設備裡，一顆晶片跑診斷輔助 Agent，不需要把病患資料傳上雲端。零售門市的 POS 系統裡，一顆晶片跑客戶服務 Agent，斷網也能運作。車載系統、無人機、機器人——每一個邊緣裝置都內建一個能推理、能使用工具的 AI Agent
.
這不是科幻。當推理成本趨近零、功耗降到嵌入式等級、模型的 tool use 能力夠強——Agent 就不再需要雲端，它直接活在裝置裡
.
當然，冷水還是要潑。Qwen 27B ASIC 目前還在實驗室階段，815mm² 能不能塞下 27B、$300-400 零售價是否現實——全部還需要驗證。
但趨勢很清楚：推理成本歸零 × tool use 能力成熟 × 專用硬體小型化——這三條線正在交會。Qwen 27B 這種「小身體、強 tool use」的模型，正好是這個交會點的最佳搭檔
.
先把流程和組織搞對，不管硬體怎麼變，這些投資不會浪費。但如果 Taalas 真的跑出 Qwen 27B 的 ASIC？每一個邊緣裝置裡都住著一個 AI Agent 的時代，可能比我們想像的更近

使用者

这概念不错 ···