HBM 為什麼成為 AI 標配？答案不只在容量，而在資料搬運

AI 的瓶頸，愈來愈像交通問題

大型模型的參數與中間資料龐大，運算單元必須不斷取用資料。若 GPU 的計算速度提升，記憶體頻寬卻跟不上，核心就會等待；資料在晶片與記憶體之間來回搬運，也會消耗大量電力。這就是常說的記憶體牆與功耗牆。

HBM 將多顆 DRAM 裸晶垂直堆疊，用 TSV 穿透矽晶片，再透過中介層與 GPU 以超寬介面相連。它不只是把容量堆高，而是用更短距離、更寬通道同時改善頻寬、延遲、空間與每位元能耗。

代價是製程、堆疊、測試與先進封裝更複雜，良率管理也更困難。HBM 的價值不只流向 DRAM 原廠，也擴散到 TSV、封裝、測試、載板與設備供應鏈。

從 HBM 到存算一體，是同一個問題的不同解法

HBM 讓資料搬得更快；存算一體則希望少搬一點。它把計算能力放到記憶體附近或內部，依整合程度可分為近存計算、存內處理與存內計算，技術路線包括 SRAM-CIM、DRAM-PIM 與新型非揮發性元件。

對邊緣 AI、物聯網與自動駕駛而言，低功耗和即時反應常比峰值算力更重要。若部分矩陣運算能直接在記憶體完成，就能減少資料經過匯流排的次數，降低延遲與能源消耗。

但存算一體仍面臨精度、軟體工具、製程整合、可程式性與商業生態問題。它更像中長期架構方向，不宜把每一家提到『存算』的公司都直接視為成熟量產受益者。

投資判讀：產品世代比名詞更重要

同樣叫 HBM，世代、堆疊高度、頻寬、良率與客戶驗證差異很大；同樣叫先進封裝，也可能只在打樣階段。判斷受益程度時，應確認產品是否進入客戶平台、何時量產、產能與良率能否支撐收入。

真正的訊號包括 HBM 在 DRAM 晶圓產能中的占比、先進封裝瓶頸、GPU 平台每顆記憶體容量與頻寬，以及供應商是否取得認證。技術簡報很容易令人興奮，量產爬坡才會支付帳單。

• 規格：容量、頻寬、功耗與堆疊層數。
• 製造：良率、先進封裝與測試能力。
• 商業：客戶驗證、量產時點與價格。
• 風險：世代切換、技術路線與設備瓶頸。