美光在 Hot Chips 2026 示警 AI 記憶體牆惡化。美光科技（Micron Technology）技術長（CTO）在 2026 年 8 月底舉行的 Hot Chips 2026 研討會上發表專題演講，示警 AI 記憶體牆（Memory Wall）問題持續惡化。所謂「記憶體牆」是指：AI 加速器的算力（每秒浮點運算次數，FLOPS）成長速度遠快於記憶體頻寬（每秒傳輸位元數，bps）的成長速度，導致 GPU 經常處於「等待記憶體」的狀態，實際利用率僅 30~50%。美光提出的關鍵數據：(1) AI 加速器算力每 2 年提升約 3 倍（從 V100、A100、H100、H200、B200、Rubin 的演進規律）。(2) HBM 頻寬每 2 年僅提升不到 2 倍（HBM2、HBM2e、HBM3、HBM3e、HBM4 的演進規律）。(3) 算力與頻寬的差距從 2018 年的 1.3 倍擴大到 2026 年的 2.5 倍以上，並將在 2028 年擴大到 4 倍以上。這項趨勢若持續，將嚴重限制 AI 加速器的實際性能。

三大記憶體廠 HBM4 產能 2026 年 sold out。記憶體牆問題的背景下，三大記憶體廠（HBM）的 2026 年產能已 sold out。美光在 Hot Chips 2026 與隨後的法說會中指出，三大記憶體廠（美光、三星、SK 海力士）2026 年的 HBM 與高效能 DRAM 產能「已 sold out」，2027 年的產能也已分配 80%。業界人士指出，HBM4 的需求超乎預期：(1) NVIDIA Vera Rubin 平台：旗艦 Rubin Ultra GPU 搭載 16-Hi HBM4，單晶片 HBM 容量達 288GB、頻寬達 13 TB/s。(2) AMD MI400 系列：採用 HBM4 12-Hi，容量 192GB。(3) Google TPU v7：採用 Broadcom 設計的 HBM4 客製方案。這些平台都將在 2026 Q4 至 2027 H1 進入量產，使 HBM 需求遠超過供給。

散熱成為 HBM 與 AI 系統的新瓶頸。記憶體牆問題也衍生出新的散熱瓶頸。HBM 採用 TSV（Through-Silicon Via，矽穿孔）技術，將多層 DRAM 晶片垂直堆疊，熱密度極高。HBM4 16-Hi 堆疊的熱密度較 HBM3 8-Hi 提升 50% 以上，達到 200~300 W/cm²，相當於爐火等級的熱通量。這個熱密度在傳統氣冷（Air Cooling）架構下無法有效散熱，必須採用：(1) 液冷（Liquid Cooling）：將冷卻液直接灌注在 HBM 模組附近，效率較氣冷提升 5~10 倍。(2) 直接晶片冷卻（D2C, Direct-to-Chip Cold Plate）：在 HBM 與 GPU 上方安裝冷卻板，效率較氣冷提升 3~5 倍。(3) 浸沒式冷卻（Immersion Cooling）：將整個 AI 伺服器浸泡在不導電的冷卻液中，效率較氣冷提升 10~20 倍。NVIDIA Vera Rubin 平台已全面導入液冷架構，並搭配 800V 高壓直流（HVDC）電源架構，是 AI 資料中心散熱與電力架構的重大升級。

AI 平台設計的結構性轉變。記憶體牆與散熱瓶頸將推動 AI 平台設計出現三個結構性轉變：(1) Chiplet 設計：將 GPU、HBM、I/O 控制器的 dies 分別製造，再透過 CoWoS、SoIC 等先進封裝整合，縮短 HBM 與 GPU 之間的距離，提升頻寬密度。(2) 3D 堆疊：採用更先進的 3D 堆疊技術（如 HBM4 16-Hi），將更多 DRAM 層堆疊在 GPU 上方，縮短訊號傳輸距離。(3) 矽光子互連（CPO）：使用光通訊取代電氣訊號連接 GPU 與 HBM，頻寬密度可提升 10 倍以上。這三項技術轉變都將推升台積電、日月光、CoWoS、SoIC 等台廠先進製程與封裝的需求。法人預估，2026~2028 年 CoWoS 月產能將從 14 萬片擴大到 30 萬片，3 年成長 2 倍以上。

台廠記憶體與散熱供應鏈機會。在美光的記憶體牆警示與 HBM 4 產能 sold out 的背景下，台廠記憶體與散熱供應鏈受惠程度不一：(1) 記憶體模組：威剛、十銓、宇瞻、創見等將受惠於 DRAM 與 HBM 模組分包需求，但因不直接生產 HBM 顆粒，受惠程度有限。(2) 散熱：雙鴻、奇鋐、健策等將受惠於液冷散熱需求爆發，2026 H2 起出貨量將明顯放大。(3) HBM 散熱模組：健策、奇鋐為主要供應商，提供 HBM 專用散熱片與均熱片。(4) 電源：台達電、光寶科、旭隼等將受惠於 800V HVDC 電源架構升級。(5) 先進封測：日月光、矽品將受惠於 CoWoS、SoIC、HBM 封測業務。法人預估，台廠記憶體 + 散熱 + 封測供應鏈 2026 H2 的營收年增可達 30~50%，毛利率改善幅度 2~5 個百分點。

風險與展望：AI 演算法與模型架構的創新可能緩解記憶體牆。記憶體牆問題的本質是硬體（算力與頻寬）的物理限制，但 AI 演算法與模型架構的創新可能緩解這個問題。例如：(1) MoE（Mixture of Experts）架構：GLM-5.3-Flash、Mixtral 等模型採用 MoE，僅啟動 5~18% 的參數，大幅降低對記憶體頻寬的需求。(2) 模型量化（Quantization）：將 FP32、FP16 精度量化為 INT8、INT4，降低記憶體頻寬需求 50~75%。(3) 推測解碼（Speculative Decoding）：用小模型預測大模型的輸出，降低對大模型推論次數的需求。(4) 知識蒸餾（Knowledge Distillation）：將大模型的能力蒸餾到小模型，降低推論時的記憶體需求。這些演算法創新可能使記憶體頻寬需求的成長速度放緩，緩解記憶體牆問題。整體而言，硬體升級（HBM、CPO、CoWoS）與演算法創新（MoE、量化、蒸餾）將並行推進，AI 算力的「瓶頸戰」將持續。