AnandTech 報道稱，高通去年宣布的 Cloud AI 100 推理芯片平臺，現已投產并向客戶出樣，預計 2021 上半年可實現商業發貨。雖然更偏向于“紙面發布”，且未能披露硬件的更多細節，但借助其在移動 SoC 世界的專業知識，這也是該公司首次涉足數據中心 AI 推理加速器業務、并將之推向企業市場。

　　隨著芯片開始出樣，高通 Cloud AI 100 推理芯片終于從實驗室走向了現實，并且披露了有關其架構設計、性能功耗目標在內的諸多細節。

　　據悉，高通為商業化部署提供了三種不同的封裝形式，包括成熟的 PCIe 4.0 x8 接口(在 75W TDP 上實現 400 TOPS 算力)、以及 DM.2 和 DM.2e 接口(25W / 15W TDP)。

　　DM.2 的外形類似于彼此相鄰的兩個 M.2 連接器，在企業市場上頗受歡迎。DM.2e 則是體型更小，封裝功耗也更低。

　　從架構的角度來看，該設計借鑒了高通在驍龍移動 SoC 上部署的神經處理單元(NPU)的豐富經驗，但仍基于一種完全針對企業工作負載而優化的獨特架構設計。

　　與當前的通用計算硬件(CPU / GPU / FPGA)相比，專用型 AI 設計的最大優勢，在于能夠實現“傳統”平臺難以企及的更高的性能和能效目標。

　　性能數據方面，高通拿目前業內常用的解決方案進行了對比，包括英特爾 Goya 和英偉達 T4 推理加速器(基于砍了一刀的 TU104 GPU 芯片)，每瓦每秒的推理能力為 ResNet-50 。

　　據說 Cloud AI 100 在每瓦性能上較競品實現了重大飛越，且高通在另一幅圖表中展示了一個相對公平的比較。

　　有趣的說法是，其甚至能夠在 75W 的 PCIe 外形尺寸內擊敗英偉達 Ampere 架構的 250W A100 加速器。且在功耗降低 25% 的情況下，性能還較英特爾 Goya 加速器翻了一番。

　　這樣的性能數據，讓許多人覺得難以置信，不過從 Cloud A100 的芯片規格來看，事情其實并不簡單。該芯片包含了 16 組 AI 內核，和達成 400 TOPS 的 INT8 推理吞吐量。

　　輔以 4 路 @ 64-bit 的 LPDDR4X-4200(2100MHz)的內存控制器，每個控制器管著 4 個 16-bit 通道，總系統帶寬達 134 GB/s 。

　　如果你對當前的 AI 加速器設計比較熟悉，就知道它與英偉達 A100 和英特爾 Goya 等推理加速器競品的帶寬有較大差距，因為后者具有高帶寬緩存(HBM2)和高達 1-1.6 TB/s 的帶寬。

　　即便如此，高通還是設法為 Cloud AI 100 平臺配備了 144MB 的片上 SRAM 高速緩存，以達成盡可能高的存儲流量。

　　高通承認，在工作負載的內存空間占用超過片上 SRAM 的情況下，該架構的性能將有所不同。但對于目標客戶來說，這樣的平衡設計，仍是有意為之。

　　后續該公司還展望了更大的內核、以及在多個 Cloud AI 100 加速器之間橫向擴展。在被問及如何達成 15W 至 75W 的動態功耗范圍時，高通宣稱其正在調整頻率 / 電壓曲線，以及調制 AI 核心的數量。

　　想象一下，一套完整的 400 TOPS 75W 設計，包含了一個工作頻率較高的芯片。而 15W TDP 的版本，可能以較低的頻率在運行。與此同時，7nm 的工藝節點，有助于其進一步降低功耗。

　　精度方面，Cloud AI 100 的架構體系支持 INT8 / INT16 和 FP16 / FP32 精度，能夠帶來足夠的靈活性。高通還提供了一組 SDK，以便為各項行業標準提供交換格式和框架支持。

　　高通公司目前正在向客戶提供 Cloud AI 100 推理加速器的樣品，主要部署目標為工業和商業領域中的邊緣推理工作負載。

　　為推動生態系統和為軟件開發提供支持，該公司還推出了新的 Cloud Edge AI 100 開發套件，其中包括了一個集成該加速器的小型計算設備、驍龍 865 SoC、以及用于蜂窩連接的 X55 5G 調制解調器。