英偉達 A100 GPU 登陸亞馬遜云服務，推理性能比 CPU 快 237 倍
11 月 4 日消息 根據(jù)英偉達官方的消息，在 AWS 運行 NVIDIA GPU 十周年之際，AWS 發(fā)布了采用全新 A100 的 Amazon EC2 P4d 實例。
現(xiàn)在已全面上市的全新 AWS P4d 實例采用最新 NVIDIA A100 Tensor Core GPU。A100 計算卡采用了 7nm 工藝的 GA100 GPU，這款 GPU 擁有 6912 CUDA 核心和 432 張量核心。GPU 封裝尺寸為 826mm2，集成了 540 億個晶體管。
英偉達表示，全新的 P4d 實例，為機器學習訓練和高性能計算應用提供 AWS 上性能與成本效益最高的 GPU 平臺。與默認的 FP32 精度相比，全新實例將 FP16 機器學習模型的訓練時間減少多達 3 倍，將 TF32 機器學習模型的訓練的時間減少多達 6 倍。
這些實例還提供出色的推理性能。NVIDIA A100 GPU 在最近的 MLPerf Inference 基準測試中一騎絕塵，實現(xiàn)了比 CPU 快 237 倍的性能。
每個 P4d 實例均內(nèi)置八個 NVIDIA A100 GPU，通過 AWS UltraClusters，客戶可以利用 AWS 的 Elastic Fabric Adapter(EFA)和 Amazon FSx 提供的可擴展高性能存儲，按需、可擴展地同時訪問多達 4,000 多個 GPU。P4d 提供 400Gbps 網(wǎng)絡，通過使用 NVLink、NVSwitch、NCCL 和 GPUDirect RDMA 等 NVIDIA 技術，進一步加速深度學習訓練的工作負載。EFA 上的 NVIDIA GPUDirect RDMA 在服務器之間可通過 GPU 傳輸數(shù)據(jù)，無需通過 CPU 和系統(tǒng)內(nèi)存，從而確保網(wǎng)絡的低延遲。
- 3-31· 英偉達 RTX 3090 Ti 今晚發(fā)布
- 3-10· 英偉達數(shù)據(jù)被盜后續(xù)：黑客用證書將病毒偽裝成顯卡驅(qū)動
- 2-24· 前英偉達數(shù)據(jù)科學家加入 LG 新能源，幫助其完成全球數(shù)字化轉型
- 5-4· 英偉達 RTX 3080 Ti 包裝曝光，下月發(fā)布
- 5-4· 曝英偉達 RTX3050/3050Ti 將提前發(fā)布上市，最快下個月
- 4-19· 英偉達：由 Omniverse 支持的 NVIDIA DRIVE Sim 將于今年夏天提供早期使用機會
- 4-13· 英偉達宣布將推出服務器 CPU 后收漲 5%，英特爾股價下跌 4%
- 4-6· 英偉達 AI 語音 RTX Voice 已支持非 RTX 顯卡
- 4-6· 英偉達H100 Hopper GPU爆料：MCM設計 晶體管上千億
- 3-18· A14X堪比M1！iPad Pro 5曝光：雷電接口加持
