亚马逊推出Inferentia芯片 提升AWS推理计算效益

zcdnst

在 re:Invent 大会上，AWS 不仅宣布了 SageMaker Studio 机器学习集成开发环境，还推出了 Inferentia 芯片。去年首次宣布的该芯片，能够加速机器学习的推理计算。在 Inferentia 芯片的加持下，研究者可较之前预先训练过的模型带来更明显的提速、且更具成本效益。

（图自：AWS）

AWS 首席执行官 Andy Jassy 指出：许多企业都在模型训练的定制芯片上投入了大量精力，尽管常规 CPU 上已经能够较好地执行推理运算，但定制芯片的效率明显更高。

与 EC4 上的常规 G4 实例相比，Inferentia 能够让 AWS 带来更低的延时、三倍的吞吐量、且降低 40% 单次的成本。

（截图 via AWS）

新的 Inf1 实例，可实现高达 2000 TOPS 的特性、与 TensorFlow、PyTorch 和 MXNet 集成、且支持可在框架之间迁移的 ONNX 模型格式。

目前其仅可在 EC2 计算服务中使用，但 AWS 将很快为其引入对 SageMaker 机器学习和其它容器服务的支持。

本文来源：CnBeta