亚马逊AWS将部署Cerebras CS-3，与自家Trainium配套使用

数码芝华士

亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布，亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统，带来最快的负载处理速度。

这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器，由 Trainium 芯片负责推理的预填充（提示处理），而 CS-3 则承担解码（输出生成任务），两者通过 EFA 连接在一起。

IT之家了解到，推理预填充属于并行工作负载，要求大算力和适中的内存带宽；推理解码本质上是串行的，算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处，提供最佳的最终用户体验。

xuguangqi08

游客请登录后查看回复内容

再飞东

游客请登录后查看回复内容

zrx166

游客请登录后查看回复内容