4 月 7 日，权威 ai 基准评测组织 mlperf 公布了最新一期推理性能榜单。mlperf 由图灵奖得主 david patterson 于 2018 年发起，每年组织全球 ai 训练和 ai 推理性能测试并发榜，已成为业界最主流标准之一。
北京时间 4 月 7 日，mlcommons 发布最新 mlperf 榜单
本次榜单重点更新了面向数据中心和边缘计算的场景，以及最新的 mlperf tiny 0.7 测试榜单。阿里云联合平头哥、达摩院等在数据中心、边缘计算、物联网领域斩获多项第一。
在当前激烈的数据中心和边缘计算场景下，各厂商及机构基于硬件加速的成绩差距并不大，竞争主要聚焦在模型软硬协同优化方面。榜单显示，阿里云磐久服务器脱成为 mlperf 有史以来首个获得纯 cpu 推理性能最高的 arm 架构服务器，且在数据中心和边缘侧该类别的总体性能均为第一。
mlperf 2.0 datacentercpu-only 推理性能数据对比
据悉，阿里云震旦异构加速平台利用模型优化工具 sinianml 来进行用于 ai 任务的神经网络架构搜索和压缩，以及最佳算子实现。在保证达到基准测试精度目标同时，能得到远高于标准 resnet50 v1.5 的计算效率。
此外，在 mlperf tiny 场景，阿里云通过大规模深度算子融合和针对平头哥玄铁 risc-v 微架构的极致优化，从而能够大大提高 cpu 算力利用率，实现软硬协同优化。
tiny 场景是 mlperf 近年新增的性能测试分类。有别于 datacenter 等大规模、高算力的情景，tiny 聚焦于低功耗、高性价比的 iot 场景，考验在日益广泛的 iot 智能应用场景下的软硬件性能和优化能力。
在此次公布的 mlperf tiny 0.7 性能数据榜单中，阿里云震旦异构计算加速平台通过编译和软硬件一体化创新优化，结合达摩院在语音和视觉等机器智能的算法知识，基于平头哥自研 risc-v 玄铁 c906 处理器在所有 4 项 benchmark 的 cpu 性能数据均取得第一，在满足模型精度要求的同时创造了 risc-v 架构在该 ai 基准测试榜单上的最好成绩。
mlperf tiny 0.7 推理性能数据对比
“高度集成的专业化 ai 芯片对应用场景限制很多，我们希望研发出更通用的软硬协同加速平台来发挥 ai 应用的价值，”阿里云异构计算首席科学家张伟丰博士表示。
不难发现，mlperf 正将评测环境更多地向云厂商倾斜，后者已成为 ai 产业的主力军。
评论