你还记得《星球大战》电影中的礼仪机器人 c-3po 吗？就是那个承担着不同种族、不同物种间翻译交流作用的礼仪机器人。c-3po 通过从数据库中下载资料来更新自己的语言技能，精通 700 万种语言交流形式，可以说是对宇宙间的所有已知语言尽数掌握。
/*来源：电影《星球大战》场景截图
对于有翻译需求的人来说，愿望就是拥有一个像 c-3po 机器人一样可以翻译无限语种、在各种场景下都可以即刻准确进行语言翻译的设备。在解决这个用户需求时，对于技术能力没有那么强的企业来讲，靠自研能力并不是那么容易做到，因为这其中涉及到了自然语言处理等一系列的人工智能（ai）技术难点。
这背后映射的便是如今国内企业技术开发的现状。近些年来，虽然 ai 技术在企业经营管理各环节的价值已得到市场验证，但企业在进行 ai 开发时，却面临着技术人才储备不足、ai 应用部署困难、投入产出比不达预期等问题。
所以，如果开发者能在产品开发过程中集成一些像 c-3po 机器人一样可快速且准确识别、翻译等功能的服务套件，那将帮企业大大提高开发质量和效率，有效缩减开发成本，也缓解了开发者的技术研发压力。
但我今天想说的是，或许 hms core 机器学习服务（ml kit）已经帮助各位开发者解决了上述问题。开发者通过 ml kit 可以搭建属于你自己的“c-3po 机器人”。
一、ml kit 为 ai 语音技术发展做出的努力
自 2021 年起，meta、谷歌和 nvidia 等厂商陆续加入了虚拟世界的潮流，推动语音 ai、计算机视觉、自然语言理解 (nlp) 和虚拟现实 (vr) 方面的创新，以创建能够识别语音和与用户交流的服务。从市场增长维度来看，语音激活系统、语音虚拟助手和语音设备的需求增加带动了相关行业的发展。那么，ml kit 为此做出了哪些努力？
在 5 月 24 日 hdd 大会上 hms core 机器学习服务产品经理发表的《ml kit 高效助力跨语种沟通》 演讲中，我们就领略到了 ml kit 翻译服务的超强能力。该金马国际的服务支持丰富多样的使用场景，比如邮件翻译、通话翻译、阅读翻译、实时语音翻译、ar 翻译。
ml kit 翻译服务的最大优势在于端云协同，云侧低时延、多垂域覆盖、支持 50 语种互译，端侧在隐私保护、无网络使用、轻集成方面做得十分出色。
从系统架构来看， 算法层作为 ml kit 翻译服务的核心，大语种整体基于英文翻译进行桥接，同时正积极打造中文直译的翻译系统，运用三角翻译、术语增强和课程学习等技术在低资源场景下进行了优化，打造出 hms core 差异竞争力。通过训练多语种模型来实现了小语种的翻译，让系统变得全知全能。在业务层的实现上则是打了一套前后处理、feedback 回流、路由服务、中间件管理的组合拳。
ml kit 文本翻译的金马国际的解决方案以文本编码 受限解码的 transformer 架构为核心，算法方案则是以多头 高维多层结构的 transformer-encoder（large），搭配应用了剪枝 rnn 解码算法、在行业内具有优势的 rnnformer-decoder（shallow）的模型结构，通过数据清洗、数据脱敏、数据增强的过程完成平行语料的构建。比如，通过标点归一化、dnt 替换、句长控制和语义去重，进行数据清洗；通过 dnt 替换、句长控制和语义去重等方法，进行数据增强等。
值得一提的是，在推理加速方面，ml kit 翻译服务基于华为自研的诺亚 bolt 推理框架，应用了权重共享、动态小词表、混合精度计算、量化存储、图优化、缓存配置、快速矩阵乘法、arm 大小核优化、gpu 加速、算子加速等 10 多种算法，整个翻译模型的速度和稳定性都得到了保障。
ml kit 文本翻译服务可以同时支持端侧、云侧的调用，不仅服务覆盖全球，安全性能也很高，数据处理过程符合 gdpr 标准，这些特性让 readera（俄罗斯的一款免费图书阅读类 app）用很少时间就解决了相关技术难题。举个例子，集成 ml kit 文本翻译服务后，readera 解决了过去“只能通过调用第三方的翻译软件实现翻译，不能实现 app 内翻译”的业务问题，目前该 app 已支持 12 种语言翻译，服务覆盖全球。
在 ai 语音技术领域，ml kit 算是一位入局较早并全面发展的选手，陆续实现了文本翻译、语种检测、实时语音识别、音频文件转写、实时语音转写、声音识别等语音语言类服务的支持与迭代。ml kit 表现也比较突出，比如实时语音识别准确率能达到 95% 以上。另外，今年 6 月，ml kit 翻译服务将上线同声传译功能，能力矩阵再次扩充。
二、ml kit 不仅只研究语音语言
ml kit 是一个提供机器学习套件的平台，除了 ai 语音语言类服务，ml kit 还提供丰富的文本类、图像类和人脸人体类、自定义模型等简单易用、技术领先的 ai 服务。
ml kit 支持图像分类、对象检测、地标识别、图像分割、场景识别、拍照购物、图像超分、文档矫正八大图像类服务。其中，ml kit 图像分割服务的精细化分割，平均交并比 miou（衡量图像分割精度的一个指标）优于业界参考水平。
一款以抠图为特色玩法的专业图片编辑 app——cut cut 的行业强竞争力就是得益于 ml kit 图像分割服务的集成。ml kit 图像分割服务分割图片速度快、准确度高，支持端侧处理，不依赖用户网络环境，算法随时随地可在本地流畅、精准运行，且无数据上传泄露风险。ml kit 模型伴随 hms core 版本动态更新，无需重复、频繁发布应用版本，cut cut 的开发者集成该服务后，仅进行了一次开发，便享受到了模型持续更新升级的便利。
ml kit 支持人脸检测比对、活体检测、骨骼点检测、手势识别、人脸检测五大人脸人体类服务。比如俄罗斯的 photo deformer 图像编辑 app，通过集成 ml kit 补全了图像中多人脸检测的功能，通过 855 点的人脸轮廓检测，增加了检测精度，扩展了业务场景，为用户提供了更加准确、全面的图像编辑服务，改善用户体验，大大提升了产品竞争力。
三、除了 ml kit，hms core 还有其它“ai 超能力”
hms core 是华为移动服务提供的端、云开放能力的合集，是华为为其设备生态系统提供的一套应用程序和服务，开发者只需集成 hms sdk 即可使用华为的多个开放能力。ml kit 以外，hms core 还有许多可应用于 ai 领域的开放能力。比如：
视频编辑服务（video editor kit）是帮助开发者快速构建视频编辑能力的服务，ai 实时处理能力最低时延控制在了 20 秒以内，gpu 解码速度和合成视频的导出时长均低于行业水平 30% 以上。hevc 编码高效，目前高清视频文件大小已低于行业水平 20% 以上。
音频编辑服务（audio editor kit）是帮助开发者快速构建各类应用音频能力的服务，提供 ai 配音、音源分离、空间渲染、变声、多种音效等一站式音频能力，音源分离能通过 4 行代码集成实现人声与乐器伴奏音轨分离的效果。
作为 hms core ai 领域构建中的重要一环，面向智能终端的 ai 能力开放平台 huawei hiai foundation，目前已支持 kwainn、tnn、mindspore lite、bytenn、mnn、paddle lite 等国内主流框架。
5 月 24 日 hdd 大会上海思 hiai foundation 生态技术专家就《huawei hiai foundation 助力开发者快速部署 ai 应用》的演讲中对该产品做了全面介绍：
端云协同、优化算子库推送：运用算子库、性能优化推送到端侧和通过插件进行模型编译的关键技术，针对新业务场景和已有典型业务场景算子，提供性能优化、快速升级平台能力的金马国际的解决方案。客户云侧建立保存模型、数据、软件栈，华为云则负责保存算子库、优化策略（如融合、异构）等，力求做到重要数据不出端、优化策略快速使能设备，助力应用快速上线。
model zoo 助力开发者使能 npu 加速：从 ai 基础学习、模型设计、ai 产品开发、技术交流 4 个维度出发，辅助开发者优化模型结构。将 npu 模型结构、backbone、算子投入其中供开发者自行挑选使用，更好地利用 npu 的加速优势，从而更大程度地利用底层算力。
硬件底层多 ip 深度协同：多 ip 协同使能 e2e 业务极致性能，cpu、npu、isp、gpu 等各计算 ip 可以共用 ddr 内存，全流程数据零拷贝。节点自动融合优化，节点间内存自动分配；调度任务自动编排，支持优先级控制，提升性能又能降低功耗。
自主调优工具包帮助精准优化模型：提供模型量化工具包，正常情况下开发者 32bit 的训练模型直接可被量化为更小、更轻便且更适合 npu 结构的低比特模型，无需二次调整便可降低计算资源的消耗；提供网络结构搜索工具包，支持多种主流训练框架使能，比如 caffe、tensorflow、pytorch，针对多种主流硬件平台具有算力和时延建模的能力。
像应用了 huawei hiai foundation 的拍立淘，npu 算力赋能阿里 mnn 模型推理加速，拍立淘模型推理提速可达 3 至 5.8 倍，毫秒级以图搜图的体验。而且 npu 算力为模型精度带来了更多提升空间，模型推理功耗大大降低。
随着 hms 生态不断壮大，截至 2021 年 12 月 31 日，hms core 全球注册开发者已超过 540 万， 全球集成 hms core 的应用超过 20.3 万个。hms core 持续构建多终端、跨 os、全场景的创新开放能力，面向开发者持续提供行业金马国际的解决方案，对此感兴趣的开发者可以到华为开发者联盟金马国际官网了解更多信息。
四、写在最后
ai 技术已经在众多行业里得到应用，比如电商、物流、运输、工业等。麦肯锡发布的报告发现，如今全球有 56% 的企业至少在一项业务功能中使用 ai，还有近三分之二的企业计划在未来三年内增加对 ai 研发与应用的投资。gartner 的一项调查也发现，36.3% 的客户服务领导者计划到 2023 年部署人工智能。
ai 技术的应用是大势所趋，但把视角拉到具体实践上时，我们会发现，人工智能一度被许多企业认为是空中楼阁。因为在智能技术与实体经济结合与迭代过程中，算法、算力与数据都难以捉摸，企业没有技术能力和大量成本去获取这些资源。降低 ai 开发的门槛是目前所有企业都在关注的问题，也是人工智能下一代技术的演进趋势。
这些现象都很好解释，ai 技术在促进各行各业快速高效发展的同时，现实的业务需要也在反向促进着 ai 技术的迭代变革。而 hms core 在做的事情就是帮助企业快速完成技术迭代，基于华为长期的技术积累，通过持续不断的创新，为企业带来源源不断的发展动力，为客户和社会创造价值，共建绿色智能世界。
评论