小米官方科普自研的微控制器AI框架MACE Micro

waffle

来源: 爱集微

近日小米旗下的MIUI官方微博发文科普自研的微控制器AI框架MACE Micro的四个目标：高性能、低能耗、好移植、易用。

在超低功耗计算场景下，想要做到高性能且低功耗，就需要在保证计算精度的同时，减少计算量，同时减少对于内存的访问次数。

MACE Micro 继承了 MACE 在模型表示层面对算子进行的替换、融合与链路优化，并通过自定义模型格式，实现了模型初始化的0时间消耗；同时，针对卷积等算力密集的算子进行了访存优化，在提高性能的同时，也降低了功耗。

此外，MACE Micro 还支持了bfloat16(BF16)计算精度，提升了设备在冷启动时的计算速度，同时将模型大小缩减50%，大幅缩减了运行时的内存占用，并且其模型预测精度降低不到0.1%。

针对微控制器种类繁多的特性，MACE Micro 在设计之初着重考虑了程序的可移植性。对模型的存储格式与方式进行了重新设计与研发，MACE Micro 不使用堆内存分配，不依赖于任何的操作系统、文件系统以及运行时库，拥有极强的可移植性。

微控制器的开发工具链，只要支持C++98标准，就能进行 MACE Micro 的移植，如高通的低功耗DSP， ST、AMBIQ的MCU等，甚至是Arduino。

易用性方面，MACE Micro 复用了 MACE 的已有功能，继承了 MACE 的模型优化、模型保护、单元测试和基准测试等功能。

为减少计算量和访存次数，对模型算子的表示层和算法本身均进行了优化，例如对算子进行融合。

在模型保护方面，部署时会默认将模型转换成C++代码，对模型节点和数据的字符混淆，对开发者进行最大程度的知识产权保护。

同时，MACE Micro 也有完善的开发闭环，通过与其他模型训练平台的计算结果进行余弦相似度、信噪比、像素一致性等三维比对，支持多个层次的单元测试和基准测试，为开发带来极大的便利性。

goldkey

不明觉厉