瑞芯微AI平台三大更新 加速端侧AI技术落地

waffle

来源：ofweek

瑞芯微Rockchip正式发布旗下AI平台三大重要升级，助力端侧AI应用：开发工具支持GUI图形交互界面、原生支持MXNet和PyTorch、支持Docker部署。

一、交互方式更加友好，RKNN－Toolkit新版本将支持图形界面

经过多个版本的不断迭代完善，RKNN－Toolkit已日益成熟。瑞芯微即将推出的新版将加入图形交互界面（GUI），开发者通过鼠标点击即可完成模型的转换、量化、性能分析、内存耗费分析等任务，快速完成AI模型在端侧部署的评估和转换工作。特别是对于混合量化等较为复杂的任务，相比于过去的命令行交互，通过图形界面可大幅提高效率并降低操作错误的概率。另外，新版RKNN－Toolkit的图形界面同样在Linux／Mac OSX／Windows三个平台上均可运行。

二、模型转化更加简便，RKNN－Toolkit将对MXNet和PyTorch提供原生支持

在过去RKNN－Toolkit通过ONNX来完成MXNet和PyTorch等模型的支持，开发者需要先将模型转换为ONNX格式，再进一步转换为RKNN模型，这一过程较为繁琐，并且提高了引入问题的概率使得最终转换失败。

MXNet及PyTorch发展非常迅速，普及度快速提高， RKNN－Toolkit新版本将原生支持MXNet及PyTorch模型的转换，在端侧AI平台的框架和模型支持覆盖度上继续保持领先。

三、模型推理性能更加稳定，瑞芯微 AI平台支持通过Docker快速部署端侧AI应用

随着端侧设备数量的成倍增长，需要以更具可扩展性的方式部署端侧AI应用软件。Docker容器技术是业界广泛通行的解决这一挑战的有力工具。

RK1808平台系统将提供对Docker的支持，通过硬件抽象层，在容器中仍可调用NPU的强劲算力，经测试，容器中的AI模型推理性能几乎没有损失。