Android NNAPI 即将在 Android Q 迎来大更新( 二 )

一年多过去了 , Android 模型部署也有了巨大的变化 , ncnn 继续活跃的维护 , 加入了 int8 和 vulkan 的支持 , 大量的新框架例如 FeatherCNN 和 Mace 也产生了 。 另一方面 , NPU 越来越火热 , 几乎成为了每一款新手机芯片的标配 。

与 iOS 端模型部署早早被 iOS 内置的 CoreML 统一不同 , Android 内置的 NNAPI 因为 Android 系统的碎片化 , 普及的进度要慢很多 , 但也有越来越多的设备为 NNAPI 提供额外支持 , 例如 RK3399、Huawei Mate 20 等等(在这些设备上 NNAPI 可以调用 GPU 或 NPU) 。

令人激动的是 , 根据 AOSP 最新的源码 , 今年即将随 Android Q 推出的 NNAPI 1.2 有非常多的重量级更新 , 增加了很多 operations(包括 detection、keypoint 领域需要的 operations)、有了更好的 NPU 支持、新的量化方式、float16、NCHW layout 等等 。

新增的 operations

NNAPI 1.0 有 29 个 operations , NNAPI 1.1 有 38 个 , 而 NNAPI 1.2 有 94 个 , 新增了 56 个 operations , 增加了一倍还多 。

推荐阅读