BMNNSDK

BMNNSDK(BITMAIN Neural Network SDK)是比特大陆基于其自主研发的AI芯片,所定制的深度学习SDK,涵盖了神经网络推理阶段所需的模型优化、高效运行时支持等能力,为深度学习应用开发和部署提供易用、高效的全栈式解决方案。

联系我们
bmnn-sdk top image for mobile

全栈式解决方案

BMNNSDK由BMNet和BMRuntime两部分组成,BMNet负责对各种深度神经网络模型(如caffemodel)进行优化和转换,充分平衡EU运算和访存时间,提升运算的并行度,并最终转换成比特大陆TPU支持的bmodel模型。BMRuntime负责驱动TPU芯片,为上层应用程序提供统一的可编程接口,使程序可以通过bmodel模型进行神经网络推理,而用户无需关心底层硬件实现细节。

Full-Stack solution

产品功能

模型编译

目前BMNNSDK向开发者提供两种网络模型的编译模式:第一种是开发者直接使用BMNet编译器进行编译和部署。第二种是开发者可使用BMNet的编程接口对编译器进行扩展,利用BM kernel底层语言编程接口(类似CUDA/intrinsics调用原子操作),或者利用CPU指令添加自定义网络层,实现非公开网络的编译。

应用开发

我们给用户提供一个Docker开发镜像,集成了BMNNSDK应用开发需要的工具和依赖库,用户可以使用该Docker镜像进行BMNNSDK应用的开发。

应用部署

编译后的网络以及开发的深度学习应用,集成之后可通过BMRuntime进行部署,部署过程中,需要使用BMNet inference engine的API接口进行编程。

BMNN SDK Function

BMNNSDK编译流程

产品特色

BMNN SDK Advantage

提供PCIE和SOC两种设备驱动模式,开发者有更多的选择。

BMNN SDK Advantage

结合比特大陆自主研发的AI芯片,提供最大的推理吞吐量和最简单的应用部署环境。

BMNN SDK Advantage

提供操纵底层计算资源的运行库编程接口,用户可进行深度开发。

BMNN SDK Advantage

运行库提供并发处理能力,支持多进程和多线程两种模式。

视频介绍