SOPHON SDK

SOPHON SDK是基于算能深度学习处理器,所自主研发的深度学习SDK,通过其强有力的工具,可在生产环境中部署深度学习应用程序,并提供最大化的推理吞吐量和效率。

联系我们

全栈式解决方案

SOPHON SDK由Compiler和Runtime两部分组成。

Compiler 负责对各种深度神经网络模型(如ONNX)进行优化和转换,充分平衡EU运算和访存时间,提升运算的并行度,并最终转换成算能科技智能视觉深度学习处理器支持的bmodel模型。
Runtime 负责驱动智能视觉深度学习处理器,为上层应用程序提供统一的可编程接口,使程序可以通过bmodel模型进行神经网络推理,而用户无需关心底层硬件实现细节。
Full-Stack solution

提供PCIE和SOC两种设备驱动模式,开发者有更多的选择。

结合算能科技自主研发的深度学习处理器,提供最大的推理吞吐量和最简单的应用部署环境。

提供操纵底层计算资源的运行库编程接口,用户可进行深度开发。

运行库提供并发处理能力,支持多进程和多线程两种模式。

产品功能

模型编译

目前SOPHON SDK向开发者提供两种网络模型的编译模式:第一种是开发者直接使用MLIR编译器进行编译和部署。第二种是开发者可使用MLIR的编程接口对编译器进行扩展,利用TPU kernel底层语言编程接口(类似CUDA/intrinsics调用原子操作),或者利用RISC-V指令添加自定义网络层,实现非公开网络的编译。

应用开发

我们给用户提供一个Docker开发镜像,集成了SOPHON SDK应用开发需要的工具和依赖库,用户可以使用该Docker镜像进行SOPHON SDK应用的开发。

应用部署

编译后的网络以及开发的深度学习应用,集成之后可通过Runtime进行部署,部署过程中,需要使用Runtime inference engine的API接口进行编程。