课程介绍

本课程介绍了“华山派”系列CV1812H开发板的硬件电路设计和外围资源的操作方法。它还提供了使用深度学习硬件加速接口的教程和一些基本的深度学习示例。

华山派(CV1812H开发板)是由TPU处理器及其生态合作伙伴共同推出的开源生态开发板。提供基于RISC-V的开源开发环境，实现基于视觉和深度学习场景的功能。该处理器集成了自主研发的第二代深度学习张量处理器(TPU)、自主研发的智能图像处理引擎(Smart ISP)、硬件级高安全数据保护架构(Security)、语音处理引擎和H.264/265智能编解码技术。它还具有匹配的多媒体软件平台和IVE硬件加速接口，使深度学习的部署和执行更加高效、快速、方便。主流的深度学习框架，如Caffe、Pytorch、ONNX、MXNet和TensorFlow (Lite)，可以很容易地移植到平台上。

课程的特点
1. 内容资料丰富完整，包括开发板硬件设计、SDK使用文档、平台开发指南、样例代码脚本等。

2. 科学合理的学习路径。课程介绍开发板和基本例程，然后深入研究系统内部架构和代码学习，了解开发细节。最后介绍了充分利用开发板的实际工程，也可以作为用户自主开发的参考。

3. 适合不同的观众。对于想要快速使用开发功能的用户，课程提供了许多代码示例供使用和功能展示，可以方便地修改和组合以实现不同的功能。对于相关行业的爱好者或开发人员，课程还提供了详细的SDK开发使用指南和代码示例分析文档，可以帮助用户深入了解。

4. 课程的长期维护。未来，我们将推出更多的开发课程，与开发者交流，共同成长。

课程内容

华山派开发板的开源代码链接:https://github.com/sophgo/sophpi-huashan.git

课程章节 （ 25节课）

1_ 产品介绍
开始学习
1.1 电路设计介绍
待学习
开始学习
1.2 处理器介绍
待学习
开始学习
1.3 PCB设计要点
待学习
开始学习
1.4 原理图设计要点
待学习
开始学习
2_ 嵌入式开发指南
开始学习
2.1 基本开发环境搭建
待学习
开始学习
2.2 烧录固件
待学习
开始学习
2.3 开发板快速使用
待学习
开始学习
2.4 交叉编译开发示例_HelloWorld
待学习
开始学习
2.5 GPIO基本操作
待学习
开始学习
2.6 串口连接调试
待学习
开始学习
2.7 无线模块调试及应用
待学习
开始学习
2.8 视频处理-HDMI及双摄显示
待学习
开始学习
2.9 音频处理-录音与播放
待学习
开始学习
2.10 USBHUB调试及使用
待学习
开始学习
2.11 GUI移动页面开发
待学习
开始学习
3_ 智能多媒体软件开发指南
开始学习
3.1 视频处理
待学习
开始学习
3.2 音频处理
待学习
开始学习
3.3 OpenCV 库编译移植
待学习
开始学习
3.4 开发案例—IPCam 网络摄像头
待学习
开始学习
4_ TPU环境开发指南
开始学习
4.1 模型转onnx
待学习
开始学习
4.2 模型移植与编译开发指南
待学习
开始学习
5_ 实战应用开发指南
开始学习
5.1 IPCam网络摄像头
待学习
开始学习
5.2 智能门禁
待学习
开始学习
5.3 基于华山派开发板的yolov5目标检测
待学习
开始学习
5.4 基于华山派开发板的图像分类
待学习
开始学习

课程目标

完成本课程后，学生将具备以下能力:

  • 对开发板处理器的应用和开发板设计有基本的了解。
  • 熟悉编译环境的设置，掌握基本的应用程序开发。
  • 熟悉多媒体软件平台的部署和开发。
  • 熟悉IVE图像加速接口的使用。
  • 熟悉使用TPU架构的模型部署。
  • 掌握门禁识别和网络摄像机的总体软件框架，并在实践中应用。

课程对象

深度学习开发爱好者，在Linux开发方面有一定基础。

课程推荐

course-cover

编译器开发

作为框架和硬件之间的桥梁，深度学习编译器可以实现一次性代码开发和重用各种计算能力处理器的目标。最近，算能也开源了自己开发的TPU编译工具——TPU-MLIR (Multi-Level Intermediate Representation)。TPU-MLIR是一个面向深度学习处理器的开源TPU编译器。该项目提供了完整的工具链，将各种框架下预训练的神经网络转换为可在TPU中高效运行的二进制文件bmodel，以实现更高效的推理。本课程以实际实践为驱动，引导您直观地理解、实践、掌握智能深度学习处理器的TPU编译框架。

目前，TPU-MLIR项目已应用于算能开发的最新一代深度学习处理器BM1684X。结合处理器本身的高性能ARM内核以及相应的SDK，可以实现深度学习算法的快速部署。本课程将介绍MLIR的基本语法，以及编译器中各种优化操作的实现细节，如图形优化、int8量化、算子分割、地址分配等。

与其他编译工具相比，TPU-MLIR有几个优点

1. 简单方便

通过阅读开发手册和项目中包含的示例，用户可以了解模型转换的过程和原理，并快速入门。此外，TPU-MLIR是基于当前主流编译工具库MLIR设计的，用户也可以通过它了解MLIR的应用。本项目提供了一套完整的工具链，用户可直接通过现有接口快速完成模型转换工作，无需适应不同的网络。

2. 通用性

目前，TPU- mlir已经支持TFLite和onnx两种格式，这两种格式的模型可以直接转换为TPU可用的bmodel。如果不是这两种格式呢?事实上，onnx提供了一套转换工具，可以将目前市场上主要的深度学习框架编写的模型转换为onnx格式，然后再进行bmodel转换。

3、精度与效率并存

在模型转换过程中，有时会失去精度。TPU-MLIR支持INT8对称和非对称量化，结合原开发公司的校准和tune技术，大大提高了性能，保证了模型的高精度。此外，TPU-MLIR还使用了大量的图优化和算子分割优化技术来保证模型的高效运行。

4. 实现终极性价比，构建下一代深度学习编译器

为了支持图形化计算，神经网络模型中的算子需要开发图形化版本;为了适应TPU，应该为每个运营商开发一个版本的TPU。此外，有些场景需要适应相同计算能力处理器的不同型号，每次都必须手工编译，这将非常耗时。深度学习编译器就是用来解决这些问题的。TPU-mlir的一系列自动优化工具可以节省大量的人工优化时间，因此在RISC-V上开发的模型可以顺利自由地移植到TPU上，以获得最佳的性能和性价比。

5. 完整的信息

课程包括中英文视频教学、文档指导、代码脚本等，详实丰富的视频资料详细应用指导清晰的代码脚本TPU-MLIR站在MLIR巨头的肩膀上打造，现在整个项目的所有代码都已经开源，免费向所有用户开放。

代码下载链接:https://github.com/sophgo/tpu-mlir

tpu - mlir开发参考手册:https://tpumlir.org/docs/developer_manual/01_introduction.html

总体设计思想论文:https://arxiv.org/abs/2210.15016

视频教程:https://space.bilibili.com/1829795304/channel/collectiondetail?sid=734875

课程目录

序号 课程名 课程分类 课程资料
      视频 文档 代码
1.1 Deep learning编译器基础 TPU_MLIR基础 √ √ √
1.2 MLIR基础 TPU_MLIR基础 √ √ √
1.3 MLIR基本结构 TPU_MLIR基础 √ √ √
1.4 MLIR之op定义 TPU_MLIR基础 √ √ √
1.5 TPU_MLIR介绍（一） TPU_MLIR基础 √ √ √
1.6 TPU_MLIR介绍（二） TPU_MLIR基础 √ √ √
1.7 TPU_MLIR介绍（三） TPU_MLIR基础 √ √ √
1.8 量化概述 TPU_MLIR基础 √ √ √
1.9 量化推导 TPU_MLIR基础 √ √ √
1.10  量化校准 TPU_MLIR基础 √ √ √
1.11 量化感知训练（一） TPU_MLIR基础 √ √ √
1.12  量化感知训练（二） TPU_MLIR基础 √ √ √
2.1 Pattern Rewriting TPU_MLIR实战 √ √ √
2.2 Dialect Conversion TPU_MLIR实战 √ √ √
2.3 前端转换 TPU_MLIR实战 √ √ √
2.4 Lowering in TPU_MLIR TPU_MLIR实战 √ √ √
2.5 添加新算子 TPU_MLIR实战 √ √ √
2.6 TPU_MLIR图优化 TPU_MLIR实战 √ √ √
2.7 TPU_MLIR常用操作 TPU_MLIR实战 √ √ √
2.8 TPU原理（一） TPU_MLIR实战 √ √ √
2.9 TPU原理（二） TPU_MLIR实战 √ √ √
2.10  后端算子实现 TPU_MLIR实战 √ √ √
2.11 TPU层优化 TPU_MLIR实战 √ √ √
2.12 bmodel生成 TPU_MLIR实战 √ √ √
2.13 To ONNX format TPU_MLIR实战 √ √ √
2.14 Add a New Operator TPU_MLIR实战 √ √ √
2.15 TPU_MLIR模型适配 TPU_MLIR实战 √ √ √
2.16 Fuse Preprocess TPU_MLIR实战 √ √ √
2.17 精度验证 TPU_MLIR实战 √ √ √

 

course-cover

Milk-V Duo开发板实践课程

本课程介绍了硬件电路的设计和基本环境的搭建，并提供了一些简单的开发示例和一些基本的深度学习示例。

Milk-V Duo是基于CV1800B的超小型嵌入式开发平台。它体积小，功能全面，配备双核，可以分别运行linux和rtos系统，并具有各种可连接的外设。

  • 可扩展性:Milk-V Duo核心板具有多种接口，如GPIO, I2C, UART, SDIO1, SPI, ADC, PWM等。
  • 多种可连接外设:Milk-V Duo核心板可扩展各种设备，如LED，便携式屏幕，摄像头，WIFI等。

课程特点:

  • 内容材料丰富完整，包括开发板硬件设计、外设接口说明、基本环境设置方法、示例代码脚本等。
  • 学习路径科学合理，从开发板的介绍和基本使用开始，引导到实际项目，充分利用开发板，为用户自身开发提供参考。
  • 实际项目丰富，课程提供了许多实际代码使用和功能演示的示例。通过简单地修改和组合代码，可以实现不同的功能。

课程目录

course-cover

SE5开发系列课

深度神经网络模型可以快速训练和测试，然后由行业部署，在现实世界中有效地执行任务。在小型、低功耗的深度学习边缘计算平台上部署这样的系统受到业界的高度青睐。本课程采用实践驱动的方法，引导你直观地学习、实践和掌握深度神经网络的知识和技术。

SOPHON深度学习微服务器SE5是采用SOPHON自主研发的第三代TPU处理器BM1684的高性能、低功耗边缘计算产品。INT8运算能力高达17.6 TOPS，支持32路全高清视频硬件解码和2路编码。本课程将快速引导您了解SE5服务器的强大功能。通过本课程，您可以了解深度学习的基础知识并掌握其基本应用。

课程的特点

1. 一站式服务

 在SE5应用程序中遇到的所有常见问题都可以在这里找到。

  • 为深度学习微服务器提供全栈解决方案
  • 一步一步、详细而清晰地分解开发过程
  • 支持所有主流框架，易于使用的产品

2. 系统的教学

它包括设置环境、开发应用程序、转换模型和部署产品，以及拥有镜像的实际环境等所有内容。

  • 环境是如何构建的?
  • 如何编译模型?
  • 应用程序是如何开发的?
  • 场景如何部署?

3. 完整的材料

本课程包括视频教程、文档指南、代码脚本和其他综合材料。

  • 丰富的视频素材
  • 详细的应用指导
  • 清晰的代码脚本
  • 代码下载链接:https://github.com/sophon-ai-algo/examples

4. 免费的云开发资源

在线免费申请使用SE5-16微服务器云测试空间