课程介绍

多媒体概述

通常理解的多媒体(Multimedia),它由multi和media组合,即多种媒体的综合,一般包括文本,声音,图像和视频等多种媒体形式。近几年,涌现了大量新兴的多媒体应用和服务:如4K超高清,VR,全息投影和5G直播等

多媒体与人工智能 

人工智能的基础即为多媒体技术,例如图像处理与识别、音频处理与语言识别等。课程基于算能AI芯片BM1684,峰值性能可达17.6 TOPS INT8和2.2 TFTOPS FP32,并支持32路高清硬解码,强力展现一款芯片的核心能力:算力 + 多媒体处理能力

智能多媒体关键技术与指标 

关键技术包括编解码技术,图像处理技术,媒体通信技术 关键指标则包括解码路数、帧率、分辨率、图像处理接口丰富程度、延时、协议支持等

本课程将重点围绕图像处理技术、编解码技术、媒体通信技术三个方面进行介绍,通过理论+实践的方式,让同学们了解面向人工智能的智能多媒体相关理论,并快速掌握基本的实践方法。

课程目录

相关github连接

sophgo_ffmpeg: https://github.com/sophgo/sophon_ffmpeg

sophgo_opencv: https://github.com/sophgo/sophon_opencv

课程章节 (20节课)

1_ 基础知识
开始学习
1.1 前置基础
开始学习
1.2 图像处理技术
开始学习
1.3 图像视频编码技术
开始学习
1.4 多媒体通信技术
开始学习
1.5 多媒体开发基础
开始学习
2_ 编程实战
开始学习
2.1 开发环境搭建
开始学习
2.2 云平台开发环境
开始学习
2.3 多媒体开发基础编程
开始学习
2.4 边缘检测
开始学习
2.5 图像裁剪及尺寸变换
开始学习
2.6 图像加权融合
开始学习
2.7 图像灰度直方图
开始学习
2.8 FFMPEG视频编码
开始学习
2.9 ROI视频编码
开始学习
2.10 FFMPEG视频解码
开始学习
2.11 OPENCV视频解码
开始学习
2.12 图像压缩标准JPEG编解码
开始学习
2.13 RTSP拉流+RTMP推流
开始学习
3_ 综合设计
开始学习
3.1 车辆识别
开始学习
3.2 基于无人机的建筑图像识别
开始学习

课程目标

课程对象

课程推荐

course-cover

少林派开发板实战课

本课程介绍了少林派的硬件电路设计以及外设资源使用操作方法,并且提供了AI的硬件加速接口使用教程和一些基础AI实例

“少林派”是基于BM1684的约20TOPS算力开发平台,同时基于Mini-PCIe硬件可扩展性好,生态丰富,可连接的外设多样。

可扩展性:“少林派”核心板的Mini-PCIe可以转成WiFi、4G、蓝牙、GPIO、M2接口、USB、RJ45、SATA、SFP、HDMI、CAN等多种接口。

可连接的外设多样:“少林派”核心板的可以扩展便携屏幕、键盘、鼠标、摄像头、耳机、VR等各种设备。用户可以在“少林派”上DIY一个全场景的Linux工作站,尽情实践你的各种AI实验。

课程特点

1. 内容资料丰富齐全,开发板硬件设计、外设接口说明、开发板升级流程、样例代码脚本。

2. 学习路线科学合理,通过开发板的介绍和基础例程使用来了解学习开发板,再通过内部系统架构和代码的学习来深入理解开发细节,最后引出实战项目,让开发板物尽其用,也共用户自行开发时作为参考。

3. 实战项目丰富,课程提供有许多实战代码样例的使用及功能展示,只需修改、组合就能完成不同功能的实现。

代码下载链接:https://github.com/sophgo/sophpi-shaolin

课程目录

 

备注:模型转换部分可以参考SE5开发系列课

course-cover

RISC-V+TPU开发板实战课

本课程介绍了华山派的硬件电路设计以及外设资源使用操作方法,并且提供了AI的硬件加速接口使用教程和一些基础AI实例

华山派 -- CV1812H开发板,是算能和生态伙伴硬件十万个为什么联合推出的开源生态开发板,为广大使用者提供基于RISC-V的开源开发环境,以视觉、AI场景开发为核心实现功能,芯片更集成第二代全自研深度学习张量处理器(TPU),全自研智能图像处理引擎(Smart ISP),硬件级别高度安全资料保护架构(Security),语音处理引擎及H.264/265智能编解码技术,同时还有配套的多媒体软件平台和IVE硬件加速接口,使AI部署与执行更加高效、快速、便捷。主流的深度学习框架,比如Caffe,Pytorch,ONNX ,MXNet和TensorFlow(Lite) 框架的主流网络可以轻松的移植到平台上。

课程特点

  1. 内容资料丰富齐全,开发板硬件设计、sdk使用文档、平台开发指南、样例代码脚本
  2. 学习路线科学合理,通过开发板的介绍和基础例程使用来了解学习开发板,再通过内部系统架构和代码的学习来深入理解开发细节,最后引出实战项目,让开发板物尽其用,也共用户自行开发时作为参考
  3. 适用不同受众人群,对于想要快速使用开发功能的用户,课程提供有许多代码样例的使用及功能展示,只需修改、组合就能完成不同功能的实现;而对于相关行业的热爱者或开发者,课程也提供了详细的sdk开发使用指南和代码样例分析文档,有助于用户深入了解
  4. 课程相关长期维护,未来我们将推出更多开发课程,与广大开发者技术交流、共同成长。

课程内容

华山派开发板配套开源代码链接:https://github.com/sophgo/sophpi-huashan.git

华山派开发板购买链接:https://www.hw100k.com/coursedetail?id=173

course-cover

SE5开发系列课

深度神经网络模型能很快地被训练、测试,然后被产业界部署从而有效完成现实世界中的任务,在小体积、低功耗的 AI 边缘计算平台上部署这类系统很受产业界欢迎。本课程以实践驱动的方式带领大家直观学习、实战和掌握深度神经网络的知识和技术。

SOPHON AI微服务器SE5是一款高性能、低功耗边缘计算产品,搭载算能自主研发的第三代TPU芯片BM1684,INT8算力高达17.6TOPS,支持32路全高清视频硬件解码与2路编码,本课程带你快速玩转功能强大的SE5服务器,通过本课程的学习你即能理解AI的基本知识,又能掌握AI基本应用。

课程特点

1、一站式服务

所有SE5应用遇到的常见问题都可以在这里找到答案

  • 提供AI微服务器全栈式的解决方案
  • 开发过程步步拆解,详尽清晰
  • 支持所有的主流框架,产品易用

2、体系化教学

从环境搭建到应用开发,从模型转化到产品部署,镜像实战环境

  • 环境是如何搭建的?
  • 模型是如何编译的?
  • 应用是如何开发的?
  • 场景是如何部署的?

3、资料齐全

课程包括视频教学、文档指导、代码脚本等,详尽丰富

  • 丰富的视频资料
  • 详尽的应用指导
  • 清晰的代码脚本

代码下载链接:https://github.com/sophon-ai-algo/examples

4、免费的云开发资源

可以在线免费申请使用SE5-16微服务器云测试空间

  • SE5-16微服务器云测试空间可进行在线开发、测试,支持用户数据保留与导出
  • SE5-16微服务器云测试空间内资源性能与物理机环境一致

云平台申请地址:https://account.sophgo.com/sign_in?service=https://cloud.sophgo.com&locale=zh-CN

云平台使用说明:https://cloud.sophgo.com/tpu.pdf

课程概览

课程目录