多媒体概述
通常理解的多媒体(Multimedia),它由multi和media组合,即多种媒体的综合,一般包括文本,声音,图像和视频等多种媒体形式。近几年,涌现了大量新兴的多媒体应用和服务:如4K超高清,VR,全息投影和5G直播等
多媒体与人工智能
人工智能的基础即为多媒体技术,例如图像处理与识别、音频处理与语言识别等。课程基于算能AI芯片BM1684,峰值性能可达17.6 TOPS INT8和2.2 TFTOPS FP32,并支持32路高清硬解码,强力展现一款芯片的核心能力:算力 + 多媒体处理能力
智能多媒体关键技术与指标
关键技术包括编解码技术,图像处理技术,媒体通信技术 关键指标则包括解码路数、帧率、分辨率、图像处理接口丰富程度、延时、协议支持等
本课程将重点围绕图像处理技术、编解码技术、媒体通信技术三个方面进行介绍,通过理论+实践的方式,让同学们了解面向人工智能的智能多媒体相关理论,并快速掌握基本的实践方法。
课程目录
相关github连接
sophgo_ffmpeg: https://github.com/sophgo/sophon_ffmpeg
sophgo_opencv: https://github.com/sophgo/sophon_opencv
本课程介绍了少林派的硬件电路设计以及外设资源使用操作方法,并且提供了AI的硬件加速接口使用教程和一些基础AI实例
“少林派”是基于BM1684的约20TOPS算力开发平台,同时基于Mini-PCIe硬件可扩展性好,生态丰富,可连接的外设多样。
可扩展性:“少林派”核心板的Mini-PCIe可以转成WiFi、4G、蓝牙、GPIO、M2接口、USB、RJ45、SATA、SFP、HDMI、CAN等多种接口。
可连接的外设多样:“少林派”核心板的可以扩展便携屏幕、键盘、鼠标、摄像头、耳机、VR等各种设备。用户可以在“少林派”上DIY一个全场景的Linux工作站,尽情实践你的各种AI实验。
课程特点
1. 内容资料丰富齐全,开发板硬件设计、外设接口说明、开发板升级流程、样例代码脚本。
2. 学习路线科学合理,通过开发板的介绍和基础例程使用来了解学习开发板,再通过内部系统架构和代码的学习来深入理解开发细节,最后引出实战项目,让开发板物尽其用,也共用户自行开发时作为参考。
3. 实战项目丰富,课程提供有许多实战代码样例的使用及功能展示,只需修改、组合就能完成不同功能的实现。
代码下载链接:https://github.com/sophgo/sophpi-shaolin
课程目录
备注:模型转换部分可以参考SE5开发系列课
本课程介绍了华山派的硬件电路设计以及外设资源使用操作方法,并且提供了AI的硬件加速接口使用教程和一些基础AI实例
华山派 -- CV1812H开发板,是算能和生态伙伴硬件十万个为什么联合推出的开源生态开发板,为广大使用者提供基于RISC-V的开源开发环境,以视觉、AI场景开发为核心实现功能,芯片更集成第二代全自研深度学习张量处理器(TPU),全自研智能图像处理引擎(Smart ISP),硬件级别高度安全资料保护架构(Security),语音处理引擎及H.264/265智能编解码技术,同时还有配套的多媒体软件平台和IVE硬件加速接口,使AI部署与执行更加高效、快速、便捷。主流的深度学习框架,比如Caffe,Pytorch,ONNX ,MXNet和TensorFlow(Lite) 框架的主流网络可以轻松的移植到平台上。
课程特点
课程内容
华山派开发板配套开源代码链接:https://github.com/sophgo/sophpi-huashan.git
华山派开发板购买链接:https://www.hw100k.com/coursedetail?id=173
深度神经网络模型能很快地被训练、测试,然后被产业界部署从而有效完成现实世界中的任务,在小体积、低功耗的 AI 边缘计算平台上部署这类系统很受产业界欢迎。本课程以实践驱动的方式带领大家直观学习、实战和掌握深度神经网络的知识和技术。
SOPHON AI微服务器SE5是一款高性能、低功耗边缘计算产品,搭载算能自主研发的第三代TPU芯片BM1684,INT8算力高达17.6TOPS,支持32路全高清视频硬件解码与2路编码,本课程带你快速玩转功能强大的SE5服务器,通过本课程的学习你即能理解AI的基本知识,又能掌握AI基本应用。
课程特点
1、一站式服务
所有SE5应用遇到的常见问题都可以在这里找到答案
2、体系化教学
从环境搭建到应用开发,从模型转化到产品部署,镜像实战环境
3、资料齐全
课程包括视频教学、文档指导、代码脚本等,详尽丰富
代码下载链接:https://github.com/sophon-ai-algo/examples
4、免费的云开发资源
可以在线免费申请使用SE5-16微服务器云测试空间
云平台申请地址:https://account.sophgo.com/sign_in?service=https://cloud.sophgo.com&locale=zh-CN
云平台使用说明:https://cloud.sophgo.com/tpu.pdf
课程概览
课程目录