49人加入学习
(0人评价)

机器视觉基础 - 从硬件走向人工智能 2

价格 998巢币 4990巢币 2折
活动
课程介绍

感谢您使用电巢APP,PC端建议使用Google Chrome浏览器进行观看。

 

讲师介绍

王伟 博士

华为光通信资深研发工程师、中兴光通信SDH大项目研发经理

国家轨道交通实验室技术总监、美资Oplink通讯公司研发总监、美资Lumentum公司(原JDSU)高级研发经理、特发信息公司研发总工

中国高科技产业化研究会智能信息处理产业化分会理事

二十余年一流大企业一线研发和管理经验

近三年所带学生竞赛队伍均晋级国家级决赛

 

主题背景:

机器视觉是AI技术的主要研究和应用领域,不仅广泛应用于自动驾驶、智能制造和航空航天等高大尚领域,同样应用于你身边的身份确认、安全监控和物品识别,其影响已经渗透到我们生活的各个角落。如果您是一位传统的硬件工程师,又觉得AI技术离你太远,不知如何入手,似乎遥不可及,这门课就是为您准备的。我本人也是硬件工程师出身,以我的亲身经历,从零基础开始学起,第一步先学习FPGA机器视觉所需要的图像入门知识和工具。我们这里学习的目的不是为了在图像领域内进行理论创新,只是为了应用技术,所以我尽量讲求实用,不追求理论深度。如果我讲的一遍听不懂,可以多听几遍,或者用的时候知道在哪里找就行了,也欢迎入群交流(QQ群号:435717099),力求给大家一个全面的视频图像背景知识,为机器视觉的学习和应用打下基础。

 

所有例程除开头一段引用的视频外,其余全部为本人在PC和赛灵思开发板上亲手所做,直播内容涉及环境搭建、理论介绍和实操讲解

 

直播要点:

机器视觉的广泛应用

体温检测

农作物成熟度检测

行为异常检测

我们在FPGA上实现的类似项目

 

竞赛项目车辆人物语义分割

左下角为FPGA Ultra96开发板,开发板直连显示器,不需要连PC机,此系统为独立系统,使用的是enet模型。

竞赛项目车辆识别与跟踪

同样在Ultra96上实现的车辆跟踪,使用的是yolov2模型。

FPGA用硬件实现AI算法,处理速度更快,在战场上更容易实现快人一步,在自动驾驶上反应更为及时,实现农业的科学化种植和人们的行为合规检测等等。

 

PC机和开发板环境搭建

格式转换和播放工具ffmpeg、ffplay安装

虚拟机Ubuntu和GStreamer安装

Ultra96和KV260开发板环境安装

 

图像基础知识入门

什么是原始图像的RGB、YUV编码?

图像是如何组成的?什么是MB、SLICE和NAL?

什么是V4l2摄像头视频采集框架?有什么用?

视频为什么要编码?图像是怎么压缩的?

什么是帧内预测和帧间预测?

常用的IDR、I、P、B帧是什么?

主流H264、H265视频压缩技术是如何实现的?

视频是怎么传输的?怎么实现超低延迟传输?

媒体框架GStreamer管道介绍与演示

GStreamer管道与插件介绍

PC上的GStreamer应用与演示,如格式转换、屏幕录制、文件存贮

FPGA GStreamer参数与作用

FPGA GStreamer管道实现的多种功能,如AI识别、码流和识别区控制。

视频编码的重要概念和PC、FPGA管道的区别。

 

适合对象:

电子专业、信息专业、自动化专业、计算机专业大学生和研究生

电子类工程师、嵌入式软硬件工程师与FPGA从业者