本课程，先通过理论讲解多模态上游任务，并在竞赛实战中学习多模态的下游任务，最后通过四大热门项目讲演，带大家学习业务场景中企业常见任务。达到能够快速实践多模态项目流程输出相应的demo的能力。
一、课程讲解逻辑
本课程，先通过理论讲解多模态上游任务，并在竞赛实战中学习多模态的下游任务，最后通过四大热门项目讲演，带大家学习业务场景中企业常见任务。达到能够快速实践多模态项目流程输出相应的demo的能力。
二、课程收获
三、课程亮点
四、所需基础
需要pytorch基础，
了解transforner和卷积，
五、项目讲演介绍
多模态技术的融合兼容能够使智能文案更高质多样，实现千人千面的需求；还为电商带来了更精准高效的搜索引擎；同时唇语识别深入理解人类语言，对语音识别十分有帮助；在自动驾驶上的应用是必然趋势。
由此我们精心选取了这四大热门项目讲演，为同学们介绍实际项目流程，从框架-到模型-到调优-最后是常见问题解决思路、思考方向。是前期理论+实战学习到企业项目的过渡、延伸，更是进入企业项目的必备锦囊。
【详情】
|
序号 |
项目名称 |
项目介绍 |
|
项目1 |
AI智能文案 |
|
|
项目2 |
智能电商搜索 |
|
|
项目3 |
AI唇语识别 |
有研究表明，阅读唇语是人类理解语言的一种重要方式。该项目通过使用多模态技术，输入语音音频和唇语视频两种不同形式内容，然后输出对应文本，能够显著提高嘈杂环境下的语音识别率。 |
|
项目4 |
自动驾驶汽车通常配备不同的传感器(如摄像机、激光雷达、雷达)，并可以融合多种传感模式，以利用它们的互补特性。在此背景下，本项目应用深度多模态感知技术来实现自动驾驶种的目标检测和语义分割 |
课程安排
