
2023年6月2日,我院舉辦第2023-B-08期黃海論壇,邢軍博士以“面向跨模態遙感數據的生成式預訓練大模型”為題作報告,報告由人工智能教研室王曉輝主任主持,參會教師為人工智能、物聯網、數據科學教研室教師。
首先,邢軍博士從遙感數據的特點出發,闡述了跨模態遙感數據對于提升遙感影像處理和解譯任務上的性能和普適性的重要意義。
其次,針對大多數現有深度神經網絡模型是利用自然場景圖像預訓練的權重來進行初始化的局限性,探討了一種面向跨模態遙感數據的生成式預訓練大模型。該模型依托掩膜自編碼結構,采用ViT和Swin Transformer等Transformer類骨干網絡,使用目標特性引導的自監督學習方法,能夠面向復雜場景且更具通用表征能力,對新任務有較強的泛化能力。

最后,邢軍博士圍繞視覺結構建模和特征學習、圖神經網絡、視覺大模型微調和細粒度多模態協同感知、認知與生成等方面,分享了計算機視覺領域當前的前沿技術和最新進展,并與參會教師進行了深入的探討和交流。

本次報告內容與參會教師的專業方向密切相關,開闊了教師的視野,促進了學習交流與能力提升,并對教師學術研究方向的選擇起到了有益的啟發作用。