Transformer - Tag - 堂堂一跑堂https://spacetop.win/tags/transformer/Transformer - Tag - 堂堂一跑堂Hugo -- gohugo.iozh-CNkingcopper@whu.edu.cn (WangTong)kingcopper@whu.edu.cn (WangTong)Mon, 01 Jun 2026 12:00:00 +0800SkySense V2：统一多模态遥感基础模型，一个Backbone搞定RGB/SAR/多光谱https://spacetop.win/2026/06/20260601_220000_skysense_v2_multimodal/Mon, 01 Jun 2026 12:00:00 +0800WangTonghttps://spacetop.win/2026/06/20260601_220000_skysense_v2_multimodal/ SkySense V2：统一多模态遥感基础模型，一个Backbone搞定RGB/SAR/多光谱

论文解读 | ICCV 2025 | 2026-06-01

📄 论文信息

项目 内容
标题 SkySense V2: A Unified Foundation Model for Multi-modal Remote Sensing
作者 蚂蚁集团、武汉大学
会议 ICCV 2025
arXiv 待确认
GitHub https://github.com/kang-wu/SkySensePlusPlus
关键词 遥感基础模型、多模态统一、Transformer、自监督学习、专家混合

🎯 解决的核心问题

在遥感领域，我们经常需要处理多种模态的数据：光学图像（RGB）、多光谱图像（MS）、合成孔径雷达（SAR）等。这些不同模态的数据各有优势——光学图像色彩丰富，SAR能穿透云雾，多光谱能捕捉植被健康状况。

目前的多模态遥感基础模型存在一个尴尬的问题：

  1. 参数冗余：为每种模态训练单独的backbone，导致模型参数量爆炸
  2. 效率低下：不同模态的模型无法共享特征，计算资源浪费严重
  3. 语义不一致：不同模态提取的特征难以对齐，影响下游任务性能

如何用一个统一的backbone高效处理多种遥感模态，同时保持各模态的独特特性？

💡 解决方案

设计动机：既然不同模态的图像都是2D数据，为什么不共享一个backbone？

具体实现：