时序建模 - Tag - 堂堂一跑堂https://spacetop.win/tags/%E6%97%B6%E5%BA%8F%E5%BB%BA%E6%A8%A1/时序建模 - Tag - 堂堂一跑堂Hugo -- gohugo.iozh-CNkingcopper@whu.edu.cn (WangTong)kingcopper@whu.edu.cn (WangTong)Mon, 01 Jun 2026 12:00:00 +0800RSCaMa：首次将Mamba引入遥感变化描述任务，实现高效时空建模https://spacetop.win/2026/06/20260601_211500_rscama_change_captioning/Mon, 01 Jun 2026 12:00:00 +0800WangTonghttps://spacetop.win/2026/06/20260601_211500_rscama_change_captioning/ RSCaMa：首次将Mamba引入遥感变化描述任务，实现高效时空建模

论文解读 | IEEE GRSL 2024 | ESI高被引论文

📄 论文信息

项目 内容
标题 RSCaMa: Remote Sensing Image Change Captioning with State Space Model
作者 Chen-Yang Liu et al.
会议 IEEE Geoscience and Remote Sensing Letters (GRSL) 2024
arXiv https://arxiv.org/abs/2405.13366
GitHub https://github.com/Chen-Yang-Liu/RSCaMa
关键词 遥感变化描述、状态空间模型、Mamba、时序建模、多时相遥感

🎯 解决的核心问题

遥感图像变化描述（Remote Sensing Image Change Captioning, RSICC）是一项新兴的多模态任务，旨在用自然语言描述多时相遥感图像之间的地表变化。与传统的二元变化检测（仅判断"变/不变"）不同，RSICC需要输出更丰富的语义信息：

  • 变化对象：建筑物、道路、植被等
  • 变化位置：在哪里发生了变化
  • 变化动态：是新增还是消失
  1. CNN-based方法：感受野有限，难以捕获长距离时空依赖关系
  2. Transformer-based方法：自注意力机制的二次复杂度导致计算成本高昂，特别是在处理高分辨率遥感图像时
  3. 时序建模不足：现有方法多采用简单的双分支结构，缺乏对时序信息的深度交互

如何在保持线性计算复杂度的同时，实现双时相遥感图像之间的深度时空交互，从而生成更准确的变化描述？

💡 解决方案

设计动机： Mamba架构的时间扫描特性与RSICC任务的时序需求存在天然契合。传统SSM采用单向扫描，无法充分利用双时相图像之间的交互信息。

具体实现： TT-SSM采用时间交叉扫描策略，让两个时相的特征在网络中"交错前行"：