关中大侠的武馆关中大侠的武馆
首页 文章 分类 标签 关于 小游戏 简历 小说 读书笔记 时间线 工具箱 项目
关中大侠的武馆关中大侠的武馆

Contents

RS-45 Few-Shot Disaster Building Damage Mapping

 included in  category 遥感基础模型与多模态理解 and series 2024-2026 遥感 AI 细分研究方向
     821 words   4 minutes 
Series - 2024-2026 遥感 AI 细分研究方向

RS-45 Few-Shot Disaster Building Damage Mapping

范围：灾后建筑损毁低样本制图；优先 VHR 光学 pre/post 遥感影像，兼顾 UAV/FloodNet 与 VLM 报告任务；SAR 或地面多视角工作只作为补充参考。

灾后建筑损毁制图的核心约束是“黄金 72 小时”：需要快速定位受损建筑、判断损毁等级，并把结果交给救援、保险和城市管理流程。但 xBD/xView2 这类主流数据虽然大，仍存在三个长期矛盾：

  1. 低样本与跨灾种泛化：新灾害发生时通常没有本地标注，模型从飓风迁移到地震、火灾、海啸时会因为建筑形态、成像角度、灾害痕迹和背景地貌变化而失效。
  2. 建筑实例与损毁证据错位：像素级变化不一定等于建筑损毁，阴影、季节、火烟、水体、配准误差都会产生伪变化；反过来，屋顶破损、局部坍塌又可能很细微。
  3. 可审计输出不足：应急场景不只要分类标签，还要建筑轮廓、pre/post 证据、损毁理由、置信度和报告文本。VLM 能生成报告，但容易脱离图像证据。

2024-2026 的新变化是，研究开始把 vision foundation model、SAM、VLM、LoRA/adapter、in-context learning 和跨域迁移引入灾害损毁评估，而不是只训练一个 xBD 专用 Siamese CNN。

方向论文/项目年份/来源链接代码/数据关键贡献
强基线与泛化诊断A simple, strong baseline for building damage detection on the xBD dataset2024 arXivpaperGitHub从 xView2 复杂冠军方案中剥离出简单强基线，并重新划分 unseen-location 测试，指出模型和数据分布都会导致跨地点泛化失败。
Foundation model 变化检测Generalizable Disaster Damage Assessment via Change Detection with Vision Foundation Model / DAVI2024 arXiv, 2025 revisionpaper未确认官方代码结合源域任务模型和 segmentation foundation model，在目标区域无 GT 标签时生成损毁伪标签，并做 pixel/image 两阶段 refinement。
SAM 视觉提示Visual Prompt Learning of Foundation Models for Post-Disaster Damage Evaluation / ViPDE2025 Remote Sensingpaper未见官方代码用 SAM 嵌入知识和 pre/post 图像对做 contrastive visual prompt learning，面向建筑损毁评价。
VLM 灾害数据DisasterM3: A Remote Sensing Vision-Language Dataset for Disaster Damage Assessment and Response2025 NeurIPSpaperGitHub26,988 bi-temporal images、123k instruction pairs、36 个灾害事件、9 类任务；包含多传感器，SAR 内容需在光学主线中标记为 mixed-modality。
多模态基准DisasterInsight: A Multimodal Benchmark for Function-Aware and Grounded Disaster Assessment2026 arXivpaper待确认将 xBD 重构为约 112K building-centered instances，支持功能分类、损毁等级、灾害类型、计数和结构化报告；DI-Chat 用 LoRA 做灾害指令适配。
智能迁移Smart Transfer: Leveraging Vision Foundation Model for Rapid Building Damage Mapping with Post-Earthquake VHR Imagery2026 arXivpaperGitHub面向震后 VHR 单灾害快速迁移，提出 Pixel-wise Clustering 和 Distance-Penalized Triplet，做 LODO/SSDC 跨区域实验。
VLM 推理Instruct-ICL: Instruction-Guided In-Context Learning for Post-Disaster Damage Assessment2026 arXivpaperFloodNet 依赖 GitHub用一个 MLLM 生成任务指令/CoT 指导另一个 MLLM，在 FloodNet post-disaster VQA 上研究 prompt/ICL 稳定性。
SAM + temporal VLMIntegrating segmentation and vision-language model for automated and interpretable building damage assessment from satellite imagery / BDAChat2026 Automation in ConstructionpaperGitHub三阶段框架：改进 SAM 分割、时空配对、BDAChat temporal VLM 做对象级损毁推理和解释。
工程基线Microsoft building damage assessment toolkit持续维护GitHub, CNN SiameseGitHub提供 xBD 类别、推理/可视化 workflow，可作为工程 baseline 与部署参考。
经典对象级变化ChangeOS2021 RSE, 仍是重要基线GitHubGitHub深度对象级语义变化检测框架，适合作为非 foundation model 的强对照。
数据xBD / xView22019-paper, dataset index, EOTDLbaseline主流建筑损毁数据，四级损毁标签：no damage、minor、major、destroyed；仍是少样本和跨灾种实验的核心数据。
UAV/VQA 补充FloodNet Challenge2021-GitHubGitHub高分辨率 UAV 洪灾图像，含分类、半监督分割和 VQA，适合验证 Instruct-ICL/VLM 的灾害问答路线。

2024 的 xBD simple strong baseline 很重要，因为它不只是给一个模型，而是指出原 competition split 可能高估泛化能力。它把测试位置设置为训练未见区域后，复杂模型和简化模型都明显暴露跨地点弱点。这说明 RS-45 不能只做随机 split 上的 F1，而必须做 leave-event-out、leave-region-out、leave-disaster-type-out。

3.2 Foundation model + 伪标签/迁移

DAVI 和 Smart Transfer 是这个方向最贴近“低样本”的两条线：

  • DAVI：在目标灾区没有 GT 标签时，用源域损毁模型和 segmentation foundation model 生成目标伪标签，再做 pixel/image refinement。它更像 unsupervised domain adaptation。
  • Smart Transfer：用 vision foundation model feature 做震后 VHR 建筑损毁迁移，通过 pixel-wise clustering 和 distance-penalized triplet 处理跨区域特征对齐。它更像 few-shot/transfer learning 的方法论文雏形。

3.3 SAM/实例分割 + 损毁推理

建筑损毁不是普通变化检测，必须先把“建筑实例”稳定分出来，再判断该实例在 post-event 中是否损毁。ViPDE 和 BDAChat 都体现了这个趋势：SAM 或改进 SAM 用来得到对象边界，后续模块处理 pre/post 对齐和损毁语义。

关键细问题是：SAM mask 是否对应同一建筑？pre/post misregistration 会不会让 mask evidence 错位？如果 SAM 只看 post-event，倒塌建筑可能轮廓消失；如果只看 pre-event，post-event 证据需要精确投影。

3.4 VLM/指令数据 + 可解释报告

DisasterM3、DisasterInsight、Instruct-ICL、BDAChat 把任务从标签预测扩展到 VQA 和结构化报告。这个方向的研究价值在于：把灾害响应中的自然语言问题转成可验证输出。但风险也很明显：VLM 可能根据灾害类型和常识猜测损毁，未必看到了建筑证据。

  1. 低样本定义混乱：few-shot 可以指每个灾害几张图、每类几个建筑、每个区域少量标注、或者只给文本/视觉 prompt。必须在论文中明确标注成本。
  2. 损毁等级长尾：minor/major/destroyed 的分布不均，minor 与 no-damage 视觉差异小，destroyed 又常受遮挡和背景影响。
  3. pre/post 配准误差：像素级差分对 VHR 灾后场景非常敏感，尤其地震、火灾、洪水中的阴影、水体、烟雾会制造伪变化。
  4. 跨灾种外观差异：火灾是烧蚀/烟熏，洪水是水淹/泥沙，地震是坍塌/碎片，飓风是屋顶破损；统一损毁标签掩盖了机制差异。
  5. 证据评估缺失：只看 building-level F1 不知道模型是否定位到真实损毁区域；VLM 报告尤其需要 evidence mask 或 attention/grounding 约束。
  6. 光学可观测性限制：灾后云、烟、夜间、遮挡会让纯光学影像失败。本文主线仍以光学为主，但方法设计应报告“不可判定/低置信”状态，而不是强行分类。

题名候选：Few-Shot Evidence-Aware Disaster Adapter for Building Damage Mapping

少量目标灾区建筑级标注 + foundation model 特征 + SAM 建筑实例证据，比纯 xBD 源域模型或纯 VLM zero-shot 更能跨灾种泛化；如果同时约束损毁预测必须对应 pre/post evidence mask，可以减少“答对但证据错”的不可审计结果。

  1. 建筑实例锚定：用 pre-event 建筑 footprint、SAM/改进 SAM、xBD polygon 或 OSM footprint 得到候选建筑实例。
  2. 双时相特征编码：用 DINOv2/SAM image encoder/遥感 VFM 提取 pre/post object crop、mask pooled feature 和 local context feature。
  3. few-shot adapter：每个目标灾区只标注 K 个 building instances，训练 LoRA/adapter/prototype head；对比 Smart Transfer 的 Pixel-wise Clustering 和 DPT。
  4. 证据 mask 约束：输出 damage class 的同时输出 changed evidence mask；损失由 building-level CE、mask consistency、pre/post contrastive loss 和 uncertainty regularization 组成。
  5. VLM 报告头：可选接入 BDAChat/DI-Chat 风格报告，但要求报告引用模型输出的 evidence mask，不允许只生成自由文本。
数据用途备注
xBD/xView2主实验做 leave-disaster-type-out、leave-event-out、leave-region-out；四级损毁和 building polygon。
Smart Transfer 数据震后 VHR 迁移用于验证 post-earthquake VHR 场景和代码复现。
DisasterInsightVLM/report 扩展building-centered instances，可做 damage-level + report generation。
DisasterM3多灾害 VLM 补充mixed modality，光学子集优先，SAR 样本单独报告。
FloodNetUAV/VQA 补充不完全是建筑损毁制图，但适合验证灾害 VQA/ICL。
  • xBD simple strong baseline / xView2 baseline。
  • ChangeOS 或 SNUNet-CD/BIT/ChangeFormer 类变化检测。
  • DAVI：无目标标签的 foundation model change detection。
  • Smart Transfer：VFM + PC + DPT 跨区域迁移。
  • SAM/ViPDE/BDAChat：实例分割或 VLM 解释路线。
  • Zero-shot VLM / Instruct-ICL：只用 prompt/ICL 做 damage QA 或 damage classification。
层面指标
建筑定位building IoU、polygon F1、mask boundary F-score
损毁分类macro-F1、per-class F1、balanced accuracy、minor/major/destroyed confusion
变化证据evidence mask IoU、changed-area precision/recall、evidence-class consistency
低样本效率K-shot curve、annotation minutes per F1 point、support set sensitivity
泛化leave-event-out、leave-region-out、leave-disaster-type-out、cross-year
可信度ECE、selective risk、abstention accuracy、uncertainty-error correlation
报告质量structured field accuracy、grounded report score、human audit pass rate
实验目标设置
E1确认强基线复现 xBD simple strong baseline；random split vs unseen-location split。
E2few-shot 曲线每个目标灾害 K=1/5/10/25/50 buildings，训练 prototype/LoRA/adapter。
E3SAM 证据价值with/without SAM building mask；pre-mask、post-mask、union/intersection 三种证据池化。
E4跨灾种train wildfire+hurricane，test earthquake/tsunami/flood；反向也做。
E5配准扰动对 post 图做 1-8 pixel shift，测试 damage F1 和 evidence IoU 下降。
E6VLM 报告对同一建筑输出 damage label + evidence + report，与 DI-Chat/BDAChat 或 zero-shot VLM 比较。
E7不确定拒判允许模型输出 uncertain/unobservable，评价 selective risk 和人工复核比例。
  • 数据许可和下载门槛：xBD/xView2 可能需要注册；DisasterM3 有 academic-only 限制。规避：先用公开 baseline repo 和小样本 subset 建最小 pipeline。
  • VFM 不一定适合 VHR 灾害细节：自然图像 foundation model 或粗分辨率 GeoFM 可能看不到屋顶细节。规避：比较 DINOv2/SAM encoder/VHR 遥感模型，不只用一个 backbone。
  • VLM 幻觉：报告生成会显得“聪明”但不可审计。规避：强制引用 evidence mask 和结构化字段，先评估字段再评估文本。
  • minor damage 标注主观：轻微损毁视觉证据弱。规避：报告 per-class F1 和人工复核 disagreement，不只看总体 F1。
  1. A simple, strong baseline for building damage detection on the xBD dataset
  2. Generalizable Disaster Damage Assessment via Change Detection with Vision Foundation Model
  3. Visual Prompt Learning of Foundation Models for Post-Disaster Damage Evaluation
  4. DisasterM3 and GitHub
  5. DisasterInsight
  6. Smart Transfer and GitHub
  7. Instruct-ICL
  8. BDAChat GitHub
  9. FloodNet Challenge
  10. Microsoft building-damage-assessment-cnn-siamese

Related Content

RS-44 Fairness of Socioeconomic Mapping with GeoFM Embeddings

RS-43 Illegal Mining Evidence Grounding

RS-42 Wildfire Mapping with GeoFM LoRA

RS-41 Phenology-Aware Crop Foundation Models

Updated on 2026-06-07 09:44:00
Read markdown
 遥感应用, 农业生态灾害, 方法化
 | Home

评论