关中大侠的武馆RS-32 Spectral Configuration Shift
Series - 2024-2026 遥感 AI 细分研究方向
Contents
RS-32 Spectral Configuration Shift
摘要
Spectral configuration shift 指训练和测试时的谱段数量、中心波长、带宽、spectral response function、预处理级别或缺失模式不同。它是高光谱/多光谱基础模型落地的硬问题：模型不是只要“能吃很多 band”，而是要知道不同传感器的 band 不是同一个物理观测。2024-2026 的代表路线包括 SpectralGPT、S2MAE、DOFA、HyperSIGMA、HyperFree、Panopticon、SpecAware、LESSViT、Any-Optical-Model 和 SpectralEarth-FM。
问题由来
RGB 模型默认通道固定；遥感中 Sentinel-2、Landsat/HLS、Planet、NAIP、EnMAP、PACE、AVIRIS 等传感器的谱段配置差异很大。高光谱数据还会遇到坏 band、噪声 band、不同大气校正链和空间分辨率差异。若模型只记住通道序号，到了未见传感器或缺 band 输入时就会退化。
代表论文与项目
| 工作 | 年份 | 链接 | 核心机制 |
|---|---|---|---|
| SpectralGPT | 2024 TPAMI | arXiv, GitHub | 3D token 与多目标重建，强调空间-光谱耦合。 |
| S2MAE | 2024 CVPR | CVF PDF | spatial-spectral masked pretraining。 |
| DOFA | 2024 | arXiv, GitHub | 通过 wavelength-conditioned hypernetwork 处理多传感器输入。 |
| HyperSIGMA | 2025 TPAMI | Project, GitHub | 大规模高光谱 foundation model，覆盖多任务。 |
| HyperFree | 2025 CVPR | CVF, Project | channel-adaptive、tuning-free，高光谱变波段输入。 |
| Panopticon | 2025 CVPRW | arXiv, GitHub | wavelength encoding、channel subsampling、channel cross-attention。 |
| SpecAware | 2025/2026 ISPRS JPRS | arXiv | sensor meta-attributes + image content 条件化。 |
| LESSViT | 2026 | arXiv | 明确针对 spectral configuration shift 的鲁棒 HSI 表征。 |
| Any-Optical-Model | 2026 AAAI | AAAI PDF | spectrum-independent tokenizer，测试 missing/cross-sensor/cross-resolution。 |
| SpectralEarth-FM | 2026 | arXiv | 将高光谱带入多模态 EO 预训练。 |
方法比较
- 固定通道模型：训练稳定，但无法自然处理未见传感器。
- band id / wavelength embedding：简单，但中心波长不足以表示完整 SRF。
- hypernetwork tokenizer：由 wavelength 或 sensor metadata 生成输入投影，跨传感器更灵活。
- channel cross-attention：将 band 作为 token，让模型学习谱段间关系。
- spectral grouping：先按物理连续性或传感器响应分组，降低 HSI token 爆炸。
当前问题
- 很多 benchmark 的 missing band 是人工 mask，不等价于真实传感器缺测。
- cross-sensor 测试常同时混入地理区域、季节和空间分辨率差异，因果不干净。
- 中心波长被过度使用，完整 SRF、带宽和辐射定标很少进入模型。
- HSI 数据集小而碎，预训练数据与下游标签分布差异很大。
- 缺少统一 leave-sensor-out protocol。
可执行研究方案
题目：SRF-Aware Evaluation for Spectral Configuration Shift
实验设计：
- 收集 Sentinel-2、Landsat/HLS、EnMAP/EMIT 或公开 HSI 数据。
- 构造四种 shift：band dropout、band reorder、leave-sensor-out、SRF perturbation。
- 比较固定 tokenizer、wavelength embedding、DOFA-style hypernetwork、Panopticon-style channel attention、LESSViT。
- 评估分类、分割和 regression 三类下游任务。
指标：
- task metric：OA/F1/mIoU/RMSE。
- spectral robustness curve：丢 band 比例 vs 性能。
- leave-sensor generalization gap。
- spectral attribution consistency：重要 band 是否符合物理常识。
未来方向
- 用完整 SRF 曲线而不是中心波长条件化 tokenizer。
- 构造真实 cross-sensor paired benchmark。
- missing-band dropout 与 sensor metadata adapter 联合预训练。
- 将光谱指数保持约束加入自监督重建。
- 把 spectral shift 与 spatial/GSD shift 解耦评测。
评论