RS-29 On-Orbit Foundation Model Compression

范围：面向星上/边缘部署的光学/多光谱 GeoFM 压缩实验。默认不以 SAR-only 任务为主；混合模态论文只取其中对光学/多光谱 foundation model 压缩有价值的部分。

1. 研究问题

这个方向的核心问题不是“把模型做小”这么简单，而是：在星上或边缘设备的功耗、内存、延迟、抗辐照、通信和实时决策约束下，如何把 Prithvi/SkySense/Clay/多模态遥感 VLM 等大模型能力压缩成可靠可运行的任务系统。

典型场景包括：

• 云检测、洪水检测、火点/烧毁区、非法采矿、灾后损毁等事件触发式任务。
• 星上预筛选：只下传有价值 tile 或事件摘要，减少带宽。
• 边缘无人机/小卫星实时推理：低延迟、低功耗、可失败回退。
• 小模型先路由，大模型按需调用：tiny detector/cloud mask/saliency 先判断是否值得使用 GeoFM。

最适合作为论文切口的问题是：GeoFM 压缩后的 accuracy-latency-energy-OOD trade-off 如何被系统评估，并且能否通过 adapter、量化、剪枝、蒸馏和任务路由组合，让压缩模型在真实分布偏移下仍可靠。

2. 问题由来

遥感 foundation model 的规模在 2024-2026 快速变大：SkySense、Prithvi-EO-2.0、Clay、Galileo、TerraMind、AlphaEarth 等都在扩大数据、任务和模态覆盖。但星上部署的约束反过来很硬：

1. 算力约束：星载 CPU/FPGA/低功耗 GPU/NPU 通常远弱于地面训练集群。
2. 内存约束：大 ViT/VLM 的 attention token 和中间激活会超过星上设备内存。
3. 功耗约束：能耗比 FLOPs 更关键，太阳能、热控和任务 duty cycle 都会限制推理频率。
4. 带宽约束：星上 AI 的价值经常不是最终高精度制图，而是减少无效下传。
5. 可靠性约束：辐射、温度、压缩伪影、云雾、传感器漂移和 OOD 会放大量化/剪枝误差。

NASA 2026 关于 Prithvi 的在轨报道和 2025 arXiv 的在轨演示论文说明，这个方向已经从概念验证进入系统工程阶段：压缩版 foundation model 被部署到 Kanyini 卫星和 ISS IMAGIN-e 平台，用于云与洪水相关检测。这给研究带来一个很好的窗口：现在可以围绕“模型压缩 + 在轨约束 + 任务可靠性”做方法论文，而不是只做工程展示。

3. 代表论文与项目

4. 方法路线比较

5. 可投稿实验设计

题目草案：Risk-Calibrated Compression of Geospatial Foundation Models for On-Orbit Optical Remote Sensing

5.1 核心假设

1. 仅用 accuracy 压缩 GeoFM 会高估星上可用性；必须同时评估 latency、energy、memory、downlink saving 和 OOD robustness。
2. 对遥感大图，最危险的压缩不是权重量化，而是 tile/token pruning 导致的不可恢复漏检。
3. 用不确定性和小目标/云/变化先验约束的 dynamic routing，可以在相同能耗下比静态压缩模型更可靠。

5.2 模型候选

Teacher:

• Prithvi-EO-2.0 300M/600M。
• SkySense 或 Clay 作为开源/半开源对照。
• 对 VLM 任务可选 LRS-VQA 相关 LVLM 或 TinyRS-R1 teacher/student 组合。

Student:

• MobileViT/ConvNeXt-T/ViT-Tiny/Mamba-tiny/RS-vHeat-small。
• Prithvi encoder + LoRA/adapter + small decoder。
• tiny cloud/event router + compressed GeoFM cascade。

压缩配置：

• FP16 baseline。
• INT8 post-training quantization。
• INT4/混合精度量化。
• 结构化 pruning 25/50/75%。
• token pruning 25/50/75%，带风险校准。
• teacher-student distillation：feature distillation、logit distillation、mask distillation。
• LoRA rank 4/8/16，adapter bottleneck 32/64/128。

5.3 任务与数据集

优先选择光学/多光谱，并覆盖“星上有实际价值”的事件任务：

说明：如果使用 Sen1Floods11 这类混合模态数据，实验应明确只使用光学输入或把 SAR 设为额外低优先对照，避免偏离当前任务范围。

5.4 硬件指标

论文中应报告两类指标：算法指标和部署指标。

算法指标：

• accuracy、mIoU、F1、AP、AUROC。
• OOD drop：跨地区、跨季节、跨传感器、跨 GSD。
• calibration：ECE、Brier score、risk-coverage curve。
• small-object/event recall：星上任务最怕漏检。

部署指标：

• 模型大小：MB，参数量。
• 峰值内存：MB。
• 推理延迟：ms/tile、s/scene。
• 能耗：J/tile、J/scene，或功耗 x 延迟近似。
• 吞吐：km2/s 或 tiles/s。
• 下传节省：需要下传 tile 比例、事件触发准确率。
• duty cycle：单位轨道周期可处理图像数。
• 回退率：router 不确定时调用大模型或下传原图的比例。

硬件建议：

• 地面模拟：Jetson Orin Nano/NX、Raspberry Pi + Coral、Intel/ARM CPU。
• 更接近星载：RISC-V/FPGA/NPU 模拟环境，或使用公开 on-board AI benchmark 的等价功耗设置。
• 若没有真实硬件，至少使用 ONNX Runtime/TensorRT 的延迟与峰值内存，并报告测量环境。

6. 失败模式

1. 漏检比误检更致命：cloud/flood/fire/event routing 中，压缩模型漏掉关键区域会导致无法下传原始数据。
2. 小目标被 token pruning 剪掉：飞机、船、窄水体、局部火点、建筑损毁很容易在粗分辨率 overview 中消失。
3. 量化破坏置信度校准：accuracy 下降不大，但 uncertainty 失真，无法可靠触发回退。
4. 蒸馏继承 teacher 偏差：teacher 在某气候带或城市形态下错，student 会更自信地错。
5. 压缩模型 OOD drop 更大：新地区、新传感器、新季节下压缩误差被放大。
6. FLOPs 不等于能耗：非结构化剪枝在真实硬件上可能无收益，memory bandwidth 反而成为瓶颈。
7. 星上环境缺少人工修复：模型输出需要 watchdog、fallback 和可追踪日志。

7. 最小实现路线

阶段 A：地面可复现 baseline

1. 选 Prithvi-EO-2.0 或 Clay encoder。
2. 选择云检测或洪水检测作为第一个任务。
3. 建立 FP16 baseline：linear probe / small decoder / LoRA adapter。
4. 添加 INT8 和 INT4 量化。
5. 添加 small student distillation。
6. 在同一数据划分上报告 accuracy、mIoU、latency、memory。

阶段 B：风险感知压缩

1. 对大图引入 dynamic tiling/token pruning。
2. 对每个 tile 输出 risk score：uncertainty、saliency、小目标先验、cloud/event likelihood。
3. 设计 fallback：高风险 tile 不剪枝或调用 teacher。
4. 报告 risk-coverage-energy 曲线。

阶段 C：星上任务系统模拟

1. 模拟轨道批处理：输入一批时序影像 tile。
2. tiny router 先判断 cloud/event/no-interest。
3. compressed GeoFM 处理疑似事件 tile。
4. 只有高价值 tile 下传。
5. 输出 downlink saving、event miss rate、energy per detected event。

8. 推荐实验矩阵

核心图表：

• accuracy-latency-energy Pareto。
• OOD drop vs compression ratio。
• event recall vs downlink saving。
• calibration curve before/after quantization。
• small-object recall vs token pruning ratio。

9. 可能的创新点

1. Risk-calibrated token pruning：剪枝模块不仅输出保留 token，还输出漏检风险；风险高则保留高分辨率 tile 或触发回退。
2. Quantization-aware geospatial adapter：只让少量 adapter 保持 FP16/BF16，backbone INT8/INT4，保护光谱/时序细节。
3. Teacher-student-router 三元蒸馏：teacher 教 student 特征，teacher 同时教 router 判断何时不该压缩。
4. On-orbit evaluation protocol：把 event miss rate、downlink saving、J/event、OOD drop 和 calibration 纳入统一 benchmark。
5. Failure replay buffer：星上保存高不确定/疑似失败 tile，下传后用于地面再训练 adapter。

10. 推荐论文方案

论文标题候选：

• Risk-Calibrated Compression of Geospatial Foundation Models for On-Orbit Optical Remote Sensing
• Tiny-to-Reliable: Energy-Aware GeoFM Compression with Uncertainty Fallback for Satellite Edge Inference
• Beyond FLOPs: Evaluating Compressed Earth Observation Foundation Models under On-Orbit Constraints

方法模块：

1. Compressed GeoFM backbone：Prithvi/Clay + INT8/INT4 + LoRA。
2. Distilled student：small ViT/Mamba/RS-vHeat。
3. Risk-aware tile/token selector：uncertainty + saliency + small-object prior。
4. Tiny router：cloud/event/no-interest triage。
5. Fallback policy：high-risk tile uses teacher or downlinks raw patch.

预期贡献：

• 一个面向星上约束的 GeoFM 压缩 benchmark protocol。
• 一个风险感知压缩和回退方法。
• 一组比单纯 accuracy/FLOPs 更真实的部署指标。
• 对 Prithvi/Clay 等公开模型的可复现实验脚本。

11. 下一步阅读队列

1. NASA: Prithvi Geospatial Foundation Model in Orbit
2. First On-Orbit Demonstration of the Applications of Geospatial Foundation Models
3. Prithvi-EO-2.0 GitHub
4. TinyRS-R1
5. Optimizing Deep Learning Models for On-Orbit Deployment Through NAS
6. LRS-VQA / Coarse-to-Fine Text-Guided Token Pruning
7. Parameter Efficient Self-Supervised Geospatial Domain Adaptation
8. RS-vHeat
9. DynamicVis
10. MetaCompress

12. 结论

RS-29 最值得继续推进的不是单点压缩技巧，而是风险感知的星上 GeoFM 任务系统：用压缩 GeoFM 提供语义能力，用 tiny router 和 uncertainty fallback 控制漏检风险，用 energy/downlink/OOD/calibration 指标替代只看 FLOPs 的评价。这个切口足够细，也贴近 2026 已经出现的 Prithvi in Orbit 趋势，具备 TGRS、ISPRS JPRS、CVPR/ICCV workshop 或应用型顶刊的投稿潜力。