关中大侠的武馆RS-30 Tiny Model Task Routing for EO
Series - 2024-2026 遥感 AI 细分研究方向
Contents
RS-30 Tiny Model Task Routing for EO
范围：星上或边缘端的光学/多光谱遥感任务路由。核心问题是：先用轻量 cloud mask、saliency、tiny detector 或低分辨率模型判断是否调用大模型、是否下传图像、是否触发灾害回退机制，从而节省能耗和带宽，同时控制漏检风险。
1. 方向概述
星上 AI 的早期目标通常是“把一个小模型塞进 CubeSat/边缘硬件”。但 2024-2026 的趋势正在变成“级联式任务路由”：轻量模型先做快速筛选，大模型或下传链路只处理高价值、高风险或不确定样本。这样的问题比单纯模型压缩更像一个决策系统：
- 输入端：低分辨率 quick-look、压缩预览、云量估计、saliency map、tiny detector、元数据、任务优先级。
- 路由端：决定丢弃、压缩下传、调用中等模型、调用大模型、或触发灾害/异常回退。
- 输出端：省电、省带宽、低延迟，同时保证云、洪水、火点、船只、道路损毁等关键事件不被漏掉。
这个方向的研究价值在于：真实星上/边缘约束不是一个静态 FLOPs 约束，而是动态的电量、热、存储、下传窗口、任务优先级和风险预算。一个可投稿的小题可以围绕“风险感知 tiny-to-large cascade for EO”展开。
2. 代表论文与项目
| 标题/项目 | 年份/venue | 链接 | 代码/模型 | 与 RS-30 的关系 |
|---|---|---|---|---|
| NASA’s Prithvi Becomes First AI Geospatial Foundation Model In Orbit | 2026 NASA | NASA Science | Prithvi-EO-2.0 GitHub | 压缩版 Prithvi 已在 Kanyini 与 ISS IMAGIN-e 上测试云/洪水检测，说明“压缩 FM 上轨 + 任务触发”已进入实证阶段。 |
| Prithvi-EO-2.0 | 2024 arXiv / NASA-IBM | arXiv | GitHub, HF | 可作为大模型分支或 teacher；300M/600M 版本适合研究压缩、LoRA、蒸馏。 |
| Φsat-2 | 2024 ESA mission | ESA mission, Introducing Φsat-2 | PhiSat-2 GitHub org | 6U CubeSat，星上运行 cloud detection、vessel detection、wildfire、marine anomaly、compression 等应用，是任务路由系统的现实原型。 |
| Φsat-2 gets two new AI apps | 2024 ESA | ESA | mission apps | 明确提出云去除、应急街图、船只检测、海洋污染、野火检测等多 app 场景，适合抽象成 onboard scheduler。 |
| Optimizing Deep Learning Models for On-Orbit Deployment Through Neural Architecture Search | 2025 Scientific Reports | Nature | 未见官方代码 | 硬件/任务约束下的 NAS，给级联系统里的 tiny/mid 模型选型提供方法基础。 |
| Efficient FPGA-accelerated CNNs for Cloud Detection on CubeSats | 2025 arXiv | arXiv | 未见官方代码 | 云检测是最自然的第一级路由器；论文报告在 Zynq UltraScale+ MPSoC 上用 FPGA/DPU 实现实时云检测。 |
| TinyRS-R1: Compact Multimodal Language Model for Remote Sensing | 2025 arXiv | arXiv | 未确认官方代码 | 2B 遥感多模态小模型，可作为边缘端“轻量语义解释/任务确认”分支，而不是直接调用 7B/13B VLM。 |
| Lightweight Remote Sensing Scene Classification on Edge Devices via Knowledge Distillation and Early-exit | 2025 arXiv | arXiv | 未见官方代码 | early-exit 和蒸馏适合做“简单样本早停，困难样本路由到大模型”。 |
| SatReg: Regression-based NAS for Lightweight Satellite Image Segmentation | 2026 arXiv | arXiv | GitHub 未核验 | 在 Jetson Orin Nano 上拟合 mIoU、latency、power surrogate，适合作为级联系统硬件 cost model。 |
| TA-YOLO | 2024 Complex & Intelligent Systems | Springer | 未见官方代码 | 轻量小目标检测，可作为第一级 tiny detector 候选。 |
| LEGNet | 2025 arXiv | arXiv | 未见官方代码 | 针对低质量遥感图像的轻量目标检测，适合评估噪声/低分辨率 quick-look 下的路由鲁棒性。 |
| MEANet | 2024 Expert Systems with Applications | ScienceDirect | 未见官方代码 | 轻量光学遥感 saliency detection，可用于“是否值得下传/是否调用大模型”的 saliency gate。 |
| Lightweight Semantic- and Graph-Guided Network for ORSI-SOD | 2025 Remote Sensing | MDPI | 未见官方代码 | 低计算成本 saliency，强调边缘和语义引导，可作为异常/目标候选区域路由器。 |
| IEAM for Remote Sensing Salient Object Detection | 2025 Remote Sensing | MDPI | 未见官方代码 | 兼顾边界、注意力和效率，适合与 tiny detector/cloud mask 组合。 |
| LightEMNet | 2025 TGRS | CoLab/IEEE record | 未见官方代码 | 弱监督轻量 Mamba-fusion SOD，论文记录显示仅 4.81M 参数，适合 onboard saliency gate。 |
| E4: Energy-Efficient DNN Inference via Early-Exit and DVFS | 2025 arXiv | arXiv | 未核验 | 通用边缘视频分析方法，可迁移到星上 EO：根据模型置信度和芯片频率动态控制能耗。 |
| SCTNet-NAS for Cloud-Edge Collaborative Perception | 2025 Complex & Intelligent Systems | Springer | 未见官方代码 | 通用 cloud-edge 协同分割框架，可迁移为“星上初筛 + 地面/大模型精处理”。 |
3. 问题由来
3.1 星上/边缘不是单模型问题
单个轻量模型可以降低延迟，但真实 EO 系统还要决定：
- 这张图云太多，是否不下传？
- quick-look 中疑似洪水/火点/船只，是否立刻调用大模型？
- 小模型置信度低但灾害风险高，是否宁可多耗电也进入大模型？
- 当前电量、热状态、存储和下传窗口是否允许继续计算？
- 如果大模型失败或超时，是否用规则/传统指数模型回退？
因此 RS-30 的核心不是“tiny detector 做得更准”，而是把小模型的不确定性转化为任务路由决策。
3.2 云检测是最自然的第一级 gate
云会直接决定影像是否有下传价值，也会影响洪水、作物、火点等任务。Φsat-2 和 FPGA cloud detection 工作都说明云检测适合星上实时运行。一个强 baseline 是：
- tiny cloud classifier / cloud segmentation 估计云量和可用区域；
- 对低云量图像运行 saliency/tiny detector；
- 对高价值或高不确定图像调用大模型或压缩下传；
- 对高云但灾害高风险区域保留 quick-look 和元数据，而不是直接丢弃。
3.3 Saliency/tiny detector 可以做“价值估计”
云量低不代表值得下传。saliency、vessel/fire/flood/building-damage tiny detector 可以估计是否包含目标或异常。与普通检测不同，这里第一阶段不需要完美 box/mask，而要高召回、低漏检、可校准。
3.4 大模型分支应该是稀缺资源
Prithvi in orbit 证明压缩 GeoFM 能上轨，但 foundation model 仍然比 tiny CNN/YOLO/SOD 更昂贵。合理的系统应把大模型当作稀缺专家：
- 只处理高风险或高价值样本；
- 只处理候选 tile，而不是整幅影像；
- 被 tiny model 的不确定性、任务优先级和灾害先验触发；
- 输出更高质量 mask/语义解释/不确定性，指导是否下传。
4. 方法比较
| 路线 | 输入 | 决策粒度 | 优点 | 风险 | 适合的第一实验 |
|---|---|---|---|---|---|
| Cloud-first gate | quick-look 或低分辨率多光谱 | 整图/大 tile | 最容易解释，直接节省下传 | 灾害被云遮挡时可能误丢 | cloud mask + flood/fire fallback |
| Saliency gate | RGB/多光谱 tile | tile/region | 无需固定类别，适合异常候选 | saliency 对背景纹理敏感 | ORSSD/EORSSD + downstream target recall |
| Tiny detector gate | 目标类别明确，如船、火、洪水、建筑损毁 | box/tile | 可直接控制召回 | 长尾类和跨域退化 | DOTA/DIOR/xBD/flood 数据 |
| Early-exit classifier | 分类/场景任务 | sample | 简单样本省计算 | dense prediction 不直接适用 | RSSCN7/AID/EuroSAT |
| Teacher-student cascade | tiny student + GeoFM/VLM teacher | sample/tile | 容易复现，能做蒸馏 | teacher 错误会传染 | Prithvi/SegFormer teacher + MobileNet/YOLO student |
| Cost-aware NAS | 硬件 profile + surrogate | model level | 贴近真实功耗/延迟 | 搜索空间可能窄 | Jetson Orin Nano 或 Raspberry Pi |
| Policy routing | 多个模型/动作 | action | 可同时优化能耗、带宽、漏检 | 训练和评估复杂 | 离线仿真先做 bandit/RL |
5. 可投稿研究方案：Risk-Aware Tiny-to-Large Routing for EO
5.1 问题定义
给定星上或边缘端输入影像 x、任务上下文 c（区域、灾害预警、任务优先级、剩余电量、下传窗口），系统在动作集合中选择：
drop：不处理/不下传；downlink_preview：只下传压缩预览；run_tiny：只运行轻量模型并输出；run_large_roi：只对候选 ROI 调用大模型；downlink_full：完整下传；emergency_fallback：灾害高风险时触发保守策略。
目标不是最大化单一 mIoU，而是优化：
Utility = task_quality - lambda_energy * energy - lambda_bandwidth * bandwidth - lambda_latency * latency - lambda_miss * critical_miss
其中 critical_miss 对灾害、船只、火点等关键目标赋予更高惩罚。
5.2 模型结构
- Quick-look encoder：低分辨率图像或压缩预览，MobileNetV3/EfficientNet-Lite/TinyViT。
- Cloud gate：输出云量、可用像素比例、云边缘不确定性。
- Saliency/tiny detector gate：输出候选 ROI、目标存在概率、异常分数。
- Risk calibrator：用温度缩放、conformal prediction 或 ensemble 估计漏检风险。
- Router policy：基于风险、任务优先级、硬件状态选择动作。
- Large branch：Prithvi-EO-2.0/SegFormer/SAM/VLM，只对候选 ROI 或关键样本运行。
- Fallback rules：灾害预警区域、历史火点/洪水区域、云边缘区域启用保守策略。
5.3 候选数据集
| 子任务 | 数据集 | 用法 |
|---|---|---|
| 云检测 | 38-Cloud, CloudSEN12 的光学部分, Sentinel-2 cloud mask 数据 | 训练 cloud gate；评估云量估计和可用像素 |
| 洪水/水体 | Sen1Flood11 的 Sentinel-2 光学样本、FloodNet/公开 flood optical subsets | 灾害高风险回退与大模型分支 |
| 火点/烧毁 | xBD/fire subsets、CalFireSeg-50、burn scar datasets | 高风险漏检惩罚 |
| 船只/车辆/飞机 | DOTA、DIOR、xView 的光学目标 | tiny detector gate 高召回评估 |
| Saliency | ORSSD、EORSSD | saliency gate 与 ROI 选择 |
| 边缘硬件 | Jetson Orin Nano/Raspberry Pi/FPGA profile | 真实延迟、功耗、吞吐测量 |
5.4 评价指标
- 任务质量：mIoU、F1、AP、Recall@K、critical-object recall。
- 路由效率：平均能耗、平均延迟、平均下传 MB、large-branch call rate。
- 风险指标：critical miss rate、false drop rate、cloudy-but-critical recall。
- 校准指标：ECE、Brier score、risk-coverage curve、selective risk。
- 系统指标：utility、Pareto front、mission budget satisfaction rate。
6. 实验矩阵
| 实验 | Tiny gate | Large branch | Router | 主要问题 |
|---|---|---|---|---|
| E1 baseline-all-large | 无 | Prithvi/SegFormer/SAM 全图 | 全部调用 | 质量上限，成本最高 |
| E2 cloud-only | cloud classifier/seg | large on low-cloud images | threshold | 云 gate 节省多少下传，漏掉多少灾害 |
| E3 saliency-only | ORSI-SOD | large on salient ROI | top-K | saliency 是否能保住关键目标召回 |
| E4 detector-only | tiny YOLO/RT-DETR-nano | large on detected ROI | confidence | 小目标任务下 detector gate 是否足够可靠 |
| E5 uncertainty routing | cloud + detector | large on uncertain/high-risk ROI | calibrated threshold | 校准是否降低 false drop |
| E6 context-aware routing | cloud + saliency + metadata | large/downlink/fallback | cost-aware policy | 加入任务优先级、电量、下传窗口是否改善 utility |
| E7 disaster fallback | E6 | large + forced downlink in risk zones | conservative policy | 高风险场景是否牺牲成本换召回 |
| E8 hardware-aware | E6 | compressed GeoFM | NAS/profile policy | Jetson/FPGA 上真实能耗延迟是否符合离线估计 |
7. 未来研究方向
- 漏检风险建模：把 tiny model 的低置信度、云边缘、历史风险区和任务重要性合成一个可解释的 miss-risk score。
- ROI-only GeoFM inference：不要让大模型看整图，而是由 tiny gate 提供候选 ROI，再用 Prithvi/SAM/VLM 精处理。
- 云遮挡下的保守回退：高云量图像不能简单丢弃；灾害预警区域应下传压缩预览或触发多时相补采。
- 硬件感知训练：用 SatReg/NAS 思路，为不同硬件学习 latency-power-quality surrogate。
- 任务级 bandit/RL scheduler：把星上动作选择建模为 budgeted decision making，而不是固定阈值。
- 不确定性与下传策略联动：不仅输出 mask/box，还输出“是否值得下传给地面复核”。
- 多卫星协同：一个卫星的 tiny gate 发现异常后，调度其他卫星或下一轨次做高分辨率复访。
8. 最小可复现实验
建议先做一个不需要真实卫星硬件的离线仿真：
- 数据：选择 DOTA/DIOR 的目标检测任务，加上 38-Cloud 或 CloudSEN12 光学云 mask，构造“云量 + 目标存在”的混合场景。
- Tiny gate：MobileNetV3 cloud classifier + YOLOv8n/RT-DETR-tiny detector。
- Large branch：YOLOv8x/ViTDet/SAM 或 Prithvi feature + decoder。
- Router：固定阈值、uncertainty threshold、cost-aware policy 三种。
- 预算：假设每张图下传成本、tiny 推理成本、大模型推理成本，做 Pareto 曲线。
- 指标：critical recall、false drop rate、large-call rate、模拟能耗、模拟下传量。
如果第一阶段结果显示在 large-call rate 降低 50% 以上时 critical recall 仍能保持 95% 以上，就值得进入第二阶段：真实 Jetson/FPGA profile 和灾害数据集。
9. 推荐阅读顺序
- NASA Prithvi in Orbit：确认星上 GeoFM 的现实背景。
- Φsat-2 mission：理解星上多 app 场景。
- Efficient FPGA-accelerated CNNs for Cloud Detection on CubeSats：第一级 cloud gate。
- Optimizing Deep Learning Models for On-Orbit Deployment Through NAS：硬件感知模型选择。
- TinyRS-R1：轻量遥感 MLLM 分支。
- SatReg：用真实边缘硬件 profile 构建 cost surrogate。
10. 结论
RS-30 最值得做的不是再提出一个轻量 YOLO 或云检测网络，而是提出一个风险感知的 EO 任务路由框架：用 cloud mask、saliency/tiny detector 和不确定性估计做第一级决策，把大模型、完整下传和灾害回退当作稀缺资源。这个题能同时连接 2024-2026 的三个趋势：Φsat-2/Prithvi 的星上 AI 实证、遥感 foundation model 的压缩部署、以及边缘端 dynamic inference/cascade routing。
评论