近日，中国科学院空天信息创新研究院在《The Innovation Geoscience》刊登文章“Multimodal Artificial Intelligence Foundation Models: Unleashing the Power of Remote Sensing Big Data in Earth Observation，该文被编辑部选为2024年第一期唯一Editorial发表。文章第一作者为遥感科学国家重点实验室研究员洪丹枫、共同一作为博士研究生李晨玉，通讯作者为研究员张兵。文章内容是建立了人工智能（AI）与多模态遥感大数据的桥梁，创新了多模态AI大模型对地观测的新范式，解锁了遥感大数据的对地观测能力。
随着遥感数据量和种类均呈爆炸式增长，传统的分析方法已无法满足精细地物感知的需求，亟需提升与之相匹配的多模态遥感大数据处理与分析能力。当前，以人工智能为核心的大模型技术迅猛发展，大模型能够从遥感大数据中充分挖掘和提取信息，实现信息的“吃干榨净”，为解决遥感大数据在信息提取和分析方面的不足，提供新的可能性。因此，发展多模态遥感AI大模型的对地观测新范式已成为业内共识和研究前沿。
研究团队为解决现有模型信息提取与分析的局限性、提高挖掘多模态遥感大数据的能力、信息深度挖掘不足与应用同质化的问题，以多模态AI大模型为核心，研发了高精度、全链路的多模态遥感大数据智能解译系统（如图所示）。
多模态AI大模型赋能的多模态遥感大数据智能解译系统
系统利用不同观测平台，获取多模态遥感大数据，开发多模态AI大模型，充分利用各种模态数据，适配于各种地学应用，进一步应用到实际用户端，用户的使用结果可反馈到载荷和平台的验证和设计，实现一个可循环的全链路反馈机制。
系统的建立取决于几个关键要素：一是整合大量多模态遥感大数据，二是具有高性能计算能力，三是集成遥感AI大模型。前两个要素目前较易实现，但缺乏定制的多模态遥感AI大模型，从而无法减少遥感大数据与高性能计算能力之间的差距。
在历经了统计模型、物理模型、大数据时代后，我们正在向大模型时代迈进。多模态AI大模型代表了遥感大数据智能分析的未来，其设计与提出解锁了多模态遥感大数据在地学应用中的巨大潜力和价值。这些模型能够有效利用多模态遥感大数据的丰富性、多样性，为解决对地观测应用的复杂性提供了一个强大的框架。向多模态大模型的转变在优化遥感大数据用于各种对地观测目标方面将取得突破性的进展，标志着该领域进入了一个变革时代。
论文链接：https://www.the-innovation.org/article/doi/10.59717/j.xinn-geo.2024.100055
动态新闻