全球最大开源地理大模型来啦!IBM、美国航天局权威出品
共 2616字,需浏览 6分钟
·
2023-08-08 15:50
专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!
IBM、NASA(美国国家航空航天局)同时在官网宣布,在Hugging Face上开源全球最大的地理空间大模型——Prithvi。
据悉,Prithvi由NASA提供大量地理、气候、灾害等卫星遥感数据,在IBM的watsonx.ai模型上预训练、微调而成。Prithvi主要用于预测气候变化、洪水映射、跟踪森林砍伐、预测作物产量等。
Prithvi共包括Prithvi-100M (基础模型),Prithvi-100M-sen1floods11(洪水映射模型),Prithvi-100M-multi-temporal-crop-classification(作物、土地识别模型),Prithvi-100M-burn-scar(火灾伤痕识别模型)四大块组成。
值得一提的是,NASA还将作物分类、火灾伤痕的卫星训练数据集进行了开源,方便科学机构、企业用于地理空间大模型的训练和技术研究。
基础模型开源地址:https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M
洪水模型:https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M-sen1floods11
作物、土地分类模型:https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M-multi-temporal-crop-classification
火灾伤痕识别模型:https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M-burn-scar
NASA官宣
IBM官宣
NASA表示,获取最新数据仍然是气候科学的一个重大挑战,因为气候环境几乎每时每刻都在发生复杂的变化。预计到2024年,科学家们将从气候等场景中获得25万TB的数据,如何高效分析、使用这些数据非常有挑战性。
现在,借助NASA和IBM开源的地理空间大模型,可以推动地理、气候、作物等数据分析平民化,以加速技术创新。
NASA开源Harmonized Landsat Sentinel-2卫星数据
除了IBM的watsonx.ai模型,NASA提供的Harmonized Landsat Sentinel-2(简称“HLS”)数据集,对于打造功能强大、高精准的Prithvi大模型至关重要,因为这些都是卫星提供的监测数据,平常机构、企业很难获取。
根据NASA的介绍,HLS的数据来自NASA、USGS(美国地质勘探局)、陆地卫星8、9号,以及欧盟哥白尼哨兵-2A和哨兵-2B的卫星监控数据。
2023年7月11日获得的冰岛西北部的真彩HLS图像
这些数据能以30米的空间分辨率,每2—3天对全球陆地进行一次观测。该数据可用于洪水映射、作物/土地识别、气候预测、火灾伤痕识别等。ASA将作物分类、火灾伤痕的训练数据集进行了开源。
其中,作物分类数据集包含2022年美国大陆,不同土地覆盖和作物类别的Landsat-Sentinel图像,例如,玉米、大豆、小麦等。数据标签来自美国农业部的作物数据层(CDL),主要用于训练分割地理空间的机器学习模型。
作物分类数据集开源地址:https://huggingface.co/datasets/ibm-nasa-geospatial/multi-temporal-crop-classification
火灾伤痕数据集包含2018-2021年美国本土火灾疤痕和相关的Landsat和Sentinel-2图像。共有804个512 x512场景,也是用于训练地理空间机器学习模型。
火灾伤痕数据开源地址:https://huggingface.co/datasets/ibm-nasa-geospatial/hls_burn_scars
Prithvi功能展示
NASA和IBM展示了Prithvi模型强大的识别、分类功能。以多作物识别为例,上传一个Geotiff格式的卫星图片,Prithvi可快速识别出图中的森林、冬小麦、湿地、高粱、荒地等属性。
案例展示
多作物识别在线测试地址:https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-multi-temporal-crop-classification-demo
洪水映射识别,上传一张Sentinel 2卫星图片,可识别出洪水的区域(黑色土地,白色水域)。
洪水映射识别体验地址:https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-sen1floods11-demo
火灾痕迹识别,上传一张Geotiff卫星图片,可识别出发生过火灾的土地(黑色,无烧伤土地,白色发生过火灾土地)。
火灾痕迹识别体验地址:https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-Burn-scars-demo
关于NASA
NASA创立于1958年,主要负责美国的民用航空和宇宙计划。NASA的研究领域包括航天工程、地球科学、天体物理学和宇宙生物学等。
NASA最为人所知的项目是“阿波罗计划”,该计划在1969年使人类首次登上月球。此外,NASA还负责了许多其他重要的航天项目,包括洛杉矶号航天飞机、火星探测器好奇号和毅力号,以及哈勃太空望远镜等。
本文素材来源NASA、IBM官网,如有侵权请联系删除
END