无需部署体验气象AI大模型demo,打开网页就能玩
在做气象与 AI 交叉研究的朋友们,看到一个又一个气象大模型横空出世的时候,一定心痒痒,想要第一时间上手把玩。
但是想要运行气象AI大模型,工程能力、GPU硬件缺一不可,这样的条件或将大部分研究者拒之门外。
即使满足了前面两个条件成功部署大模型,不同的大模型又需要不同的数据预处理和后处理,各种细节纷繁复杂,自己研究又要耗费不少精力。
所以今天给大家介绍一个无需部署,在网页端就可以运行气象AI大模型demo,且免费送了若干小时GPU算力的地方:和鲸社区
NeuralGCM demo 链接:https://www.heywhale.com/u/c328c2
盘古、伏羲、风乌运行 demo 链接:https://www.heywhale.com/u/968e5d
· NeuralGCM demo 简介 ·
近期,Google Research研究团队及其合作者研发出可预测天气和气候变化的人工智能(AI)模型NeuralGCM。该模型是世界上第一个基于机器学习的大气环流模型,与现有工具相比,预测速度更快,能耗更低,且可以比传统模型节省数量级的计算量。相关成果于7月22日在权威科学期刊《自然》发表,并登上《自然》官网的首页。
NeuralGCM模型将传统基于物理的大气动力学可微分求解器的各个方面与AI组件相结合,能进行中短期天气预报以及未来几十年的气候模拟。
这个项目主要讲述了使用全球ERA5数据和NeuralGCM模型预测未来一段时间内的全球气象状态的一个例子。
- NeuralGCM模型输入为ERA5数据集提供的一段时间内的气象变量,如温度、湿度、风速、气压等;
- NeuralGCM模型输出为未来一段时间内的气象变量。
※ 注意:NeuralGCM和之后的3个大模型有一点不一样,NeuralGCM内部是区分海洋和陆地数据的,且无法接收NaN值,所以需要先将海洋数据进行插值填补。但在预测的时候,会使用Mask处理。
预测过程包含:
- 数据预处理:对ERA5数据进行规范化、插值和缺失值填补,以确保数据的质量和一致性。
- 模型准备:根据模型的需求选择和重命名变量,构建模型所需的数据集。
- 重采样(Regridding):调整数据的空间分辨率,以匹配模型的网格系统。
- 海洋数据缺失值处理:填补数据中的缺失值,以避免模型运行时出现问题。
- 模型运行:使用处理后的数据启动模型,进行时间步进的模拟。
- 结果分析:将模型的预测结果与实际观测数据(如ERA5)进行比较,评估模型的准确性和可靠性。
- 可视化:通过图表和图像展示模型预测的结果,以便于理解和分析。
在项目的最后,展示了ERA5的数据和NeuralGCM预测的数据
· 运行NeuralGCM demo 步骤 ·
STEP 1 点击链接:https://www.heywhale.com/u/c328c2
STEP 2 点击页面右上角【在线运行】
STEP 3 稍等片刻,出现图中页面后记得关闭新窗口拦截
顺利的话,应该会进入运行界面,右上角会展示云算力资源拉取进度(红框),左上角是一些我们熟悉的类Jupyter IDE的功能(绿框)
STEP 4 耐心等待云算力资源拉取,展示内容为下图红框所示内容后,即为拉取成功
随后逐个cell运行即可
· 盘古、伏羲、风乌 demo 简介 ·
盘古气象大模型华为云团队提出的高分辨率全球人工智能(AI)气象预报系统,使用3D Transformer模型处理三维气象数据,层次化时间聚合的策略减少了模型迭代误差
伏羲是由复旦大学主力研发,Shanghai AI Lab (上海人工智能实验室)创新孵化研究院推出,采用了一种级联的模型架构,可以提供15天的全球预报,具有6小时的时间分辨率和0.25°的空间分辨率的气象预报大模型。
风乌是上海人工智能实验室联合中国科学技术大学、上海交通大学、南京信息工程大学、中国科学院大气物理研究所及上海中心气象台发布的全球中期天气预报大模型,基于多模态和多任务深度学习方法构建,实现了在高分辨率上对核心大气变量进行超过10天的有效预报。
这个项目包含了盘古、伏羲、风乌三个模型的使用demo。
这三个模型预测的主要流程都差不多,和前面NeuralGCM也差不多,都是先进行数据预处理,把数据处理成模型规定的数据格式;输入给模型预测;之后对模型给出的预测结果后处理,提取想要的气象要素。
因为这个项目预设了模型的使用场景:台风路径预报,故在模型给出预测结果(台风路径)后,他将台风实际路径与结果进行比较,最终给出了不同模型预测效果的报告。
· 运行盘古、伏羲、风乌 demo 步骤 ·
STEP 1 点击链接:https://www.heywhale.com/u/968e5d,点右上角报名
报名成功后,在“学习内容”中找到课程链接
STEP 2 查看学习步骤,按照要求添加GPU镜像
STEP 3 再次查看学习步骤,点击教案链接
STEP 4 进入教案链接后,点击运行
至此这部分仅包含模型预测部分
模型效果验证部分可以参考课程大纲中“优秀作业欣赏”内的链接,运行过程大同小异,这里不赘述
· 致谢 ·
感谢2个项目的提供者:明天开组会、lqy