我们在NASA
网站下载数据如温度,降雨,植被指数,通常数据量较多。时间及地区范围,通过改文章,我们获取到所需数据的下载链接,然后使用SHELL
来实现 批量下载。(如何获取下载链接)
下面就来介绍如何设置批量下载。本文主要参考 How to Download Data Files from HTTPS Service with wget
(MAC 测试成功。Windows 自行摸索)
1.注册NASA账号
这里给出注册链接地址,可自行百度
2.Wget设置
注册好账号后,需要在终端安装wget,
wget for Mac/Linux
2.1.版本号:wget 1.18
2.2.在home目录下新建两个文件:.netrc
与.urs_cookies
代码语言:javascript复制cd $HOME
touch .netrc
echo "machine urs.earthdata.nasa.gov login <账号> password <密码>" >> .netrc
chmod 0600 .netrc
cd $HOME
touch .urs_cookies.
Note: you may need to re-create .urs_cookies in case you have already executed wget without valid authentication.
3.下载文件
3.1根据index文件夹,查看文件夹下的列表,如
代码语言:javascript复制curl -s "[https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2TMNXSLV.5.12.4/1981/](https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2SMNXSLV.5.12.4/1981/)" | grep MERRA2_100 | cut -f4 -d"
3.2下载单个文件
代码语言:javascript复制wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --content-disposition [https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2TMNXSLV.5.12.4/1981/MERRA2_100.tavgM_2d_slv_Nx.198101.nc4](https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2SMNXSLV.5.12.4/1981/)
3.3下载文件(多个)
代码语言:javascript复制wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies -r -c -nH -nd -np -A nc4,xml --content-disposition "[https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2TMNXSLV.5.12.4/1981/](https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2SMNXSLV.5.12.4/1981/)"
3.4下载文件(多个):根据已有目录myfile.dat
myfile.txt是根据(如何获取下载链接)改文章中,指定条件下载的download link,存在txt文件下
代码语言:javascript复制wget --content-disposition --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --content-disposition -i myfile.txt
更多详情请见: How to Download Data Files from HTTPS Service with wget
image
参考
1.NASA注册
2.How to Download Data Files from HTTPS Service with wget