Python批量下载气象数据示例与迅雷下载气象数据方法

2021-03-10 18:04:45 阅读：232 来源： 互联网

小编要从一个挪威网站批量下载1751-2501年的数据（由于数据可能不方便透露，所以隐去了网站信息，用https://***************************************代替）。此网站不支持wget下载，所以小编使用以下两种方法，分享给大家：
首先先找到要批量下载数据所在的具体网页，一般只需要把鼠标放在那个位置可以显示。复制后，将数据文件名共同的部分写出来（如这里的NBF.h0.)，之后通过循环把年、月的信息填入，最后加入文件类型.nc文件。(代码有参考和借鉴别人）

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# urllib2_urlopen.py
import urllib.request 
import urllib.error
import os

def getLegalUrl(year,mon):
    base_url="https://***************************************"
    url_preletter='NBF.h0.'
    try:
        url=base_url+url_preletter+str(year)+'-'+str(mon).zfill(2)+'.nc'
        f=urllib.request.urlopen(url)
        return url
    except urllib.request.URLError:
        return " "

def download(url,year,mon):
    f=urllib.request.urlopen(url)
    data=f.read()
    url_preletter = 'NBF.h0.'
    pathgz = "E:\\data\\"
    with open(os.path.join(pathgz,url_preletter+str(year)+'-'+str(mon).zfill(2)+'.nc'),'wb') as file:
        file.write(data)

if __name__ == '__main__':
    for year in range(1750,2501):
        for mon in range(1,13):
            url=getLegalUrl(year,mon)
            if url=="":
                with open("download.log",'a') as log:
                    log.write(str(year)+str(mon).zfill(2)+'not found\n')
            else:
                download(url,year,mon）`
                `

由于此代码实际上一边读取文件一边重新写入文件，但实际上这样会下载变慢，而且网络不稳定也会使得数据下载中断。

使用迅雷下载比较快。但是迅雷不好的一点是只有一处通配符，所以不能像代码一样双重循环。所以你需要固定一个时间单位（年or月or日），答主下载800年的数据的话，通配符给了年。如果小于12年，通配符可以给月。如果到日数据可能就还是不太方便。

标签：示例,url,urllib,mon,str,year,下载,气象
来源： https://blog.csdn.net/qq_41825773/article/details/114641228

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Python批量下载气象数据示例与迅雷下载气象数据方法