将多个月的nc数据文件合并成一个（月平均）

最近在处理nc数据，希望可以获得多年的月平均数据。但是ERA这个产品从网站上下载到的是每个月的日数据，所以我希望可以把他合成一个，以每个月月平均数据存储的nc文件。

首先是引入要用的库：

from netCDF4 import Dataset   #nc库功能不用说，读nc文件肯定要用
import numpy as np
from pandas import Series
import netCDF4 as nc
import tkinter as tk
from tkinter import filedialog #这两个是用来读取文件夹的

定义一个nc文件类：

class ncfile:
    def __init__(self,file_name):
        #用于读取数据
        NCfile=nc.Dataset(file_name)
        #获取维度的值，一般有时间、经纬度、各个数值
        self.time=NCfile.variables['time'][:].data
        self.latitude=NCfile.variables['latitude'][:].data
        self.longitude=NCfile.variables['longitude'][:].data
        self.e=NCfile.variables['e'][:].data
        self.sro=NCfile.variables['sro'][:].data
        self.ssro=NCfile.variables['ssro'][:].data
        self.tp=NCfile.variables['tp'][:].data       

定义几个要用的全局变量：

n=0 #这个用来记录读入的文件数
'''
下面是用来存储原始数据的，其实像time、latitude、longitude这种是不需要单独
记录的，只是为了在后面偷个懒，就顺便打上了，但是这里其实占用了一部分内存，不太好
'''
times=[]
latitudes=[]
longitudes=[]
es=[]
sros=[]
ssros=[]
tps=[] 

#下面的是用来存储最后要写入的数据
times_after=[]
latitudes_after=[]
longitudes_after=[]
es_after=[]
sros_after=[]
ssros_after=[]
tps_after=[] 

然后定义读入文件的函数：

def read_files():
    #读取存放要合并文件的文件夹
    root=tk.Tk()
    root.withdraw()
    Folderpath=filedialog.askdirectory()    
    filelist = os.listdir(Folderpath)
    
    global n
    n=len(filelist)
    
    for i in range(n):
        temp=ncfile(str(Folderpath)+"/"+filelist[i])
        times.append(temp.time)
        latitudes.append(temp.latitude)
        longitudes.append(temp.longitude)
        es.append(temp.e)
        sros.append(temp.sro)
        ssros.append(temp.ssro)
        tps.append(temp.tp)

处理数据，得到每个月月平均值的矩阵：

read_files()
for i in range(n):
    tps_after.append(np.mean(tps[i],axis=0))
    es_after.append(np.mean(es[i],axis=0))
    sros_after.append(np.mean(sros[i],axis=0))
    ssros_after.append(np.mean(ssros[i],axis=0))

最后创建新的nc文件并写入数据：

#写入部分
#创建新文件
new_NC = nc.Dataset("test-result.nc", 'w', format='NETCDF4')

'''
定义维度，后一个参数表示维度的长度，因为是合并的同一个产品的数据，所以是统一
的,注意维度的长度一定要和读入的数据匹配
'''
new_NC.createDimension('time', n)
new_NC.createDimension('latitude', len(latitudes[0]))
new_NC.createDimension('longitude', len(longitudes[0]))
new_NC.createDimension('e', len(es[0]))
new_NC.createDimension('sro', len(sros[0]))
new_NC.createDimension('ssro', len(ssros[0]))
new_NC.createDimension('tp', len(tps[0]))

#定义变量，这里需要规定变量的类型，以及限制它的维度
#可以看到，四个与数据相关的变量，其由另外三个基本维度约束
new_NC.createVariable('time', 'u4',("time"))
new_NC.createVariable('latitude', 'f', ("latitude"))
new_NC.createVariable('longitude', 'f', ("longitude"))
new_NC.createVariable('e', 'f', ("time","latitude","longitude"))
new_NC.createVariable('sro', 'f',("time","latitude","longitude"))
new_NC.createVariable('ssro', 'f',("time","latitude","longitude"))
new_NC.createVariable('tp', 'f',("time","latitude","longitude"))

#向变量中填充数据
new_NC.variables['latitude'][:] = latitudes[0]
new_NC.variables['longitude'][:] = longitudes[0]

new_NC.variables['e'][:]=np.array(es_after)
new_NC.variables['sro'][:]=np.array(sros_after)
new_NC.variables['ssro'][:]=np.array(ssros_after)
new_NC.variables['tp'][:]=np.array(tps_after)

#最后记得关闭文件
new_NC.close()

新人，还在学习和探索中，有问题请各位大佬指正。

python 合并多个有规则命名的nc文件

现有多个nc文件，命名除了年份不同外，其他皆相同。希望将多个的nc文件合并为一个。

其中，每个nc文件内包含如下内容，包含12个月均数据
因此，我们可以知道，合并两个nc文件，time应该=‘24’，合并三个，time=‘36’。以此类推，合并x年，time=x*12。

主要通过xarray实现合并功能，并写出合并后的nc文件:

#导入用到的库
import xarray as xr
import os
#首先，利用一个循环将需要合并的年份挑选出来。我这里选择1982-2012年的数据
file_xadv=[]
for year in range(1982,2013):    
	fn=os.path.join(path1,'xadv'+'%04.0f'%year+'.mon.161x720.nc')
    file_xadv.append(fn)

运行后可以得到所有完整路径的文件列表：
下面就是进行合并啦：

#合并nc文件，通过xarray打开nc文件，并得到所需变量的xarray.DataArray，之后利用xarray.concat()实现合并的功能
xadv_new=[]
for i in range(len(file_xadv)):
     xadv=xr.open_dataset(file_xadv[i])['xadv']
     xadv_new.append((xadv))
da=xr.concat(hadv_new,dim='time')

运行发现合并好啦：

xarray.concat()官方介绍如下：
xarray.concat
例外，官网也给出了其他的合并方式，大家可以按需所求：
1、有关沿单个维度组合数据集或数据数组的信息，使用 concatenate。
2、有关合并具有不同变量的数据集，使用 merge。
3、 有关合并具有不同索引或缺失值的数据集或数据数组的信息，使用 combine。
4、有关沿多个维度组合数据集或数据数组的信息，使用 combining.multi。
Combining data
附上完整实现代码：

import xarray as xr
import os

path1='E:\\BaiduNetdiskDownload\\MSE_budget\\xadv\\'
file_xadv=[]


for year in range(1982,2013):
     fn=os.path.join(path1,'xadv'+'%04.0f'%year+'.mon.161x720.nc')
     file_xadv.append(fn)
hadv_new=[]
for i in range(len(file_xadv)):
     xadv=xr.open_dataset(file_xadv[i])['xadv']
     hadv_new.append((xadv))
da=xr.concat(hadv_new,dim='time')

da.to_netcdf('D:\\desktopppp\\sst_olr\\interp_nan\\xadv_interp.nc')#输出合并后的nc文件

好啦，_{今天的分析就到这里啦，感兴趣的小伙伴快去尝试一下吧}~

				一个努力学习python的海洋小白
                水平有限，欢迎指正！！！
                欢迎评论、收藏。

今天做了一个项目，探究一下上世纪60年代到现在各国经济发展状况，需要将世界各国的gdp数据获取下来，然后做个可视化，为了下载方便，文件都是单独保存的，大概就是有多少个国家，就有多少个文件吧，但是为了方便可视化，需要将他们合并在一个文件里，一个个手动合并，岂不是要累死…来看看python是怎么实现的吧！！！

首先我们来看看文件里面都有些啥数据

这是也门的gdp数据

我的文件夹

思路：

我们的数据结构比较简单（也是我为了方便后期合并有意为之）可以用pandas读入数据，然后使用merge函数实现拼接，批量也很好实现，先用一个函数获取目标文件夹下所有文件路径，（我这个文件夹里只有txt文件，如果有其它格式的文件，加个判断语句也可完成），之后再遍历拼接，就行了

环境配置：

pip install pandas

上代码：

import pandas as pd
import glob
# 批量合并多个文件为一个
def get_one():
    '''
    这是一个批量合并文件为一个的函数，只需修改文件路径、目标路径、联结字段、联结方式即可用
    '''
    # 首先读入一个文件作为初始的df
    df3 = pd.read_csv(f'.\\各国gdp1\\中国.txt')
    # 获取目标文件夹下所有文件路径，赋值给file_names
    file_names = glob.glob(f'.\\各国gdp1\\*')
    # 遍历每一个文件
    for file in file_names:
        # 读取文件
        df1 = pd.read_csv(file)
        # 合并文件，根据列名’年份‘进行合并，左联结
        df3 = pd.merge(df3,df1,on=['年份'],how='left')
        # 数据去重
        df3.drop_duplicates(['年份'],inplace=True)
    print(df3)
    # 保存为csv格式，不要索引列
    df3.to_csv('合并数据.csv',index=False)
if __name__ == '__main__':
    get_one()

效果图

感谢阅读，下次见