Python常用小技巧（五）——批量读取json文件

前言：其实Python能够批量读取很多文件，这里，本人以json文件为例（json是标注图片时生成的文件，记录有标注的坐标和标签，友情推荐标注图片的工具：labelme），读取想要的数据。大家也可以稍做修改，去读取其他类型的文件。

一、材料准备

 - Python
 - os
 - json

二、代码编写

首先我们来观察一下我们需要处理的json文件

打开json文件，我们可以看到一下内容

我们需要获取的信息是 label 后面标注的种类，还有坐标信息

期望输出的格式是：

结构：
n.json x1,y1,x2,y2,lable1 x1,y1,x2,y2,label2
样例：
21.json 203,1,511,116,shoes 248,2,350,44,welt 

所以，知道标准后，我们的代码如下：

# -*- coding:utf8 -*-
import  json
from os import listdir
import os
path = '/home/ljt/Documents/labelme'

filelist = listdir(path)
#for i in  filelist:
#print(filelist[0].split(".")[0])
 #   i.split()
fileIndex =[]

#文件名读入时并非按照我们常识中的按照文件名字顺序读入，
#例如：1.json,2.json,3.json；程序可能会按 3,1,2 的顺序读入，
#这对我们后面批量处理造成很大的不便，所以读入文件名后，
#我们要手动地对文件名进行一次排序
#以下就是排序操作
for i in range(0,len(filelist)):
    index = filelist[i].split(".")[0]
    fileIndex.append(int(index))
#new_filelist =[]
for j in range(1,len(fileIndex)):
    for k in range(0,len(fileIndex)-1):
        if fileIndex[k]>fileIndex[k+1]:
            preIndex = fileIndex[k]
            preFile = filelist[k]
            fileIndex[k] = fileIndex[k+1]
            filelist[k] = filelist[k+1]
            fileIndex[k+1] =preIndex
            filelist[k+1] = preFile

#完成排序后，开始按照文件名顺序读取文件内容信息
data = []#记录每个文件最终信息的列表
labelpath = '/home/ljt/Documents/labelme/'
for file in filelist:
    with open(labelpath+file, 'r') as txt:
        lines = txt.readlines()
        eachdata = []#记录单个文件信息的列表
        eachdata.append(file)  # fileName
        for each in range(0,len(lines)):
            word = lines[each].split('"')
            for i in range(0,len(word)):
                if word[i] == 'shoes':
                    eachdata.append(int(int(lines[each + 5].split(',')[0]) * 416 / 512))
                    eachdata.append(int(int(lines[each + 6].split(',')[0]) * 416 / 512))
                    eachdata.append(int(int(lines[each + 9].split(',')[0]) * 416 / 512))
                    eachdata.append(int(int(lines[each + 10].split(',')[0]) * 416 / 512))#(xmin,ymin,xmax,ymax,'shoes')
                    eachdata.append('0')
                elif word[i] == 'welt':
                    eachdata.append(int(int(lines[each + 5].split(',')[0]) * 416 / 512))
                    eachdata.append(int(int(lines[each + 6].split(',')[0]) * 416 / 512))
                    eachdata.append(int(int(lines[each + 9].split(',')[0]) * 416 / 512))
                    eachdata.append(int(int(lines[each + 10].split(',')[0]) * 416 / 512))  # (xmin,ymin,xmax,ymax,'shoes')
                    eachdata.append('1')
        txt.close()
        data.append(eachdata)



#记录完成后，开始将数据写入txt文件
with open('data.txt', 'w') as txt:
    for eachdata in data:
        line =eachdata[0]+' '
        i=0
        for i in range(1,len(eachdata)):
            if i % 5 ==0 and i > 1 and i!=len(eachdata)-1:
                s =str(eachdata[i])+' '
                line = line + s
            elif i==len(eachdata)-1:
                line = line + str(eachdata[i])
            else:
                s=str(eachdata[i])+','
                line = line+s
        lines=line.replace('json','jpg')+'\n'

        txt.writelines('resize/'+lines)
    txt.close()
print('finish')

#        line='json'
#        while line:
 #           line = txt.readline()
  #          word = line.split()
   #         for i in range(0,len(word)):
    #            if word[i] == "shoes":

最终，我们能够得到一个这样的txt文件

其中 0代表的是shoes，1代表welt

场景：读取文件夹中的json文件后，循环请求稠州接口

import  os
import requests
from urllib.parse import quote
import re
import json


url = "http://172.30.2.74:6998/ruleCheck/validCheatTestJson"
headers = {'Content-Type': 'application/x-www-form-urlencoded',
            "charset": "utf-8"
           }

#读取文件夹中的文件名
fileList=os.listdir('C:\\Users\\99063\\Desktop\\json\\')
print(fileList)

#循环读取文件，并请求
for json_id in fileList:
    print(json_id)

    # json_idid="6-1.json"

    with open("C:\\Users\\99063\\Desktop\\json\\"+json_id, "r",encoding="utf-8") as f:  # 打开文件
        data = f.read()  # 读取文件
        #print(data)

    #reqdata='reqBody=%s'%data
    reqdata = 'reqBody=' + quote(data, 'utf-8')
    #print(reqdata)

    res = requests.post(url=url,data=reqdata.encode('utf-8'), headers=headers)
    print(res.text)

Python ：批量获取json文件的数据

• 前提：假设所有的json文件都放在同一文件夹下（data_dir）

• 获取步骤：

  • 首先，通过os.listdir(data_dir)获取路径data_dir下的所有文件的名称
  • 其次，通过j=open(json_name)来打开json文件
  • 最后，通过info=json.load(j)来读取json文件内的内容，可以通过info['name']来获取json中name对应项的值。具体代码如下：

其中，我的json文件内容格式如下图所示：

import os
import json    
def get_car_json_info(data_dir):
    # get json file_names
    all_json=os.listdir(data_dir)
    
    for j_name in all_json:
        # open json file
        j=open(data_dir+j_name)
        
        # load info in json
        info=json.load(j)
        
        # get value of '__manufacturer__' and '__year__' 
        print(info['__manufacturer__'],info['__year__']) 

结果如下图所示：