jsonobject解析json字符串特别慢(json格式转换文本的方法)

00前言

物联网应用过程中,设备采集数据后,一般通过终端采集器网关转发或web server服务打包成xml或json数据格式传输到数据中心或云平台,最后经数据解析、数据分析及数据可视化。开发环节涉及末端设备数据采集、数据转发、数据解析等流程。

本文实际业务场景:本文主要介绍两种常见的数据包格式及使用方法,这里主要介绍xml实际应用,包括对采集数据如何打包、入库、解析。结合实际代码示例演示。

01JSON与XML简介JSON是一种轻量级的数据交换格式,易于阅读和编写。同时便于机器解析和生成。xml作为常见的数据格式,物联网应用中依然常见。XML可扩展标记性语言是一种非常常用的文件类型,主要用于存储和传输数据。1.XML是web中交换和传输数据中最常用的格式之一,很多的web server协议都是基于XML进行定义。2.JSON和XML是web传输中常见的两种文本格式。相比JSON,XML格式严格规范,更容易传输更加复杂的数据。3.XML天生有很好的扩展性;XML有丰富的编码工具,Python解析xml常见的三种方法:DOM、sax及ElementTree。DOM将整个xml读入内存并解析为树,缺点占用内存大且解析慢,优点可以任意遍历树的节点。SAX是流模式,边读边解析,占用内存小,解析快,缺点需要自己处理事件。4.JSON具有简单直观;可以直接与JavaScript、Python等语言中的对象兼容;作为数据包格式传输的时候具有更高的效率(不像XML有闭合标签,节省资源)。02JSON与XML数据格式Json数据格式名称/值对,数据由逗号分隔,花括号保存对象,方括号保存数组。Json的值可以为数字、字符串、逻辑值、数组(在方括号中)、对象(在花括号中)、null json对象在花括号中书写,可以包含多个名称、值对,如{“name”:“server1”,“value”:30}json的数组在方括号中书写,可包含多个对象,如{“server”:[{“name”:”server2″,”value”:30},{“name”:”server2″,”value”:40},{“name”:”server3″,”value”:50}]}json模块操作JSON格式Python的json模块序列化和反序列化的过程分别为encoding和decoding。序列化serialization就是将对象的状态信息转换为可以存储或可以通过网络传输的过程,传输的格式可以为JSON、xml等。反序列化就是从存储区域读取反序列化对象的状态,并重新创建该对象。1、encoding编码:把一个Python对象编码转换为JSON字符串。1)json.dumps()格式化数据:indent参数缩进,是的存储数据格式更优雅,增强可读性。压缩数据:JSON主要作为一种数据通信的格式存在,网络数据很在乎数据大小的,无用的空格会占据很多通信带宽,所以需要对数据进行压缩。separator参数,该参数传递的是一个元组,包含分隔对象的字符串。Python数据类型转JSON转换对照表dict—>object,listtuple—>array,strunicode—>string,intfloat—>numberTrue—>trueFalse—>falseNone—>null2)json.dump()将python的数据对象转换成JSON数据并写入文件。import jsondata={“a”:1,”b”:2}with open(’dump.json’,’w’)as f: json.dump(data,f)2、decoding解码:把JSON格式化字符串编码转换为Python对象。1)json.loads()解码JSON数据并返回Python字段的数据类型。import jsonorg_json='{“a”:1,”b”:2}’decode_json=json.loads(org_json)decode_json[“a”]2、json.load()从json数据文件中读取数据,并将Json编码的字符串转换为Python的数据结构。import jsonwith open(”dump.json”,’r’)as f: data= json.load(f)xml数据格式<root> <animal id=’1′> <name>dog</name> <age>2</age> </animal> <animal id=’2′> <name>tiger</name> <age>3</age> </animal></root>XML具有以下特征:1、由标签对组成:<root></root>2、标签可以有属性:<animal id=’1′>3、标签对可以嵌入数据:<name>tiger</name>4、标签可以注入子标签,具有层次关系<root> <animal > </animal></root>03

扩展1

已有xml包 指定节点解析

测试xml数据包<?xml version=”1.0″ encoding=”UTF-8″?> <root> <common> <building_id>xxxxxx</building_id> <gateway_id>01</gateway_id> <type>report</type> </common> <data operation=”report”> <sequence>25</sequence> <parser>yes</parser> <time>20210115180000</time> <meter id=”1″ name=”000000000001″ conn=”conn”> <function id=”1″ name=”000000000001-1090″ coding=”01A10″ error=”192″ sample_time=”20210115175909″>数据1</function> <function id=”2″ name=”000000000001-1200″ coding=”XXX” error=”XXX” sample_time=”YYYYMMDDHHMMSS”>数据2</function> </meter> <meter id=”2″ name=”000000000002″ conn=”conn”> <function id=”1″ name=”000000000002-1090″ coding=”01A10″ error=”192″ sample_time=”20210115175900″>数据1</function> <function id=”2″ name=”000000000002-1200″ coding=”XXX” error=”XXX” sample_time=”YYYYMMDDHHMMSS”>数据2</function> </meter> </data> </root>解析代码#导入解析模块import xml.etree.ElementTree as ET#加载xml文件root=ET.parse(“test.xml”)# animal_node=root.getiterator(“meter”) #过时#获取指定节点meter_node=root.getroot().iter(tag=”meter”)def iter_records(meter_node): for node in meter_node: # 保存字典 temp_dict = {} # animal_node_child = node.getchildren()[0] #方法过时 for i in range(len(node)): #方法一: meter_node_child=[i for i in node][i] #方法二 # meter_node_child=list(node)[i] # print(meter_node_child) print(meter_node_child.tag “\n” “name:” meter_node_child.attrib[“name”] “:” meter_node_child.text) temp_dict[meter_node_child.attrib[‘name’]] = meter_node_child.text # 生成值 yield temp_dictprint(list(iter_records(meter_node)))

jsonobject解析json字符串特别慢(json格式转换文本的方法)04

扩展2

已有xml包 所有节点解析

import xml.etree.ElementTree as ET# # #加载xml文件root=ET.parse(“test.xml”)# #获取指定节点meter_node=root.findall(“data”)for meter in meter_node: # 保存字典 lst=[{i.tag: i.text} for i in meter[0:3]] for node in meter[3:]: meter_node_child = list(node) k=[{meter_node_child[i].attrib[“name”]:meter_node_child[i].text} for i in range(len(node))][0] lst.append(k)print(lst)

05

扩展3

xml包创建 格式化输出

import xml.etree.ElementTree as ET#格式化数据包def write_xml(): # 创建elementtree对象,写入文件 root=xml_encode() tree = ET.ElementTree(root) tree.write(“new1.xml”) with open(r’new1.xml’, ‘r’, encoding=”utf-8″) as file: with open(r’new2.xml’, ‘w ‘, encoding=”utf-8″) as xml_file: # 用open()将XML文件中的内容读取为字符串再转成UTF-8 xmlstr = file.read().encode(‘utf-8’) import xml.dom.minidom xml = xml.dom.minidom.parseString(xmlstr) xml_pretty_str = xml.toprettyxml() print(xml_pretty_str) xml_file.write(xml_pretty_str) return xml_pretty_str #创建xmldef xml_encode(): # 创建根节点 root=ET.Element(“root”,encoding=”utf-8″) #创建子节点sub1,并为其添加属性 sub1=ET.SubElement(root,”data”) sub1.attrib={“operation”:”report”} #创建子节点sub2,并为其添加数据 sub2=ET.SubElement(sub1,”meter”) sub2.attrib={“name”:”000000000001″} #创建子节点sub3,并为其添加数据 sub3=ET.SubElement(sub2,”function”) sub3.attrib={“name”:”000000000001-1090″} sub3.text=”数据1″ return rootwrite_xml()

06

扩展4

外部数据 xml创建

import pandas as pddef write_xml(data): # 以写入打开文件 with open(“new2.xml”, ‘w’) as xmlFile: # 写入头部 xmlFile.write(‘<?xml version=”1.0″ encoding=”UTF-8″?>\n’) xmlFile.write(‘<root>\n’) body=xml_encode(data) # 写数据 xmlFile.write(body) # 写尾部 xmlFile.write(‘\n</root>’)def xml_encode(data): # 标记data节点开始标签 xmlItem = [‘<data operation=”report”>’] # 列表追加,回车成多行 for i in data.index: coding = data.iloc[i][0] value = data.iloc[i][1] #输入替换的模板:给行中每个字段加固定xml格式 str_xml = “””<meter name=”{0}”><function name=”{0}-1090″>{1}</function></meter>”””.format(coding,value) xmlItem.append(str_xml) # 标记data节点结束标签 xmlItem.append(‘</data>’) # 返回字符串 xml_str = ‘\n’.join(xmlItem) # list 更新成str print(xml_str) return xml_strif __name__ == ‘__main__’: #测试数据 data=pd.DataFrame({“name”:[“00001″,”00002″],”value”:[20,30]}) #生成数据包 write_xml(data)

07

扩展5

外部数据 xml入库

首先在数据库建立测试表xml_data,三个字段ID:记录id、xmlDatetime:插入时间、xmlData:xml数据包内容

将xml插入数据库,其中数据库连接方法get_conn,见推文:跨库数据备份还原、迁移工具

from datetime import datetimefrom tools import get_conn#数据导入def xml_sync_to_sqlserver(): “”” xml数据同步到sqlserver数据库里面 “”” xmlDatetime = datetime.now() conn = None try: conn = get_conn(‘LOCAL’) with conn: # 数据文件导入 with conn.cursor() as cur: with open(f’new2.xml’, mode=’r’, encoding=’utf-8′) as file: xmlData = file.read().rstrip() sql = “””insert into xml_data(xmlDatetime,xmlData) values (%s,%s)””” print(“插入成功”) cur.execute(sql,(xmlDatetime,xmlData)) conn.commit() finally: if conn: conn.close() end =datetime.now() s = (end – xmlDatetime).total_seconds() print(‘数据导入: %s, 耗时: %s 秒’ % (xmlDatetime, s))

发表评论

登录后才能评论