第8期 | jsmn,一个资源占用极少的json解析器

2020-07-16 14:43:50 浏览数 (1)

嵌入式开源项目精选专栏

本专栏由Mculover666创建,主要内容为寻找嵌入式领域内的优质开源项目,一是帮助开发者使用开源项目实现更多的功能,二是通过这些开源项目,学习大佬的代码及背后的实现思想,提升自己的代码水平,和其它专栏相比,本专栏的优势在于:

不会单纯的介绍分享项目,还会包含作者亲自实践的过程分享,甚至还会有对它背后的设计思想解读

目前本专栏包含的开源项目有:

  • cJSON | 一个轻量级C语言JSON解析器
  • paho | 支持10种语言编写mqtt客户端,总有一款适合你!
  • MultiButton | 一个小巧简单易用的事件驱动型按键驱动模块
  • letter-shell | 一个功能强大的嵌入式shell
  • EasyLogger | 一款轻量级且高性能的日志库
  • SFUD | 一款串行 Flash 通用驱动库
  • EasyFlash | 让 Flash 成为小型 KV 数据库
  • MultiTimer | 一款可无限扩展的软件定时器
  • cmd-parser,一个基于哈希匹配的超快命令解析器

如果您自己编写或者发现的开源项目不错,欢迎留言或者私信投稿到本专栏,分享获得双倍的快乐!

1. jsmn

本期给大家带来的开源项目是 jsmn,一个资源占用极小的json解析器,号称世界上最快,作者zserge,目前收获 2.1K 个 star,遵循 MIT 开源许可协议。

jsmn主要有以下特性:

  • 没有任何库依赖关系;
  • 语法与C89兼容,代码可移植性高;
  • 没有任何动态内存分配
  • 极小的代码占用
  • API只有两个,极其简洁

项目地址:https://github.com/zserge/jsmn

2. 移植jsmn

2.1. 移植思路

开源项目在移植过程中主要参考项目的readme文档,一般只需两步:

  • ① 添加源码到裸机工程中;
  • ② 实现需要的接口;

2.2. 准备裸机工程

本文中我使用的是小熊派IoT开发套件,主控芯片为STM32L431RCT6:

移植之前需要准备一份裸机工程,我使用STM32CubeMX生成,需要初始化以下配置:

  • 配置一个串口用于发送数据;
  • printf重定向

具体过程可以参考:

  • STM32CubeMX_07 | 使用USART发送和接收数据(中断模式)
  • STM32CubeMX_09 | 重定向printf函数到串口输出的多种方法

2.3. 添加jsmn到工程中

① 复制jsmn源码到工程中:

② 将 jsmn.h 文件添加到keil中(没有实质作用,方便编辑):

③ 添加jsmn头文件路径:

3. 使用jsmn解析json数据

3.1. 准备工作

① 包含jsmn头文件

使用时包含头文件,因为jsmn的函数定义也是在头文件中,所以第一次添加的时候,可以直接添加:

代码语言:javascript复制
/* USER CODE BEGIN Includes */
#include "jsmn.h"
#include <stdio.h> //用于printf打印
#include <string.h> //用于字符串处理

/* USER CODE END Includes */

已经使用过之后,在别的文件中继续使用时,需要这样添加,且顺序不可互换

代码语言:javascript复制
/* USER CODE BEGIN 0 */
#define JSMN_HEADER
#include "jsmn.h" 

/* USER CODE END 0 */

否则会造成函数重定义:

② 设置一段原始json数据

在main.c中设置原始的json数据,用于后续解析:

代码语言:javascript复制
/* USER CODE BEGIN PV */
static const char *JSON_STRING =
    "{"user": "johndoe", "admin": false, "uid": 1000,n"
    ""groups": ["users", "wheel", "audio", "video"]}";
/* USER CODE END PV */

③ 开辟一块存放token的数组(token池)

jsmn中,每个数据段解析出来之后是一个token,关于token的详细解释,请参考下文第4.1小节。

代码语言:javascript复制
/* USER CODE BEGIN PV */

jsmntok_t t[128];

/* USER CODE END PV */

④ 编写在原始JSON数据中的字符串比较函数:

代码语言:javascript复制
static int jsoneq(const char *json, jsmntok_t *tok, const char *s) {
  if (tok->type == JSMN_STRING && (int)strlen(s) == tok->end - tok->start &&
      strncmp(json   tok->start, s, tok->end - tok->start) == 0) {
    return 0;
  }
  return -1;
}

3.2. 创建并初始化解析器

在main函数的开始创建解析器:

代码语言:javascript复制
/* USER CODE BEGIN 1 */
 int r;
 int i;
 
 jsmn_parser p;//jsmn解析器

/* USER CODE END 1 */

在随后外设初始化完成之后的代码中初始化解析器:

代码语言:javascript复制
/* USER CODE BEGIN 2 */
 
 jsmn_init(&p);

/* USER CODE END 2 */

3.3. 解析数据,获取token

代码语言:javascript复制
r = jsmn_parse(&p, JSON_STRING, strlen(JSON_STRING), t,sizeof(t) / sizeof(t[0]));

  if (r < 0) {
    printf("Failed to parse JSON: %dn", r);
    return 1;
  }
  
  /* Assume the top-level element is an object */
  if (r < 1 || t[0].type != JSMN_OBJECT) {
    printf("Object expectedn");
    return 1;
  }

3.4. 逐个解析token

代码语言:javascript复制
/* Loop over all keys of the root object */
 for (i = 1; i < r; i  ) 
 {
    if (jsoneq(JSON_STRING, &t[i], "user") == 0)
    {
       /* We may use strndup() to fetch string value */
       printf("- user: %.*sn", t[i   1].end - t[i   1].start,
             JSON_STRING   t[i   1].start);
       i  ;
    }
    else if (jsoneq(JSON_STRING, &t[i], "admin") == 0) 
    {
       /* We may additionally check if the value is either "true" or "false" */
       printf("- Admin: %.*sn", t[i   1].end - t[i   1].start,
             JSON_STRING   t[i   1].start);
       i  ;
    }
    else if (jsoneq(JSON_STRING, &t[i], "uid") == 0) 
    {
       /* We may want to do strtol() here to get numeric value */
       printf("- UID: %.*sn", t[i   1].end - t[i   1].start,
             JSON_STRING   t[i   1].start);
       i  ;
    }
    else if (jsoneq(JSON_STRING, &t[i], "groups") == 0) 
    {
       int j;
       printf("- Groups:n");
       if (t[i   1].type != JSMN_ARRAY) 
       {
         continue; /* We expect groups to be an array of strings */
       }
       for (j = 0; j < t[i   1].size; j  ) 
       {
         jsmntok_t *g = &t[i   j   2];
         printf("  * %.*sn", g->end - g->start, JSON_STRING   g->start);
       }
       i  = t[i   1].size   1;
    }
    else
    {
       printf("Unexpected key: %.*sn", t[i].end - t[i].start,
             JSON_STRING   t[i].start);
    }
  }

3.5. 解析结果

编译、下载到开发板,使用串口助手进行测试:

3.6. 内存对比

4. jsmn设计思想解读

4.1. jsmn对json数据项的抽象

jsmn对json数据中的每一个数据段都会抽象为一个结构体,称之为token,此结构体非常简洁:

代码语言:javascript复制
/**
 * JSON token description.
 * type  type (object, array, string etc.)
 * start start position in JSON data string
 * end  end position in JSON data string
 */
typedef struct jsmntok {
  jsmntype_t type;
  int start;
  int end;
  int size;
#ifdef JSMN_PARENT_LINKS
  int parent;
#endif
} jsmntok_t;

在本实验中未开启JSMN_PARENT_LINKS,所以此结构体占用16Byte大小

从结构体中的数据成员可以看出,jsmn并不保存任何具体的数据内容,仅仅记录:

  • 数据项的类型
  • 数据项数据段在原始json数据中的起始位置
  • 数据项数据段在原始json数据中的结束位置

其中,数据项的类型支持4种:

代码语言:javascript复制
/**
 * JSON type identifier. Basic types are:
 *  o Object
 *  o Array
 *  o String
 *  o Other primitive: number, boolean (true/false) or null
 */
typedef enum {
  JSMN_UNDEFINED = 0,
  JSMN_OBJECT = 1,
  JSMN_ARRAY = 2,
  JSMN_STRING = 3,
  JSMN_PRIMITIVE = 4
} jsmntype_t;

4.2. jsmn如何解析出每个token

上述说到jsmn将每一个json数据段都抽象为一个token,那么jsmn是如何对整段json数据进行解析,得到每一个数据项的token呢?

jsmn解析器也是非常简洁的一个结构体:

代码语言:javascript复制
/**
 * JSON parser. Contains an array of token blocks available. Also stores
 * the string being parsed now and current position in that string.
 */
typedef struct jsmn_parser {
  unsigned int pos;     /* offset in the JSON string */
  unsigned int toknext; /* next token to allocate */
  int toksuper;         /* superior token node, e.g. parent object or array */
} jsmn_parser;

jsmn解析就是将json数据逐个字符进行解析,用pos数据成员来记录解析器当前的位置,当寻找到特殊字符时,就去之前我们定义的token数组(t)中申请一个空的token成员,将该token在数组中的位置记录在数据成员toknext中。

源码在下面的函数中,代码过多,暂且先不放:

代码语言:javascript复制
JSMN_API int jsmn_parse(jsmn_parser *parser, const char *js, const size_t len,
                        jsmntok_t *tokens, const unsigned int num_tokens);

下面用一个实例来看看token是怎么分配的。

缩短json原始数据:

代码语言:javascript复制
static const char *JSON_STRING =
    "{"name":"mculover666","admin":false,"uid":1000}";

在解析之后将每个token打印出来:

代码语言:javascript复制
printf("[type][start][end][size]n");
for(i = 0;i < r; i  )
{
 printf("[M][]][=][M]n", t[i].type, t[i].start, t[i].end, t[i].size);
}

结果如下:

这段json数据解析出的token有7个:

① Object类型的token:{"name":"mculover666","admin":false,"uid":1000}

② String类型的token:"name""mculover666""admin""uid"

③ Primitive类型的token:数字1000,布尔值false

4.3. 用户如何从token中提取值

在解析完毕获得这些token之后,需要根据token数量来判断是否解析成功:

① 返回的token数量<0:证明解析失败,返回值代表了错误类型:

代码语言:javascript复制
enum jsmnerr {
  /* Not enough tokens were provided */
  JSMN_ERROR_NOMEM = -1,
  /* Invalid character inside JSON string */
  JSMN_ERROR_INVAL = -2,
  /* The string is not a full JSON packet, more bytes expected */
  JSMN_ERROR_PART = -3
};

② 判断第0个token是否是JSMN_OBJECT类型,如果不是,则证明解析错误。

③ 如果token数量大于1,则从第1个token开始判断字符串是否与给定的键值对的名称相等,若相等,则提取下一个token的内容作为该键值对的值。

0 人点赞