GitHub趋势榜第二名:解析、对比不同编程语言的Semantic库

2019-06-03 18:15:42 浏览数 (2)

机器之心报道

刚刚,GitHub Semantic Code 团队宣布开源 semantic 库。这是一个 Haskell 库,用于解析、对比、解释多种编程语言,目前该库支持 JavaScript、TypeScript、Python、Ruby 和 Go 等多种语言。

semantic 库地址:https://github.com/github/semantic

今天,该库获得了 608 个 star,位列 GitHub 趋势榜第二名。

semantic 库简介

semantic 是一个用于解析、分析和对比不同语言源代码的 Haskell 库和命令行工具,目前支持 JavaScript、TypeScript、Python、Ruby 和 Go 语言。根据 GitHub Semantic Code 团队成员 patrick thomson 的 twitter 评论,未来该库可能会增加对 C 语言的支持。

该库由 GitHub Semantic Code team 完成。这支团队主要负责解决分析、解释 GitHub 上公开代码的任务,使用 Haskell 语言。

功能

semantic 库可用于解析、对比、解释多种编程语言的源代码。

解析

该库通过语义解析为路径生成解析树,支持生成 s-expression 解析树、JSON 解析树、JSON 邻接表、JSON 符号表等。

代码语言:javascript复制
Usage: semantic parse ([--sexpression] | [--json] | [--json-graph] | [--symbols]                      | [--dot] | [--show] | [--quiet]) [FILES...]  Generate parse trees for path(s)
Available options:  --sexpression            Output s-expression parse trees (default)  --json                   Output JSON parse trees  --json-graph             Output JSON adjacency list  --symbols                Output JSON symbol list  --dot                    Output DOT graph parse trees  --show                   Output using the Show instance (debug only, format                           subject to change without notice)  --quiet                  Don't produce output, but show timing stats

对比

该库通过语义对比计算路径之间的变化,支持生成 s-expression diff tree、JSON diff tree 等。

代码语言:javascript复制
Usage: semantic diff ([--sexpression] | [--json] | [--json-graph] | [--toc] |                     [--dot] | [--show]) [FILE_A] [FILE_B]  Compute changes between paths
Available options:  --sexpression            Output s-expression diff tree (default)  --json                   Output JSON diff trees  --json-graph             Output JSON diff trees  --toc                    Output JSON table of contents diff summary  --dot                    Output the diff as a DOT graph  --show                   Output using the Show instance (debug only, format                           subject to change without notice)

Graph

该库可以通过语义图计算目录或顶级入口点模块的图,支持 import graph、call graph、JSON graph 等。

代码语言:javascript复制
Usage: semantic graph ([--imports] | [--calls]) [--packages] ([--dot] | [--json]                      | [--show]) ([--root DIR] [--exclude-dir DIR]                      DIR:LANGUAGE | FILE | --language ARG (FILES... | --stdin))  Compute a graph for a directory or from a top-level entry point module
Available options:  --imports                Compute an import graph (default)  --calls                  Compute a call graph  --packages               Include a vertex for the package, with edges from it                           to each module  --dot                    Output in DOT graph format (default)  --json                   Output JSON graph  --show                   Output using the Show instance (debug only, format                           subject to change without notice)  --root DIR               Root directory of project. Optional, defaults to                           entry file/directory.  --exclude-dir DIR        Exclude a directory (e.g. vendor)  --language ARG           The language for the analysis.  --stdin                  Read a list of newline-separated paths to analyze                           from stdin.

语言支持

semantic 库支持的语言很多,如下图所示:

技术和架构

从架构上来说,semantic 库可以:

  • 读 blob;
  • 用 tree-sitter 生成这些 blob 的解析树,tree-sitter 是一种用于编程工具的增量解析系统;
  • 将这些树分配至语法的泛型表示中;
  • 执行分析、计算差异或仅返回解析树;
  • 以支持的格式渲染输出。

semantic 库利用了一系列有趣的算法和技术:

  • Myers 的算法 (SES),详见论文:An O(ND) Difference Algorithm and Its Variations;
  • RWS,详见论文:RWS-Diff: Flexible and Efficient Change Detection in Hierarchical Data;
  • open-union 包和 data types à la carte;
  • 将 Abstracting Definitional Interpreters 的实现扩展,使其可以处理语法项的à la carte 表示。

该项目欢迎社区的参与,该项目参与者之一 patrick thomson 表示:「很期待看到该项目开源后的变化。」

0 人点赞