机器之心报道
刚刚,GitHub Semantic Code 团队宣布开源 semantic 库。这是一个 Haskell 库,用于解析、对比、解释多种编程语言,目前该库支持 JavaScript、TypeScript、Python、Ruby 和 Go 等多种语言。
semantic 库地址:https://github.com/github/semantic
今天,该库获得了 608 个 star,位列 GitHub 趋势榜第二名。
semantic 库简介
semantic 是一个用于解析、分析和对比不同语言源代码的 Haskell 库和命令行工具,目前支持 JavaScript、TypeScript、Python、Ruby 和 Go 语言。根据 GitHub Semantic Code 团队成员 patrick thomson 的 twitter 评论,未来该库可能会增加对 C 语言的支持。
该库由 GitHub Semantic Code team 完成。这支团队主要负责解决分析、解释 GitHub 上公开代码的任务,使用 Haskell 语言。
功能
semantic 库可用于解析、对比、解释多种编程语言的源代码。
解析
该库通过语义解析为路径生成解析树,支持生成 s-expression 解析树、JSON 解析树、JSON 邻接表、JSON 符号表等。
Usage: semantic parse ([--sexpression] | [--json] | [--json-graph] | [--symbols] | [--dot] | [--show] | [--quiet]) [FILES...] Generate parse trees for path(s)
Available options: --sexpression Output s-expression parse trees (default) --json Output JSON parse trees --json-graph Output JSON adjacency list --symbols Output JSON symbol list --dot Output DOT graph parse trees --show Output using the Show instance (debug only, format subject to change without notice) --quiet Don't produce output, but show timing stats
对比
该库通过语义对比计算路径之间的变化,支持生成 s-expression diff tree、JSON diff tree 等。
Usage: semantic diff ([--sexpression] | [--json] | [--json-graph] | [--toc] | [--dot] | [--show]) [FILE_A] [FILE_B] Compute changes between paths
Available options: --sexpression Output s-expression diff tree (default) --json Output JSON diff trees --json-graph Output JSON diff trees --toc Output JSON table of contents diff summary --dot Output the diff as a DOT graph --show Output using the Show instance (debug only, format subject to change without notice)
Graph
该库可以通过语义图计算目录或顶级入口点模块的图,支持 import graph、call graph、JSON graph 等。
Usage: semantic graph ([--imports] | [--calls]) [--packages] ([--dot] | [--json] | [--show]) ([--root DIR] [--exclude-dir DIR] DIR:LANGUAGE | FILE | --language ARG (FILES... | --stdin)) Compute a graph for a directory or from a top-level entry point module
Available options: --imports Compute an import graph (default) --calls Compute a call graph --packages Include a vertex for the package, with edges from it to each module --dot Output in DOT graph format (default) --json Output JSON graph --show Output using the Show instance (debug only, format subject to change without notice) --root DIR Root directory of project. Optional, defaults to entry file/directory. --exclude-dir DIR Exclude a directory (e.g. vendor) --language ARG The language for the analysis. --stdin Read a list of newline-separated paths to analyze from stdin.
语言支持
semantic 库支持的语言很多,如下图所示:
技术和架构
从架构上来说,semantic 库可以:
- 读 blob;
- 用 tree-sitter 生成这些 blob 的解析树,tree-sitter 是一种用于编程工具的增量解析系统;
- 将这些树分配至语法的泛型表示中;
- 执行分析、计算差异或仅返回解析树;
- 以支持的格式渲染输出。
semantic 库利用了一系列有趣的算法和技术:
- Myers 的算法 (SES),详见论文:An O(ND) Difference Algorithm and Its Variations;
- RWS,详见论文:RWS-Diff: Flexible and Efficient Change Detection in Hierarchical Data;
- open-union 包和 data types à la carte;
- 将 Abstracting Definitional Interpreters 的实现扩展,使其可以处理语法项的à la carte 表示。
该项目欢迎社区的参与,该项目参与者之一 patrick thomson 表示:「很期待看到该项目开源后的变化。」