Boltons：Python实用工具库

2023-09-12 09:17:08 浏览数 (1)

Boltons 使用的是 BSD 许可证，到目前为止已经收录 超过230个 的纯 Python实用工具库，这些工具库与 Python 标准库并没有重合，是补充的关系，包括：

  • cacheutils 工具集：用于管理缓存，提供 LRU 和 LRI 等缓存方式
  • debugutils 工具库：用于调试实用程序
  • dictutils 工具库：映射类型(OMD)
  • ecoutils 工具库：生态系统分析
  • fileutils工具库：文件系统帮助器，提供原子文件保存等功能
  • formatutils 工具库：str.format() 工具箱
  • funcutils 工具库：functools 修正
  • gcutils 工具库：垃圾收集工具
  • ioutils 工具库：增强输入/输出功能
  • iterutils 工具库：itertools 改进
  • jsonutils 工具库：JSON交互
  • listutils 工具库：list 衍生物
  • mathutils 工具库：提供数学函数的支持
  • mboxutils 工具库：Unix邮箱实用程序
  • namedutils 工具库：提供两种轻量级容器类型
  • pathutils 工具库：提供处理文件路径的函数
  • queueutils 工具库：优先级队列，目前提供基于堆及基于排序列表两种队列实现
  • setutils 工具库：IndexedSet 类型
  • socketutils 工具库：socket 包装纸
  • statsutils 工具库：统计基本面
  • strutils 工具库：文本操作，涉及到方方面面，有非常多的工具函数
  • tableutils 工具库：2D数据结构
  • tbutils 工具库：回溯跟踪和调用堆栈，丰富的Tracebackinfo类实现了栈追踪
  • timeutils 工具库：增加 datetime 对象处理能力
  • typeutils 工具库：类型处理
  • urlutils 工具库：结构化URL，方便对 URL 进行处理

# 1. 如何安装

安装只需要一条命令

代码语言：javascript复制
pip install boltons

# 2. 实用范例

Boltons 的工具库函数非常多，不能一一举例，本文只摘取一些明哥认为经典的工具做为演示

遍历日期

在 timeutils 工具库中有一个 daterange 可以对日期进行遍历，省去自己手动构造日期

代码语言：javascript复制
>>> from datetime import date
>>> from boltons.timeutils import daterange
>>>
>>> christmas = date(year=2022, month=12, day=25)
>>> new_year = date(year=2023, month=1,  day=1)
>>> for day in daterange(christmas, new_year):
...     print(repr(day))
...
datetime.date(2022, 12, 25)
datetime.date(2022, 12, 26)
datetime.date(2022, 12, 27)
datetime.date(2022, 12, 28)
datetime.date(2022, 12, 29)
datetime.date(2022, 12, 30)
datetime.date(2022, 12, 31)

当然，你也可以指定遍历的间隔

代码语言：javascript复制
>>> for day in daterange(date(2017, 5, 1), date(2017, 8, 1),
...                      step=(0, 1, 0), inclusive=True):
...     print(repr(day))
...
datetime.date(2017, 5, 1)
datetime.date(2017, 6, 1)
datetime.date(2017, 7, 1)
datetime.date(2017, 8, 1)

其中参数的意义是：

  • step (int)：元组 (year, month, day) 。
  • inclusive (bool) ：是否包含 stop 的日期

范围转具体

在 libvirt 里的 xml 上的 CPU 上通常都是这样表示的

如何将这种格式（emulatorpin 里的 cpuset）的范围，直接转成具体包含了哪些核呢？

使用 boltons 的 strutils 工具包的一个函数立马搞定

代码语言：javascript复制
>>> from boltons.strutils import parse_int_list
>>>
>>> parse_int_list('0,7,21-22,48,55,69-70')
[0, 7, 21, 22, 48, 55, 69, 70]

递归映射

iterutils 工具包里提供一个 remap 函数，可用于遍历和转换嵌套结构。

如下面这个例子，将删除所有 value = None 的元素

代码语言：javascript复制
>>> from pprint import pprint
>>>
>>> reviews = {'Star Trek': {'TNG': 10, 'DS9': 8.5, 'ENT': None},
...            'Babylon 5': 6, 'Dr. Who': None}
>>>
>>>
>>> from boltons.iterutils import remap
>>>
>>> pprint(remap(reviews, lambda p, k, v: v is not None))
{'Babylon 5': 6, 'Star Trek': {'DS9': 8.5, 'TNG': 10}}

与 remap 相似的函数还有一个 research，可用于递归匹配查找

假设有如下一个字典

代码语言：javascript复制
root = {'a': {'b': 1, 'c': (2, 'd', 3)}, 'e': None}

此时我想找出所有 value 为整数的的项，可以这样子实现

代码语言：javascript复制
>>> from boltons.iterutils import research
>>>
>>> res = research(root, query=lambda p, k, v: isinstance(v, int))
>>> print(sorted(res))
[(('a', 'b'), 1), (('a', 'c', 0), 2), (('a', 'c', 2), 3)]

流式读取多文件

如果你有多个文件需要连接起来处理，可以使用 ioutils 工具包里的 MultiFileReader

代码语言：javascript复制
>>> from boltons.ioutils import MultiFileReader, BytesIO
>>>
>>> mfr = MultiFileReader(BytesIO(b'ab'), BytesIO(b'cd'), BytesIO(b'e'))
>>> mfr.read(3).decode('ascii')
'abc'

创建多级目录

Linux 上可以使用 mkdir -p 命令来创建多级目录，但若使用 Python 来实现这个功能其实是非常麻烦的，如果不断的判断，一级一级往下去创建

而在 boltons 上的 fileutils 工具包提供的 mkdir_p 函数，可以达到 Linux 上 mkdir -p 丝滑体验

代码语言：javascript复制
>>> from boltons.fileutils import mkdir_p
>>>
>>> mkdir_p("/home/foo/bar/test")

URL结构处理

一个 URL 由下面结构组成

代码语言：javascript复制
 foo://user:pass@example.com:8042/over/there?name=ferret#nose
 _/   _______/ _________/ __/_________/ _________/ __/
  |        |          |        |      |           |        |
scheme  userinfo     host     port   path       query   fragment

当我想从 URL 中解析获取部分内容时，就要对该字符串进行正则匹配。

若使用 boltons 中的 urlutils 工具库 中的 URL 类，可以很方便对获取任何 url 构成

代码语言：javascript复制
>>> from boltons.urlutils import URL
>>>
>>> url = URL('foo://example.com:8042/over/there?name=ferret#nose')
>>> print(url.host)
example.com
>>>
>>> print(url.port)
8042
>>>
>>> print(url.path)
/over/there
>>>
>>> print(url.query_params)
QueryParamDict([('name', 'ferret')])

# 3. 写在最后

Boltons 是纯Python，如果你不想引入 Boltons 巨大的工具箱时，也不用担心，每个模块都是独立的，没有依赖关系，可以直接复制到项目中使用

python 遍历 队列 工具 函数

0 人点赞