pydantic 在运行时强制执行类型提示,并在数据无效时提供友好的错误。
它具有如下优点:
- 与 IDE/linter 完美搭配,不需要学习新的模式,只是使用类型注解定义类的实例
- 多用途,BaseSettings 既可以验证请求数据,也可以从环境变量中读取系统设置
- 快速
- 可以验证复杂结构
- 可扩展,可以使用validator装饰器装饰的模型上的方法来扩展验证
- 数据类集成,除了BaseModel,pydantic还提供了一个dataclass装饰器,它创建带有输入数据解析和验证的普通 Python 数据类。
同时可以检查的python格式包括:
- None,type(None)或Literal[None]只允许None值
- bool 布尔类型
- int 整数类型
- float 浮点数类型
- str 字符串类型
- bytes 字节类型
- list 允许list,tuple,set,frozenset,deque, 或生成器并转换为列表
- tuple 允许list,tuple,set,frozenset,deque, 或生成器并转换为元组
- dict 字典类型
- set 允许list,tuple,set,frozenset,deque, 或生成器和转换为集合;
- frozenset 允许list,tuple,set,frozenset,deque, 或生成器和强制转换为冻结集
- deque 允许list,tuple,set,frozenset,deque, 或生成器和强制转换为双端队列
- datetime 的date,datetime,time,timedelta 等日期类型
- typing 中的 Deque, Dict, FrozenSet, List, Optional, Sequence, Set, Tuple, Union,Callable,- Pattern等类型
- FilePath,文件路径
- DirectoryPath 目录路径
- EmailStr 电子邮件地址
- NameEmail 有效的电子邮件地址或格式
1 BaseModel 基本用法
1.1 基本属性
BaseModel的基本属性包括:
- dict() 模型字段和值的字典
- json() JSON 字符串表示dict()
- copy() 模型的副本(默认为浅表副本)
- parse_obj() 使用dict解析数据
- parse_raw 将str或bytes并将其解析为json,然后将结果传递给parse_obj
- parse_file 文件路径,读取文件并将内容传递给parse_raw。如果content_type省略,则从文件的扩展名推断
- from_orm() 从ORM 对象创建模型
- schema() 返回模式的字典
- schema_json() 返回该字典的 JSON 字符串表示
- construct() 允许在没有验证的情况下创建模型
- fields_set 初始化模型实例时设置的字段名称集
- fields 模型字段的字典
- config 模型的配置类
1.2 基本属性验证用法代码案例
先来个比较简单的版本:
代码语言:javascript复制from pydantic import BaseModel
class User(BaseModel):
id: int
name: str = 'John Doe' # name是字符型,同时设定了一个默认值
定义了一个User模型,继承自BaseModel,有2个字段,id是一个整数并且是必需的,name是一个带有默认值的字符串并且不是必需的
实例化使用:
代码语言:javascript复制# 情况一:因为定义了User类中id是数字,所以这里实例化后,如果可以变成数字的,直接转化
user = User(id='123')
>>> '{"id": 123, "name": "Jane Doe"}'
# 情况二:定义id为整数,且不可以转化为整数,则会如上报错
user = User(id='123a')
>>> ValidationError: 1 validation error for User
id
value is not a valid integer (type=type_error.integer)
# 情况三:定义id为整数,此时是float格式,也会报错
user = User(id='123.2')
>>> ValidationError: 1 validation error for User
id
value is not a valid integer (type=type_error.integer)
再来一段复杂点的案例:
代码语言:javascript复制from pydantic import ValidationError
# 这里规定了id必须是int类型
class User(BaseModel):
id: int
name: str = 'John Doe'
signup_ts: datetime | None # 字符型或者None都是可以的
tastes: dict[str, PositiveInt] # 字典型,规定key是字符型,value一定是正整数型
address: Optional[Address] # Optional可选是否填写
bool_value: bool
# 正负取值,print(BooleanModel(bool_value='False'))
# 然而这里id给了个str类型
external_data = {'id': 'not an int', 'tastes': {}}
try:
User(**external_data)
except ValidationError as e:
print(e.errors())
关于List / Tuple这类的限定: 参考:文档
代码语言:javascript复制from typing import Deque, List, Optional, Tuple
from pydantic import BaseModel
class Model(BaseModel):
simple_list: Optional[list] = None
list_of_ints: Optional[List[int]] = None
simple_tuple: Optional[tuple] = None
tuple_of_different_types: Optional[Tuple[int, float, bool]] = None
deque: Optional[Deque[int]] = None
print(Model(simple_list=['1', '2', '3']).simple_list)
#> ['1', '2', '3']
print(Model(list_of_ints=['1', '2', '3']).list_of_ints)
#> [1, 2, 3]
print(Model(simple_tuple=[1, 2, 3, 4]).simple_tuple)
#> (1, 2, 3, 4)
print(Model(tuple_of_different_types=[3, 2, 1]).tuple_of_different_types)
#> (3, 2.0, True)
print(Model(deque=[1, 2, 3]).deque)
#> deque([1, 2, 3])
可以嵌套比较复杂的结构,同时都是可选的,同时嵌套结构可以进行定义
1.3 约束参数范围
conlist
- item_type: Type[T]: 列表项的类型
- min_items: int = None: 列表中的最小项目数
- max_items: int = None: 列表中的最大项目数
conset
- item_type: Type[T]: 设置项目的类型
- min_items: int = None: 集合中的最小项目数
- max_items: int = None: 集合中的最大项目数
conint
- strict: bool = False: 控制类型强制
- gt: int = None: 强制整数大于设定值
- ge: int = None: 强制整数大于或等于设定值
- lt: int = None: 强制整数小于设定值
- le: int = None: 强制整数小于或等于设定值
- multiple_of: int = None: 强制整数为设定值的倍数
confloat
- strict: bool = False: 控制类型强制
- gt: float = None: 强制浮点数大于设定值
- ge: float = None: 强制 float 大于或等于设定值
- lt: float = None: 强制浮点数小于设定值
- le: float = None: 强制 float 小于或等于设定值
- multiple_of: float = None: 强制 float 为设定值的倍数
condecimal
- gt: Decimal = None: 强制十进制大于设定值
- ge: Decimal = None: 强制十进制大于或等于设定值
- lt: Decimal = None: 强制十进制小于设定值
- le: Decimal = None: 强制十进制小于或等于设定值
- max_digits: int = None: 小数点内的最大位数。它不包括小数点前的零或尾随的十进制零
- decimal_places: int = None: 允许的最大小数位数。它不包括尾随十进制零
- multiple_of: Decimal = None: 强制十进制为设定值的倍数
constr
- strip_whitespace: bool = False: 删除前尾空格
- to_lower: bool = False: 将所有字符转为小写
- strict: bool = False: 控制类型强制
- min_length: int = None: 字符串的最小长度
- max_length: int = None: 字符串的最大长度
- curtail_length: int = None: 当字符串长度超过设定值时,将字符串长度缩小到设定值
- regex: str = None: 正则表达式来验证字符串
conbytes
- strip_whitespace: bool = False: 删除前尾空格
- to_lower: bool = False: 将所有字符转为小写
- min_length: int = None: 字节串的最小长度
- max_length: int = None: 字节串的最大长度 严格类型,您可以使用StrictStr,StrictBytes,StrictInt,StrictFloat,和StrictBool类型,以防止强制兼容类型
再来看一个例子:
代码语言:javascript复制from typing import Annotated, Dict, List, Literal, Tuple
from annotated_types import Gt
from pydantic import BaseModel
class Fruit(BaseModel):
name: str
color: Literal['red', 'green']
# 规定color是字符型,同时只能在red / green两个文本中进行选择
weight: Annotated[float, Gt(0)]
bazam: Dict[str, List[Tuple[int, bool, float]]]
# 定义bazam为字符型,key为str型,value为List型,这里的嵌套结构比较多
print(
Fruit(
name='Apple',
color='red',
weight=4.2,
bazam={'foobar': [(1, True, 0.1)]},
)
)
2 进阶应用
2.1 validator验证对象关系
代码语言:javascript复制from pydantic import BaseModel, ValidationError, validator
class UserModel(BaseModel):
# 先规定UserModel必要的几个参数
name: str
username: str
password1: str
password2: str
# 然后校验不同参数,validator()第一个参数name
@validator('name')
def name_must_contain_space(cls, v):
if ' ' not in v:
raise ValueError('must contain a space')
return v.title()
@validator('password2')
def passwords_match(cls, v, values, **kwargs):
if 'password1' in values and v != values['password1']:
raise ValueError('passwords do not match')
return v
@validator('username')
def username_alphanumeric(cls, v):
assert v.isalnum(), 'must be alphanumeric'
return v
user = UserModel(
name='samuel colvin',
username='scolvin',
password1='zxcvbn',
password2='zxcvbn',
)
print(user)
#> name='Samuel Colvin' username='scolvin' password1='zxcvbn' password2='zxcvbn'
try:
UserModel(
name='samuel',
username='scolvin',
password1='zxcvbn',
password2='zxcvbn2',
)
except ValidationError as e:
print(e)
再来举一个验证字符内容(验证输入的手机号码)的例子:
代码语言:javascript复制import re
from pydantic import BaseModel, validator, ValidationError
from typing import Optional
class Address(BaseModel):
street: str
number: int
zipcode: str
class Person(BaseModel):
first_name: str
last_name: str
cell_phone_number: str
address: Optional[Address]
@validator("cell_phone_number")
def validate_cell_phone_number(cls, v):
match = re.match(r"^135d{8}$", v)
if len(v) != 11:
raise ValueError("cell phone number must be 11 digits")
elif match is None:
raise ValueError("cell phone number must start with 135")
return v
这里验证手机号,可以看到re.match(r"^135d{8}$", v)
代表着,检查这串手机号,是否是135
开头,以及后面是否是8位数。
2.2 验证pipeline:Annotated
可以一个数列连续验证多次,同时对数列进行一些操作,比如加减乘除
代码语言:javascript复制from typing import Any, List
from typing_extensions import Annotated
from pydantic import BaseModel, ValidationError
from pydantic.functional_validators import AfterValidator
def check_squares(v: int) -> int:
assert v**0.5 % 1 == 0, f'{v} is not a square number'
return v
def double(v: Any) -> Any:
return v * 2
# 核心在Annotated这个函数
MyNumber = Annotated[int, AfterValidator(double), AfterValidator(check_squares)]
class DemoModel(BaseModel):
number: List[MyNumber]
print(DemoModel(number=[2, 8]))
#> number=[4, 16]
try:
DemoModel(number=[2, 4])
except ValidationError as e:
print(e)
"""
1 validation error for DemoModel
number.1
Assertion failed, 8 is not a square number
assert ((8 ** 0.5) % 1) == 0 [type=assertion_error, input_value=4, input_type=int]
"""
核心解读一下这句话:
代码语言:javascript复制Annotated[int, AfterValidator(double), AfterValidator(check_squares)]
解读一下,
- 先执行验证是否是整数,
- 执行后再执行
AfterValidator(double)
此时double
其实是一个函数,将[2,4]
变成[4,16]
, - 再接着执行
AfterValidator(check_squares)
,检查[4,16]
是否都是平方数,4是2的平方,16是4的平方
参考文献
- python库pydantic简易教程