Pyhton3中的pickle模块用于对Python对象结构的二进制进行序列化(或pickling)和反序列化(或unpickling)。”pickling”是将Python对象及其所拥有的层次结构转化为一个字节流(byte stream)的过程，而”unpickling”是相反的操作，会将(来自一个binary file或者bytes-like object的)字节流转化回一个对象层次结构(object hierarchy)。
pickle是Python3的一个标准模块，安装Python3的同时就已经安装了pickle库。
pickle用于存储Python对象。我们不必一次又一次地构造同一个对象。我们将创建一次对象，然后将其保存到磁盘中，稍后，我们从磁盘加载此对象，而无需再次创建对象。
pickle在机器学习中最有用。机器学习模型是在非常大的数据集上训练的，训练模型会消耗大量时间。我们只需训练一次模型，然后可以将其保存到本地磁盘中，当我们需要测试我们的模型时，我们可以直接从磁盘加载它，而无需再次训练它。
pickle模块并不安全：你只应该对你信任的数据进行unpickle操作。在处理不信任数据时，更安全的序列化格式如json可能更为适合(json是一个文本序列化格式，而pickle是一个二进制序列化格式)。
pickle所使用的数据格式仅可用于Python。
如果我们试图unpickle在不同版本的Python生成的pickled文件，它可能会导致问题。如果你使用特定版本的Python pickled了一个对象，那么你可能无法使用低版本的Python来unpickle它。
尝试pickle不能被pickled的对象会抛出PicklingError异常，异常发生时，可能有部分字节已经被写入指定文件中。尝试pickle递归层级很深的对象时，可能会超出最大递归层级限制，此时会抛出RecursionError异常。在封存类的实例时，其类体和类数据不会跟着实例一起被pickled，只有实例数据会被pickled。
目前pickle模块可以使用六种不同的协议。协议版本越高，Python解释器就需要越新的版本才能进行unpickle。可通过pickle.HIGHEST_PROTOCOL获取当前python解释器支持的最高协议。要使用特定的协议，需要在调用load/loads/dump/dumps时指定协议版本。如果没有指定协议版本，那么解释器将使用pickle.DEFAULT_PROTOCOL属性中指定的默认版本。
要序列化某个包含层次结构的对象，只需调用dump或dumps函数即可。同样，要反序列化数据流，可以调用load或loads函数。dump和dumps函数之间的唯一区别是第一个创建一个序列化结果到打开的文件，而第二个把序列化结果到一个字符串。同样的概念也适用于load和loads函数：第一个读取打开的文件以启动unpickling过程，第二个对字符串进行unpickling操作。
pickle支持pickled/unpickled的对象，包括：
(1).None，True，and False；
(2).integers，floating-point numbers，complex numbers；
(3).strings，bytes，bytearrays；
(4).tuples，lists，sets，and dictionaries containing only picklable objects；
(5).functions(built-in and user-defined) accessible from the top level of a module(using def，not lambda)；
(6).classes accessible from the top level of a module；
(7).instances of such classes whose __dict__ or the result of calling __getstate__() is picklable。
以上内容主要参考：https://docs.python.org/3/library/pickle.html
以下为测试代码：
代码语言：javascript复制import pickle
import sys
def dictionary_dump_load():
# reference: https://docs.python.org/zh-cn/3/library/pickle.html
data = {
'a': [1, 2.0, 3 4j],
'b': ("character string", b"byte string"),
'c': {None, True, False}
}
with open('data.pickle', 'wb') as f:
pickle.dump(data, f)
with open('data.pickle', 'rb') as f:
data2 = pickle.load(f)
print("dictionary data:", data2) # dictionary data: {'a': [1, 2.0, (3 4j)], 'b': ('character string', b'byte string'), 'c': {False, True, None}}
class example_class:
# reference: https://realpython.com/python-pickle-module/
a_number = 35
a_string = "hey"
a_list = [1, 2, 3]
a_dict = {"first": "a", "second": 2, "third": [1, 2, 3]}
a_tuple = (22, 23)
def donot_support_lambda():
square = lambda x : x * x # dill module support lambda serializes
my_pickle = pickle.dumps(square) # AttributeError: Can't pickle local object 'donot_support_lamda.<locals>.<lambda>'
def func_add(a, b):
return (a b)
def main():
dictionary_dump_load()
my_object = example_class()
my_pickled_object = pickle.dumps(my_object) # Pickling the object
print(f"pickled object: {my_pickled_object}") # pickled object: b'x80x04x95!x00x00x00x00x00x00x00x8cx08__main__x94x8crexample_classx94x93x94)x81x94.'
my_object.a_dict = None
my_unpickled_object = pickle.loads(my_pickled_object) # Unpickling the object
print(f"unpickled object: {my_unpickled_object.a_dict}") # unpickled object: {'first': 'a', 'second': 2, 'third': [1, 2, 3]}
# 可通过pickle.HIGHEST_PROTOCOL获取python解释器支持的最高协议,通过pickle.DEFAULT_PROTOCOL获取python解释器支持的默认协议
print(f"python version: {sys.version}, the highest protocol supported by the interpreter: {pickle.HIGHEST_PROTOCOL}") # python version: 3.10.4 (main, Mar 31 2022, 08:41:55) [GCC 7.5.0], the highest protocol supported by the interpreter: 5
print(f"python version: {sys.version}, default version: { pickle.DEFAULT_PROTOCOL}") # python version: 3.10.4 (main, Mar 31 2022, 08:41:55) [GCC 7.5.0], default version: 4
#donot_support_lambda()
# Python函数和类都可以序列化和反序列化
with open('data2.pickle', 'wb') as f:
pickle.dump(func_add, f) # dump function
with open('data2.pickle', 'rb') as f:
add = pickle.load(f)
print("2 3=", add(2, 3)) # 2 3= 5
print("test finish")
if __name__ == '__main__':
main()Jetbrains全家桶1年46，售后保障稳定
GitHub：https://github.com/fengbingchun/Python_Test
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/234444.html原文链接：https://javaforall.cn
