精华内容
下载资源
问答
  • 导入pickle
    2020-12-17 19:34:30

    python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

    基本接口:

    代码如下:

    pickle.dump(obj, file, [,protocol])

    注解:将对象obj保存到文件file中去。

    protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

    file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

    pickle.load(file)注解:从file中读取一个字符串,并将它重构为原来的python对象。

    file:类文件对象,有read()和readline()接口。

    A Simple Code

    代码如下:

    #使用pickle模块将数据对象保存到文件 import pickle

    data1 = {'a': [1, 2.0, 3, 4+6j], 'b': ('string', u'Unicode string'), 'c': None}

    selfref_list = [1, 2, 3]

    selfref_list.append(selfref_list)

    output = open('data.pkl', 'wb') # Pickle dictionary using protocol 0. pickle.dump(data1, output) # Pickle the list using the highest protocol available. pickle.dump(selfref_list, output, -1)

    output.close()

    代码如下:

    #使用pickle模块从文件中重构python对象 import pprint, pickle

    pkl_file = open('data.pkl', 'rb')

    data1 = pickle.load(pkl_file)

    pprint.pprint(data1)

    data2 = pickle.load(pkl_file)

    pprint.pprint(data2)

    pkl_file.close()

    本条技术文章来源于互联网,如果无意侵犯您的权益请点击此处反馈版权投诉

    本文系统来源:php中文网

    更多相关内容
  • python pickle模块

    2020-12-17 19:09:09
    通过本文,您会对 Python对象的各种持久性机制(从关系数据库到 Python 的 pickle以及其它机制)有一个总体认识。另外,还会让您更深一步地了解Python 的对象序列化能力。什么是持久性?持久性的基本思想很简单。假定...

    持久性就是指保持对象,甚至在多次执行同一程序之间也保持对象。通过本文,您会对 Python对象的各种持久性机制(从关系数据库到 Python 的 pickle以及其它机制)有一个总体认识。另外,还会让您更深一步地了解Python 的对象序列化能力。

    什么是持久性?

    持久性的基本思想很简单。假定有一个 Python 程序,它可能是一个管理日常待办事项的程序,您希望在多次执行这个程序之间可以保存应用程序对象(待办事项)。换句话说,您希望将对象存储在磁盘上,便于以后检索。这就是持久性。要达到这个目的,有几种方法,每一种方法都有其优缺点。

    例如,可以将对象数据存储在某种格式的文本文件中,譬如 CSV 文件。或者可以用关系数据库,譬如 Gadfly、MySQL、PostgreSQL 或者 DB2。这些文件格式和数据库都非常优秀,对于所有这些存储机制,Python 都有健壮的接口。

    这些存储机制都有一个共同点:存储的数据是独立于对这些数据进行操作的对象和程序。这样做的好处是,数据可以作为共享的资源,供其它应用程序使用。缺点是,用这种方式,可以允许其它程序访问对象的数据,这违背了面向对象的封装性原则 — 即对象的数据只能通过这个对象自身的公共(public)接口来访问。

    另外,对于某些应用程序,关系数据库方法可能不是很理想。尤其是,关系数据库不理解对象。相反,关系数据库会强行使用自己的类型系统和关系数据模型(表),每张表包含一组元组(行),每行包含具有固定数目的静态类型字段(列)。如果应用程序的对象模型不能够方便地转换到关系模型,那么在将对象映射到元组以及将元组映射回对象方面,会碰到一定难度。这种困难常被称为阻碍性不匹配(impedence-mismatch)问题。

    对象持久性

    如果希望透明地存储 Python 对象,而不丢失其身份和类型等信息,则需要某种形式的对象序列化:它是一个将任意复杂的对象转成对象的文本或二进制表示的过程。同样,必须能够将对象经过序列化后的形式恢复到原有的对象。在 Python 中,这种序列化过程称为 pickle,可以将对象 pickle 成字符串、磁盘上的文件或者任何类似于文件的对象,也可以将这些字符串、文件或任何类似于文件的对象 unpickle 成原来的对象。我们将在本文后面详细讨论 pickle。

    假定您喜欢将任何事物都保存成对象,而且希望避免将对象转换成某种基于非对象存储的开销;那么 pickle 文件可以提供这些好处,但有时可能需要比这种简单的 pickle 文件更健壮以及更具有可伸缩性的事物。例如,只用 pickle 不能解决命名和查找 pickle 文件这样的问题,另外,它也不能支持并发地访问持久性对象。如果需要这些方面的功能,则要求助类似于 ZODB(针对 Python 的 Z 对象数据库)这类数据库。ZODB 是一个健壮的、多用户的和面向对象的数据库系统,它能够存储和管理任意复杂的 Python 对象,并支持事务操作和并发控制。(请参阅 参考资料,以下载 ZODB。)令人足够感兴趣的是,甚至 ZODB 也依靠 Python 的本机序列化能力,而且要有效地使用 ZODB,必须充分了解 pickle。

    另一种令人感兴趣的解决持久性问题的方法是 Prevayler,它最初是用 Java 实现的(有关 Prevaylor 方面的developerWorks 文章,请参阅 参考资料)。最近,一群 Python 程序员将 Prevayler 移植到了 Python 上,另起名为 PyPerSyst,由 SourceForge 托管(有关至 PyPerSyst 项目的链接,请参阅 参考资料)。Prevayler/PyPerSyst 概念也是建立在 Java 和 Python 语言的本机序列化能力之上。PyPerSyst 将整个对象系统保存在内存中,并通过不时地将系统快照 pickle 到磁盘以及维护一个命令日志(通过此日志可以重新应用最新的快照)来提供灾难恢复。所以,尽管使用 PyPerSyst 的应用程序受到可用内存的限制,但好处是本机对象系统可以完全装入到内存中,因而速度极快,而且实现起来要比如 ZODB 这样的数据库简单,ZODB 允许对象的数目比同时在能内存中所保持的对象要多。

    既然我们已经简要讨论了存储持久对象的各种方法,那么现在该详细探讨 pickle 过程了。虽然我们主要感兴趣的是探索以各种方式来保存 Python 对象,而不必将其转换成某种其它格式,但我们仍然还有一些需要关注的地方,譬如:如何有效地 pickle 和 unpickle 简单对象以及复杂对象,包括定制类的实例;如何维护对象的引用,包括循环引用和递归引用;以及如何处理类定义发生的变化,从而使用以前经过 pickle 的实例时不会发生问题。我们将在随后关于 Python 的 pickle 能力探讨中涉及所有这些问题。

    一些经过 pickle 的 Python

    pickle 模块及其同类模块 cPickle 向 Python 提供了 pickle 支持。后者是用 C 编码的,它具有更好的性能,对于大多数应用程序,推荐使用该模块。我们将继续讨论 pickle ,但本文的示例实际是利用了 cPickle 。由于其中大多数示例要用 Python shell 来显示,所以先展示一下如何导入 cPickle ,并可以作为 pickle 来引用它:

    >>> import cPickle as pickle

    现在已经导入了该模块,接下来让我们看一下 pickle 接口。 pickle 模块提供了以下函数对: dumps(object) 返回一个字符串,它包含一个 pickle 格式的对象; loads(string) 返回包含在 pickle 字符串中的对象; dump(object, file) 将对象写到文件,这个文件可以是实际的物理文件,但也可以是任何类似于文件的对象,这个对象具有 write() 方法,可以接受单个的字符串参数; load(file) 返回包含在 pickle 文件中的对象。

    缺省情况下, dumps() 和 dump() 使用可打印的 ASCII 表示来创建 pickle。两者都有一个 final 参数(可选),如果为 True ,则该参数指定用更快以及更小的二进制表示来创建 pickle。 loads() 和 load() 函数自动检测 pickle 是二进制格式还是文本格式。

    清单 1 显示了一个交互式会话,这里使用了刚才所描述的 dumps() 和 loads() 函数:

    清单 1. dumps() 和 loads() 的演示

    >>> import cPickle as pickle

    >>> t1 = ('this is a string', 42, [1, 2, 3], None)

    >>> t1

    ('this is a string', 42, [1, 2, 3], None)

    >>> p1 = pickle.dumps(t1)

    >>> p1

    "(S'this is a string'/nI42/n(lp1/nI1/naI2/naI3/naNtp2/n."

    >>> print p1

    (S'this is a string'

    I42

    (lp1

    I1

    aI2

    aI3

    aNtp2

    .

    >>> t2 = pickle.loads(p1)

    >>> t2

    ('this is a string', 42, [1, 2, 3], None)

    >>> p2 = pickle.dumps(t1, True)

    >>> p2

    '(U/x10this is a stringK*]q/x01(K/x01K/x02K/x03eNtq/x02.'

    >>> t3 = pickle.loads(p2)

    >>> t3

    ('this is a string', 42, [1, 2, 3], None)

    注:该文本 pickle 格式很简单,这里就不解释了。事实上,在 pickle 模块中记录了所有使用的约定。我们还应该指出,在我们的示例中使用的都是简单对象,因此使用二进制 pickle 格式不会在节省空间上显示出太大的效率。然而,在实际使用复杂对象的系统中,您会看到,使用二进制格式可以在大小和速度方面带来显著的改进。

    接下来,我们看一些示例,这些示例用到了 dump() 和 load() ,它们使用文件和类似文件的对象。这些函数的操作非常类似于我们刚才所看到的 dumps() 和 loads() ,区别在于它们还有另一种能力 — dump() 函数能一个接着一个地将几个对象转储到同一个文件。随后调用 load() 来以同样的顺序检索这些对象。清单 2 显示了这种能力的实际应用:

    清单 2. dump() 和 load() 示例

    >>> a1 = 'apple'

    >>> b1 = {1: 'One', 2: 'Two', 3: 'Three'}

    >>> c1 = ['fee', 'fie', 'foe', 'fum']

    >>> f1 = file('temp.pkl', 'wb')

    >>> pickle.dump(a1, f1, True)

    >>> pickle.dump(b1, f1, True)

    >>> pickle.dump(c1, f1, True)

    >>> f1.close()

    >>> f2 = file('temp.pkl', 'rb')

    >>> a2 = pickle.load(f2)

    >>> a2

    'apple'

    >>> b2 = pickle.load(f2)

    >>> b2

    {1: 'One', 2: 'Two', 3: 'Three'}

    >>> c2 = pickle.load(f2)

    >>> c2

    ['fee', 'fie', 'foe', 'fum']

    >>> f2.close()

    Pickle 的威力

    到目前为止,我们讲述了关于 pickle 方面的基本知识。在这一节,将讨论一些高级问题,当您开始 pickle 复杂对象时,会遇到这些问题,其中包括定制类的实例。幸运的是,Python 可以很容易地处理这种情形。

    可移植性

    从空间和时间上说,Pickle 是可移植的。换句话说,pickle 文件格式独立于机器的体系结构,这意味着,例如,可以在 Linux 下创建一个 pickle,然后将它发送到在 Windows 或 Mac OS 下运行的 Python 程序。并且,当升级到更新版本的 Python 时,不必担心可能要废弃已有的 pickle。Python 开发人员已经保证 pickle 格式将可以向后兼容 Python 各个版本。事实上,在 pickle 模块中提供了有关目前以及所支持的格式方面的详细信息.

    清单 3. 检索所支持的格式

    >>> pickle.format_version

    '1.3'

    >>> pickle.compatible_formats

    ['1.0', '1.1', '1.2']

    多个引用,同一对象

    在 Python 中,变量是对象的引用。同时,也可以用多个变量引用同一个对象。经证明,Python 在用经过 pickle 的对象维护这种行为方面丝毫没有困难,如清单 4 所示:

    清单 4. 对象引用的维护

    >>> a = [1, 2, 3]

    >>> b = a

    >>> a

    [1, 2, 3]

    >>> b

    [1, 2, 3]

    >>> a.append(4)

    >>> a

    [1, 2, 3, 4]

    >>> b

    [1, 2, 3, 4]

    >>> c = pickle.dumps((a, b))

    >>> d, e = pickle.loads(c)

    >>> d

    [1, 2, 3, 4]

    >>> e

    [1, 2, 3, 4]

    >>> d.append(5)

    >>> d

    [1, 2, 3, 4, 5]

    >>> e

    [1, 2, 3, 4, 5]

    循环引用和递归引用

    可以将刚才演示过的对象引用支持扩展到 循环引用(两个对象各自包含对对方的引用)和 递归引用(一个对象包含对其自身的引用)。下面两个清单着重显示这种能力。我们先看一下递归引用:

    >清单 5. 递归引用

    >>> l = [1, 2, 3]

    >>> l.append(l)

    >>> l

    [1, 2, 3, [...]]

    >>> l[3]

    [1, 2, 3, [...]]

    >>> l[3][3]

    [1, 2, 3, [...]]

    >>> p = pickle.dumps(l)

    >>> l2 = pickle.loads(p)

    >>> l2

    [1, 2, 3, [...]]

    >>> l2[3]

    [1, 2, 3, [...]]

    >>> l2[3][3]

    [1, 2, 3, [...]]

    现在,看一个循环引用的示例:

    清单 6. 循环引用

    >>> a = [1, 2]

    >>> b = [3, 4]

    >>> a.append(b)

    >>> a

    [1, 2, [3, 4]]

    >>> b.append(a)

    >>> a

    [1, 2, [3, 4, [...]]]

    >>> b

    [3, 4, [1, 2, [...]]]

    >>> a[2]

    [3, 4, [1, 2, [...]]]

    >>> b[2]

    [1, 2, [3, 4, [...]]]

    >>> a[2] is b

    1

    >>> b[2] is a

    1

    >>> f = file('temp.pkl', 'w')

    >>> pickle.dump((a, b), f)

    >>> f.close()

    >>> f = file('temp.pkl', 'r')

    >>> c, d = pickle.load(f)

    >>> f.close()

    >>> c

    [1, 2, [3, 4, [...]]]

    >>> d

    [3, 4, [1, 2, [...]]]

    >>> c[2]

    [3, 4, [1, 2, [...]]]

    >>> d[2]

    [1, 2, [3, 4, [...]]]

    >>> c[2] is d

    1

    >>> d[2] is c

    1

    注意,如果分别 pickle 每个对象,而不是在一个元组中一起 pickle 所有对象,会得到略微不同(但很重要)的结果,如清单 7 所示:

    清单 7. 分别 pickle vs. 在一个元组中一起 pickle

    >>> f = file('temp.pkl', 'w')

    >>> pickle.dump(a, f)

    >>> pickle.dump(b, f)

    >>> f.close()

    >>> f = file('temp.pkl', 'r')

    >>> c = pickle.load(f)

    >>> d = pickle.load(f)

    >>> f.close()

    >>> c

    [1, 2, [3, 4, [...]]]

    >>> d

    [3, 4, [1, 2, [...]]]

    >>> c[2]

    [3, 4, [1, 2, [...]]]

    >>> d[2]

    [1, 2, [3, 4, [...]]]

    >>> c[2] is d

    0

    >>> d[2] is c

    0

    相等,但并不总是相同

    正如在上一个示例所暗示的,只有在这些对象引用内存中同一个对象时,它们才是相同的。在 pickle 情形中,每个对象被恢复到一个与原来对象相等的对象,但不是同一个对象。换句话说,每个 pickle 都是原来对象的一个副本:

    清单 8. 作为原来对象副本的被恢复的对象

    >>> j = [1, 2, 3]

    >>> k = j

    >>> k is j

    1

    >>> x = pickle.dumps(k)

    >>> y = pickle.loads(x)

    >>> y

    [1, 2, 3]

    >>> y == k

    1

    >>> y is k

    0

    >>> y is j

    0

    >>> k is j

    1

    同时,我们看到 Python 能够维护对象之间的引用,这些对象是作为一个单元进行 pickle 的。然而,我们还看到分别调用 dump() 会使 Python 无法维护对在该单元外部进行 pickle 的对象的引用。相反,Python 复制了被引用对象,并将副本和被 pickle 的对象存储在一起。对于 pickle 和恢复单个对象层次结构的应用程序,这是没有问题的。但要意识到还有其它情形。

    值得指出的是,有一个选项确实允许分别 pickle 对象,并维护相互之间的引用,只要这些对象都是 pickle 到同一文件即可。 pickle 和 cPickle 模块提供了一个 Pickler (与此相对应是 Unpickler ),它能够跟踪已经被 pickle 的对象。通过使用这个 Pickler ,将会通过引用而不是通过值来 pickle 共享和循环引用:

    清单 9. 维护分别 pickle 的对象间的引用

    >>> f = file('temp.pkl', 'w')

    >>> pickler = pickle.Pickler(f)

    >>> pickler.dump(a)

    >>> pickler.dump(b)

    >>> f.close()

    >>> f = file('temp.pkl', 'r')

    >>> unpickler = pickle.Unpickler(f)

    >>> c = unpickler.load()

    >>> d = unpickler.load()

    >>> c[2]

    [3, 4, [1, 2, [...]]]

    >>> d[2]

    [1, 2, [3, 4, [...]]]

    >>> c[2] is d

    1

    >>> d[2] is c

    1

    不可 pickle 的对象

    一些对象类型是不可 pickle 的。例如,Python 不能 pickle 文件对象(或者任何带有对文件对象引用的对象),因为 Python 在 unpickle 时不能保证它可以重建该文件的状态(另一个示例比较难懂,在这类文章中不值得提出来)。试图 pickle 文件对象会导致以下错误:

    清单 10. 试图 pickle 文件对象的结果

    >>> f = file('temp.pkl', 'w')

    >>> p = pickle.dumps(f)

    Traceback (most recent call last):

    File "", line 1, in ?

    File "/usr/lib/python2.2/copy_reg.py", line 57, in _reduce

    raise TypeError, "can't pickle %s objects" % base.__name__

    TypeError: can't pickle file objects

    类实例

    与 pickle 简单对象类型相比,pickle 类实例要多加留意。这主要由于 Python 会 pickle 实例数据(通常是 _dict_ 属性)和类的名称,而不会 pickle 类的代码。当 Python unpickle 类的实例时,它会试图使用在 pickle 该实例时的确切的类名称和模块名称(包括任何包的路径前缀)导入包含该类定义的模块。另外要注意,类定义必须出现在模块的最顶层,这意味着它们不能是嵌套的类(在其它类或函数中定义的类)。

    当 unpickle 类的实例时,通常不会再调用它们的 _init_() 方法。相反,Python 创建一个通用类实例,并应用已进行过 pickle 的实例属性,同时设置该实例的 _class_ 属性,使其指向原来的类。

    对 Python 2.2 中引入的新型类进行 unpickle 的机制与原来的略有不同。虽然处理的结果实际上与对旧型类处理的结果相同,但 Python 使用 copy_reg 模块的 _reconstructor() 函数来恢复新型类的实例。

    如果希望对新型或旧型类的实例修改缺省的 pickle 行为,则可以定义特殊的类的方法 _getstate_() 和 _setstate_() ,在保存和恢复类实例的状态信息期间,Python 会调用这些方法。在以下几节中,我们会看到一些示例利用了这些特殊的方法。

    现在,我们看一个简单的类实例。首先,创建一个 persist.py 的 Python 模块,它包含以下新型类的定义:

    清单 11. 新型类的定义

    class Foo(object):

    def __init__(self, value):

    self.value = value

    现在可以 pickle Foo 实例,并看一下它的表示:

    清单 12. pickle Foo 实例

    >>> import cPickle as pickle

    >>> from Orbtech.examples.persist import Foo

    >>> foo = Foo('What is a Foo?')

    >>> p = pickle.dumps(foo)

    >>> print p

    ccopy_reg

    _reconstructor

    p1

    (cOrbtech.examples.persist

    Foo

    p2

    c__builtin__

    object

    p3

    NtRp4

    (dp5

    S'value'

    p6

    S'What is a Foo?'

    sb.

    可以看到这个类的名称 Foo 和全限定的模块名称 Orbtech.examples.persist 都存储在 pickle 中。如果将这个实例 pickle 成一个文件,稍后再 unpickle 它或在另一台机器上 unpickle,则 Python 会试图导入 Orbtech.examples.persist 模块,如果不能导入,则会抛出异常。如果重命名该类和该模块或者将该模块移到另一个目录,则也会发生类似的错误。

    这里有一个 Python 发出错误消息的示例,当我们重命名 Foo 类,然后试图装入先前进行过 pickle 的 Foo 实例时会发生该错误:

    清单 13. 试图装入一个被重命名的 Foo 类的经过 pickle 的实例

    >>> import cPickle as pickle

    >>> f = file('temp.pkl', 'r')

    >>> foo = pickle.load(f)

    Traceback (most recent call last):

    File "", line 1, in ?

    AttributeError: 'module' object has no attribute 'Foo'

    在重命名 persist.py 模块之后,也会发生类似的错误:

    清单 14. 试图装入一个被重命名的 persist.py 模块的经过 pickle 的实例

    >>> import cPickle as pickle

    >>> f = file('temp.pkl', 'r')

    >>> foo = pickle.load(f)

    Traceback (most recent call last):

    File "", line 1, in ?

    ImportError: No module named persist

    我们会在下面 模式改进这一节提供一些技术来管理这类更改,而不会破坏现有的 pickle。

    特殊的状态方法

    前面提到对一些对象类型(譬如,文件对象)不能进行 pickle。处理这种不能 pickle 的对象的实例属性时可以使用特殊的方法( _getstate_() 和 _setstate_() )来修改类实例的状态。这里有一个 Foo 类的示例,我们已经对它进行了修改以处理文件对象属性:

    清单 15. 处理不能 pickle 的实例属性

    class Foo(object):

    def __init__(self, value, filename):

    self.value = value

    self.logfile = file(filename, 'w')

    def __getstate__(self):

    """Return state values to be pickled."""

    f = self.logfile

    return (self.value, f.name, f.tell())

    def __setstate__(self, state):

    """Restore state from the unpickled state values."""

    self.value, name, position = state

    f = file(name, 'w')

    f.seek(position)

    self.logfile = f

    pickle Foo 的实例时,Python 将只 pickle 当它调用该实例的 _getstate_() 方法时返回给它的值。类似的,在 unpickle 时,Python 将提供经过 unpickle 的值作为参数传递给实例的 _setstate_() 方法。在 _setstate_() 方法内,可以根据经过 pickle 的名称和位置信息来重建文件对象,并将该文件对象分配给这个实例的 logfile 属性。

    模式改进

    随着时间的推移,您会发现自己必须要更改类的定义。如果已经对某个类实例进行了 pickle,而现在又需要更改这个类,则您可能要检索和更新那些实例,以便它们能在新的类定义下继续正常工作。而我们已经看到在对类或模块进行某些更改时,会出现一些错误。幸运的是,pickle 和 unpickle 过程提供了一些 hook,我们可以用它们来支持这种模式改进的需要。

    在这一节,我们将探讨一些方法来预测常见问题以及如何解决这些问题。由于不能 pickle 类实例代码,因此可以添加、更改和除去方法,而不会影响现有的经过 pickle 的实例。出于同样的原因,可以不必担心类的属性。您必须确保包含类定义的代码模块在 unpickle 环境中可用。同时还必须为这些可能导致 unpickle 问题的更改做好规划,这些更改包括:更改类名、添加或除去实例的属性以及改变类定义模块的名称或位置。

    类名的更改

    要更改类名,而不破坏先前经过 pickle 的实例,请遵循以下步骤。首先,确保原来的类的定义没有被更改,以便在 unpickle 现有实例时可以找到它。不要更改原来的名称,而是在与原来类定义所在的同一个模块中,创建该类定义的一个副本,同时给它一个新的类名。然后使用实际的新类名来替代 NewClassName ,将以下方法添加到原来类的定义中:

    清单 16. 更改类名:添加到原来类定义的方法

    def __setstate__(self, state):

    self.__dict__.update(state)

    self.__class__ = NewClassName

    当 unpickle 现有实例时,Python 将查找原来类的定义,并调用实例的 _setstate_() 方法,同时将给新的类定义重新分配该实例的 _class_ 属性。一旦确定所有现有的实例都已经 unpickle、更新和重新 pickle 后,可以从源代码模块中除去旧的类定义。

    属性的添加和删除

    这些特殊的状态方法 _getstate_() 和 _setstate_() 再一次使我们能控制每个实例的状态,并使我们有机会处理实例属性中的更改。让我们看一个简单的类的定义,我们将向其添加和除去一些属性。这是是最初的定义:

    清单 17. 最初的类定义

    class Person(object):

    def __init__(self, firstname, lastname):

    self.firstname = firstname

    self.lastname = lastname

    假定已经创建并 pickle 了 Person 的实例,现在我们决定真的只想存储一个名称属性,而不是分别存储姓和名。这里有一种方式可以更改类的定义,它将先前经过 pickle 的实例迁移到新的定义:

    清单 18. 新的类定义

    class Person(object):

    def __init__(self, fullname):

    self.fullname = fullname

    def __setstate__(self, state):

    if 'fullname' not in state:

    first = ''

    last = ''

    if 'firstname' in state:

    first = state['firstname']

    del state['firstname']

    if 'lastname' in state:

    last = state['lastname']

    del state['lastname']

    self.fullname = " ".join([first, last]).strip()

    self.__dict__.update(state)

    在这个示例,我们添加了一个新的属性 fullname ,并除去了两个现有的属性 firstname 和 lastname 。当对先前进行过 pickle 的实例执行 unpickle 时,其先前进行过 pickle 的状态会作为字典传递给 _setstate_() ,它将包括 firstname 和 lastname 属性的值。接下来,将这两个值组合起来,并将它们分配给新属性 fullname 。在这个过程中,我们删除了状态字典中旧的属性。更新和重新 pickle 先前进行过 pickle 的所有实例之后,现在可以从类定义中除去 _setstate_() 方法。

    模块的修改

    在概念上,模块的名称或位置的改变类似于类名称的改变,但处理方式却完全不同。那是因为模块的信息存储在 pickle 中,而不是通过标准的 pickle 接口就可以修改的属性。事实上,改变模块信息的唯一办法是对实际的 pickle 文件本身执行查找和替换操作。至于如何确切地去做,这取决于具体的操作系统和可使用的工具。很显然,在这种情况下,您会想备份您的文件,以免发生错误。但这种改动应该非常简单,并且对二进制 pickle 格式进行更改与对文本 pickle 格式进行更改应该一样有效。

    展开全文
  • 1. pickle.dump():将obj对象序列化存入已经打开的file中。 pickle.dump(obj, file, protocol=None, *, fix_imports=True) obj:想要序列化的obj对象。 file:一个拥有 write() 方法的对象,并且这个 write()方法能...

    一、常用函数

    1. pickle.dump():将obj对象序列化存入已经打开的file中。

    pickle.dump(obj, file, protocol=None, *, fix_imports=True)
    
    • obj:想要序列化的obj对象。
    • file:一个拥有 write() 方法的对象,并且这个 write()方法能接收一个字符串作为参数。这个对象可以是一个以写模式打开的文件对象或者一个 StringIO 对象,或者其他自定义的满足条件的对象。
    • protocol:序列化使用的协议。如果该项省略,则默认为0。如果为负值或HIGHEST_PROTOCOL,则使用最高的协议版本。

    实例

    import pickle	#导入pickle模块
    
    #创建一个列表
    my_list = [1,3,'hello world',['man','china',378]]
    
    #以‘wb’方式创建一个文件用于存放
    pickle_file = open('my_list.pkl','wb')
    
    #将创建的列表存入
    pickle.dump(my_list,pickle_file)
    
    #存后关闭文件
    pickle_file.close()
    

    2. pickle.load() :将已经打开的file中的对象序列化读出

    pickle.load(file, *, fix_imports=True, encoding="ASCII", errors="strict")
    

    实例

    #打开文件
    file = open('my_list.pkl','rb')
    
    #使用pickle.load()函数将其读出并打印
    list_file = pickle.load(file)
    print(list_file)
    
    #读出文件后记得关闭
    file.close()
    

    运行结果如下:可以看出文件已经被读出
    在这里插入图片描述

    展开全文
  • I am trying to load and save objects with this piece of code I get it from a question I asked a week ago: Python: saving and loading objects and using pickle.The piece of code is this:class Fruits: pa...

    I am trying to load and save objects with this piece of code I get it from a question I asked a week ago: Python: saving and loading objects and using pickle.

    The piece of code is this:

    class Fruits: pass

    banana = Fruits()

    banana.color = 'yellow'

    banana.value = 30

    import pickle

    filehandler = open("Fruits.obj","wb")

    pickle.dump(banana,filehandler)

    filehandler.close()

    file = open("Fruits.obj",'rb')

    object_file = pickle.load(file)

    file.close()

    print(object_file.color, object_file.value, sep=', ')

    At a first glance the piece of code works well, getting load and see the 'color' and 'value' of the saved object.

    But, what I pursuit is to close a session, open a new one and load what I save in a past session. I close the session after putting the line filehandler.close() and I open a new one and I put the rest of your code, then after putting object_file = pickle.load(file) I get this error:

    Traceback (most recent call last):

    File "", line 1, in

    object_file = pickle.load(file)

    File "C:\Python31\lib\pickle.py", line 1365, in load

    encoding=encoding, errors=errors).load()

    AttributeError: 'module' object has no attribute 'Fruits'

    Can anyone explain me what this error message means and telling me how to solve this problem?

    Thank so much and happy new year!!

    解决方案

    Python does not pickle whole classes. Only the names. Therefore you must have the module that contains them saved to a file and importable at the time they are unpickled. Python will then re-import them.

    If you run into problems, you may need to define special helper methods, __getstate__ and __setstate__ that are used for pickling.

    展开全文
  • 本文实例讲述了python使用pickle模块报错eoferror ran out of input的解决方法。分享给大家供大家参考,具体如下:遇到了 eoferror:ran out of input 不到为什么这样,最后用捕获异常的办法解决掉了,暂时对程序...
  • Pickle模块的作用是持久化(序列化)的储存数据。因此我先解释下:什么是序列化与反序列化、什么是对象序列化和对象反序列化。通俗地讲,它们的定义如下:序列化: 把一个对象保存到一个文件或数据库字段中去;反序列化...
  • 在sypder导入.spydata数据时报错 ValueError: Object arrays cannot be loaded when allow_pickle=False 刚刚导入数据时遇到了错误,搜了一下原因是.spydata中存在numpy.object类型的数据 解决方式有两种 一、修改...
  • Python-数据序列化:pickle模块1 将Python数据存储为本地文件2 将Python数据存储为程序的一部分 在英语中 pickle 名词是泡菜,动词是腌渍的意思。可以理解为把东西腌起来保存成文件,要用的时候读出来洗洗再用。 ...
  • Python pickle模块是对二进制协议的一种实现,用于对于python中的对象结构进行(正向的)序列化(serialization)和(反向的)解序列化(de-serialization)处理。序列化(serialization)将结构化的python对象(如list, ...
  • pickle模块 pickle模块是python中很好用的一个小工具,可以对数据进行序列化和反序列化。 【功能】 使用pickle工具,实现将数据原样保存功能,便于日后读取。 当然这里保存的文件可以以任何字母结尾 eg: .model .pkl...
  • json的序列化与反序列化 json的使用需要导入该模块,一般使用import json即可. json的序列化 方法1:json. ... python中的mysql数据库like模糊查询 %在python中是个特殊的符号,如%s,%d分别代表了字符串占位符和数字...
  • Pytorch库——pickle

    2021-10-27 22:12:38
     Python提供的pickle模块就很好地解决了这个问题,它可以序列化对象并保存到磁盘中,并在需要的时候读取出来,任何对象都可以执行序列化操作 二、使用  (1)pickle.dump(obj, file, [,protocol])  函数的...
  • pickle
  • pickle是一个Python的内置模块,用于在Python中实现对象结构序列化和反序列化。Python序列化是一个将Python对象层次结构转换为可以本地存储或者网络传输的字节流的过程,反序列化则是将字节流还原为将Python对象层次...
  • 本文实例讲述了Python读取Pickle文件信息并计算与当前时间间隔的方法。...import datetime#导入时间戳 import SocketServer import pickle pfile = 'h_dic.pkl'#定义pickle文件,并生成h_dic.pkl文件 #读取目录
  • pickle模块同样是为了永久存储,其可以对小数据量进行存储。数据存储在一个.pickle文件中。 pickle和数据库都是为了方便存储数据。 pickle的使用: pickle可以将对象数据压到一个文件中,永久保存。这样在取...
  • python3中cPickle模块已经更名为pickle,所以在python3中导入时可以使用: import pickle as cPickle cPickle 是 python2 的库,到 python3,改名为 pickle: import pickle 在python3中,直接使用pickle模块更为...
  • 问题描述: AttributeError: 'module' object has no attribute ‘attr1’   解决方案: # 找到报错的文件a.py from a import attr1   转载于:...
  • pickle pythonIn this tutorial we will be discussing about Python Pickle Example. In our previous tutorial, we discussed about Python Multiprocessing. 在本教程中,我们将讨论有关Python Pickle Example的...
  • python pickle模块详解

    2021-03-17 02:02:59
    转自:http://www.cnblogs.com/cobbliu/archive/2012/09/04/2670178.html最近因为使用python的持久化存储模型的功能,就来学习pickle模块了,发现一篇很详细的教程,保存下来作为参考python pickle模块持久性就是指...
  • 所谓的模块导入( import ),是指在一个模块中使用另一个模块的代码的操作,它有利于代码的复用。 在 Python 中使用 import 关键字来实现这个操作,但不是唯一的方法,还有 importlib.import_module() 和 __import_...
  • 模块 pickle 实现了对一个 Python 对象结构的二进制序列化和反序列化。 “Pickling” 是将 Python 对象及其所拥有的层次结构转化为一个字节流的过程,而 “unpickling” 是相反的操作,会将(来自一个 binary file ...
  • pickle详解

    2017-11-27 10:10:34
    由于其中大多数示例要用 Python shell 来显示,所以先展示一下如何导入 cPickle ,并可以作为 pickle 来引用它: import cPickle as pickle 简单接口   现在已经导入了该模块,接下来让我们看一下...
  • 需要重复的在不同的文件中编写这个模型,这个时候pickle就排上了大的用场,他可以将我们所创建的模型类似于封装一样,保存成不同的.pickle文件,然后当我们想要调用这个模型的时候只要导入就可以了,具体如何操作,...
  • python pickle漏洞

    2021-07-27 14:45:14
    1.使用pickle库对对象进行序列化和反序列化操作 json反序列化 import json dict={"admin":"123"} json_info = json.dumps(dict) print(str(type(json_info))+json_info) dict1=json.loads(json_info) print(str...
  • 1 Pickle文件1.1 介绍1.2 写入pickle文件1.3 读取pickle文件1.4 读取后存入txt文件2 npy文件2.1 介绍2.2 写入npy文件2.3 读取npy文件2.3 存入txt文件 1 Pickle文件 1.1 介绍 pickle模块可以对小数据量进行存储。数据...
  • 根据文件:What can be pickled and ... 例如,这应该有效:import numpy as np import pickle class Foo(): @property def module(): return np foo = Foo() with open('test.out', 'wb') as f: pickle.dump(foo, f)
  • import pickle path = r'E:/DA/ocr_project/capture/source/models/findnewword/root.pkl' def load_model(filename): with open(filename,'rb') as fr: model = pickle.load(fr) return model 调用出现如下...
  • pickle是Python专用的一个进行序列化和反序列化的工具包,pickle能表示Python几乎所有的类型(包括自定义类型),由一系列opcode组成,模拟了类似堆栈的内存。 与PHP序列化或者JSON,这些以键值对形式存储序列化对象...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 11,228
精华内容 4,491
关键字:

导入pickle