在Python中,包(package)和模块(module)是组织和管理代码的重要方式。将代码分成不同的模块或包可以更好地组织代码结构,使代码更易于维护和管理。说的通俗点,就是将代码整理成一块一块,然后使用时候相互拼接完成就可以使用,这样的好处是可用性高而且非常方便维护,尤其是在选择大型爬虫项目的来说非常有用。
1、问题背景
在Python中, 当我们拥有一个具有多个子模块的包时,可能会遇到这样的问题:希望在包的外部引用子模块中的成员,但是并不希望在包的命名空间中看到子模块本身。这可能会导致代码的可读性和维护性降低。
举个例子,假设我们有一个名为package
的包,其中包含foo_module.py
和example_module.py
两个子模块。
test.py
package/
__init__.py
foo_module.py
example_module.py
在test.py
中,我想引用package
中的成员,但并不希望看到foo_module
和example_module
这两个子模块本身。我希望package
模块看起来像这样:
>>> vars(package)
mapping_proxy({foo: <function foo at 0x…}, {example: <function example at 0x…})
也就是说,我希望package
中的所有子模块的成员都在package
的命名空间中,而子模块本身不在命名空间中。
2、解决方案
有多种方法可以解决这个问题,其中一种方法是使用from module import name
形式的导入方式。对于example_module.py
,我们可以这样导入:
from package.foo_module import foo
对于__init__.py
,我们可以这样导入:
from package.foo_module import foo
from package.example_module import example
__all__ = [foo, example] # not strictly necessary, but makes clear what is public
在test.py
中,我们可以这样导入:
from package import example
注意,这种方法只适用于在包层级运行test.py
,否则需要确保包含package
的文件夹在Python模块搜索路径中。
另一种方法是使用动态导入。这涉及在__init__.py
文件中动态导入包中的所有模块,并将其成员添加到包的命名空间中。以下是一个示例:
def _import_all_modules():
""" Dynamically imports all modules in this package. """
import traceback
import os
global __all__
__all__ = []
globals_, locals_ = globals(), locals()
# Dynamically import all the package modules in this file's directory.
for filename in os.listdir(__name__):
# Process all python files in directory that don't start
# with underscore (which also prevents this module from
# importing itself).
if filename[0] != '_' and filename.split('.')[-1] in ('py', 'pyw'):
modulename = filename.split('.')[0] # Filename sans extension.
package_module = '.'.join([__name__, modulename])
try:
module = __import__(package_module, globals_, locals_, [modulename])
except:
traceback.print_exc()
raise
for name in module.__dict__:
if not name.startswith('_'):
globals_[name] = module.__dict__[name]
__all__.append(name)
_import_all_modules()
在test.py
中,我们可以这样导入:
from package import *
这种方法更加动态,不需要在__init__.py
文件中硬编码包模块名称。需要动态导入新模块时,它将自动导入它们,而不再尝试导入从目录中删除的模块。
通过使用包和模块,代码结构更清晰,逻辑更明确,易于理解和维护,这样极大的减少我们的维护成本,而且非常方便协作开发,通过小事情可以让我获得更多的收益。今天的内容就这些了,如果有更多的疑问,可以评论区留言探讨。