- logging模块介绍
- logging模块配置
- 日志格式模板
- 在软件开发目录规范中使用日志模板
-曾老湿, 江湖人称曾老大。
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
logging模块介绍
额..这个没啥太多好介绍的,看名字就能看出来,跟日志有关。
日志级别:
代码语言:javascript复制CRITICAL = 50 #FATAL = CRITICAL
ERROR = 40
WARNING = 30 #WARN = WARNING
INFO = 20
DEBUG = 10
NOTSET = 0 #不设置
# 默认级别是FBI WARNING
import logging
logging.debug('调试debug')
logging.info('消息info')
logging.warning('警告warn')
logging.error('错误error')
logging.critical('严重critical')

但是,如果我们使用日志这么简单,那还讲个毛线,首先我们定义不了日志级别,定义不了日志的格式...
logging模块配置
所以需要解决如下问题:
1.控制日志级别 2.控制日志格式 3.控制输出的目标为文件
设置日志格式 |
---|
使用logging.basicConfig()
#可在logging.basicConfig()函数中通过具体参数来更改logging模块默认行为,可用参数有
#filename:用指定的文件名创建FiledHandler(后边会具体讲解handler的概念),这样日志会被存储在指定的文件中。
#filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
#format:指定handler使用的日志显示格式。
#datefmt:指定日期时间格式。
#level:设置rootlogger(后边会讲解具体概念)的日志级别
#stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件,默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。
#格式
%(name)s:Logger的名字,并非用户名,详细查看
%(levelno)s:数字形式的日志级别
%(levelname)s:文本形式的日志级别
%(pathname)s:调用日志输出函数的模块的完整路径名,可能没有
%(filename)s:调用日志输出函数的模块的文件名
%(module)s:调用日志输出函数的模块名
%(funcName)s:调用日志输出函数的函数名
%(lineno)d:调用日志输出函数的语句所在的代码行
%(created)f:当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d:输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s:字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d:线程ID。可能没有
%(threadName)s:线程名。可能没有
%(process)d:进程ID。可能没有
%(message)s:用户输出的消息
代码语言:javascript复制#========使用
import logging
logging.basicConfig(filename='access.log',
format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p',
level=10)
## stream=True 将日志打印到终端,但是如果配置了filename就只会打到文件里
logging.debug('调试debug')
logging.info('消息info')
logging.warning('警告warn')
logging.error('错误error')
logging.critical('严重critical')
#========结果
access.log内容:
2017-07-28 20:32:17 PM - root - DEBUG -test: 调试debug
2017-07-28 20:32:17 PM - root - INFO -test: 消息info
2017-07-28 20:32:17 PM - root - WARNING -test: 警告warn
2017-07-28 20:32:17 PM - root - ERROR -test: 错误error
2017-07-28 20:32:17 PM - root - CRITICAL -test: 严重critical
part2: 可以为logging模块指定模块级的配置,即所有logger的配置

解决日志双向输出 |
---|
想要解决日志同时输出到文件和终端的问题,我们需要了解几个对象
代码语言:javascript复制logger对象:负责生产各种级别的日志
filter对象:负责过滤日志的规则
handler对象:负责控制文件输出位置
formmater对象:负责控制日志格式(跟handler捆绑)
# 例如:我们可以给输出到文件的日志,只打印error级别的日志,输出到终端的日志,打印debug级别。
获取对象,并设置
代码语言:javascript复制# logger对象
logger1=logging.getLogger('用户交易') # 日志名,通常与业务相关
# filter对象
# handler对象
fh1=logging.FileHandler('a1.log')
fh2=logging.FileHandler('a2.log')
sm = logging.StreamHandler()
# formmater对象
formatter1=logging.Formatter(
fmt='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p'
)
## fmt:日志格式
## datefmt:时间格式
formatter2 = logging.Formatter(
fmt='%(asctime)s - %(levelname)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p'
)
目前对象获取完了,并且也设置完了,但是他们之间好像还没有关联
绑定logger对象与handler对象
代码语言:javascript复制logger1.addHandler(fh1)
logger1.addHandler(fh2)
logger1.addHandler(sm)
绑定handler对象与formatter对象
代码语言:javascript复制fh1.setFormatter(formatter1)
fh2.setFormatter(formatter1)
sm.setFormatter(formatter2)
设置日志级别
设置级别这里,必须要logger对象和handler对象两层关卡都放行,日志才能放行,通常二者级别相同
代码语言:javascript复制logger1.setLevel(10)
fh1.setLevel(10)
fh2.setLevel(10)
sm.setLevel(10)
设置字符编码
在设置handler对象的时候,可以插入一个encoding
代码语言:javascript复制fh1 = logging.FileHandler('a1.log',encoding='utf-8')
fh2 = logging.FileHandler('a2.log',encoding='utf-8')
sm = logging.StreamHandler()
使用logger对象产生日志
代码语言:javascript复制logger1.info('zls给qls转了一个亿')

但是这样好麻烦,我得记住所有对象的名字...
日志格式模板
从字典中加入日志配置信息 |
---|
创建一个settings.py文件,将日志格式配置进去
代码语言:javascript复制"""
logging配置
"""
import os
import logging.config
# 定义三种日志输出格式 开始
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]'
'[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# 定义日志输出格式 结束
logfile_dir = os.path.dirname(os.path.abspath(__file__)) # log文件的目录
logfile_name = 'all2.log' # log文件名
# 如果不存在定义的日志目录就创建一个
if not os.path.isdir(logfile_dir):
os.mkdir(logfile_dir)
# log文件的全路径
logfile_path = os.path.join(logfile_dir, logfile_name)
# log配置字典
LOGGING_DIC = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'standard': {
'format': standard_format
},
'simple': {
'format': simple_format
},
},
'filters': {},
'handlers': {
#打印到终端的日志
'console': {
'level': 'DEBUG',
'class': 'logging.StreamHandler', # 打印到屏幕
'formatter': 'simple'
},
#打印到文件的日志,收集info及以上的日志
'default': {
'level': 'DEBUG',
'class': 'logging.handlers.RotatingFileHandler', # 保存到文件
'formatter': 'standard',
'filename': logfile_path, # 日志文件
'maxBytes': 1024*1024*5, # 日志大小 5M
'backupCount': 5,
'encoding': 'utf-8', # 日志文件的编码,再也不用担心中文log乱码了
},
},
'loggers': {
#logging.getLogger(__name__)拿到的logger配置
'': {
'handlers': ['default', 'console'], # 这里把上面定义的两个handler都加上,即log数据既写入文件又打印到屏幕
'level': 'DEBUG',
'propagate': True, # 向上(更高level的logger)传递
},
},
}
def load_my_logging_cfg():
logging.config.dictConfig(LOGGING_DIC) # 导入上面定义的logging配置
logger = logging.getLogger(__name__) # 生成一个log实例
logger.info('It works!') # 记录该文件的运行状态
if __name__ == '__main__':
load_my_logging_cfg()
改完的版本
代码语言:javascript复制standard_format = '%(asctime)s - task:%(name)s - %(filename)s:%(lineno)d -'
' %(levelname)s : [%(message)s]'
simple_format = '%(filename)s:%(lineno)d - %(levelname)s : [%(message)s]'
fh1_path = r'a1.log'
fh2_path = r'a2.log'
# log配置字典
LOGGING_DIC = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'standard': {
'format': standard_format
},
'simple': {
'format': simple_format
},
},
'filters': {},
'handlers': {
#打印到终端的日志
'ch': {
'level': 'DEBUG',
'class': 'logging.StreamHandler', # 打印到终端
'formatter': 'simple'
},
#打印到a1.log文件的日志
'fh1': {
'level': 'DEBUG',
'class': 'logging.FileHandler', # 保存到文件
'formatter': 'standard',
'filename': fh1_path, # 日志文件的路径
'encoding': 'utf-8', # 日志文件的编码,再也不用担心中文log乱码了
},
# 打印到a2.log文件的日志
'fh2': {
'level': 'DEBUG',
'class': 'logging.FileHandler', # 保存到文件
'formatter': 'simple',
'filename': fh2_path, # 日志文件的路径
'encoding': 'utf-8', # 日志文件的编码,再也不用担心中文log乱码了
},
},
'loggers': {
'': {
'handlers': ['fh1', 'fh2', 'ch'],
'level': 'DEBUG',
},
},
}
日志配置完了,那么如何使用日志呢?
run.py
代码语言:javascript复制import logging.config
import settings
logging.config.dictConfig(settings.LOGGING_DIC)
# 获取用户交易的logger对象
logger1=logging.getLogger('用户交易')
#logger1-> fh1,fh2,ch
logger1.info('zls给qls转账1个亿')
logger2=logging.getLogger('用户权限')
#logger2-> fh1,fh2,ch
logger2.error('lls没有执行权限')
在软件开发目录规范中使用日志模板
首先,我们要把运行的py文件,放到顶级目录,这样一来我们就不用再找顶级目录了。

start.py
代码语言:javascript复制from core import src
if __name__ == '__main__':
src.run()
src.py
代码语言:javascript复制from lib import common
logger1=common.get_logger('交易')
def register():
print('