使用云函数将CDN的日志存储到COS中

2021-05-17 11:13:15 浏览数 (1)

教程简介

本文介绍如何使用腾讯云的云函数功能,创建两个函数,实现定时将CDN的日志存储到COS中。

主要步骤

本教程将介绍如何创建“存储”函数和“任务分发”函数,二者组合在一起并配置定制器触发,即可实现定时将CDN的日志存储到COS中。

主要分为四个大步骤:

A、准备云API的访问密钥和对象存储COS的相关信息

B、创建CDN日志转存函数(cdn-save-log-into-cos)

C、配置定时器

D、常见问题

教程正文

A、在创建云函数之前,你需要准备好以下资源

1、对象存储COS的存储桶Bucket。

请前往对象存储管理页面 ,进入【存储通列表】,查询或新建一个存储桶,进入存储桶查看【基本信息】,并记录下:

l存储桶空间名称 BucketName,例如 examples-1251002854

l存储桶所属地域 Region,例如 ap-chengdu

B、创建CDN日志转存函数(cdn-save-log-into-cos)

1、进入云服务函数的管理页面 https://console.cloud.tencent.com/scf,点击【新建】;

2、选择基于【模板函数】,并搜索关键字“CDN”,选择“CDN日志转存COS”模板;

3、函数名称填写【cdn-save-log-into-cos】,并点击下一步;

4、接着进行函数的信息配置:

  • 地域:请根据你的COS的地域,选择就近的区域;
  • 超时时间:根据你的业务情况,配置合适的超时时间;(例如日志文件非常大,那么建议配置更长的超时时间)
  • 异步执行:务必开启异步执行的选项。避免日志过多和过大,导致函数执行超时。

5、修改『函数代码』,填写COS和CDN配置信息:

6、函数创建完毕。

C、配置定时器

上述两个函数创建完毕后,跳转至函数的配置信息页面。

1、点击左侧菜单中的【触发管理】,并点击『创建触发器』;

2、选择触发方式为【定时触发】,填写任务名称(随意),触发周期为【每1小时】,并保存。

D、常见问题:

1、上面函数配置完毕后,效果是怎样的?

上传函数和触发器配置完毕后,会『每1小时』触发一次日志转存操作。由于CDN日志默认是12小时才稳定,未避免执行时差影响,因此会下载13小时前的日志文件,存储到COS中。

例如,触发时间为5月17日10:00,那么代码判断5月16日20:00~21:00(13个小时前)的CDN日志文件已经收集完毕,不再更新;因此下载该日志文件,存储到COS中。例如,域名 demo.qq.com 的日志存储路径为:

/20210516/20/2021051620-demo.qq.com.gz

2、我希望转存更多的日志,该怎么配置?

在代码文件index.py的第59和60行,有两个配置项,用来控制函数每次执行时下载多少日志。

代码语言:javascript复制
CDN_LOG_STABLE_HOURS = 12 1
CDN_LOG_SAVE_HOURS   = 1

如果:想一次性保存过去30天的日志,该怎么配置?

将CDN_LOG_SAVE_HOURS调大即可,例如调整为720 (即24小时x30天)。但是请注意,保存大量的日志,会导致执行时间非常长,因此在函数创建时,必须开启『异步执行』选项,并设置更大的超时时间。如果真的执行超时了,也不要慌张,请再次执行即可。代码里有检测逻辑,对于已经上传了COS的日志包,会跳过;只上传新的日志包。

如果:业务上想更快获取最近的日志文件,不想等12个小时,该怎么配置?

将CDN_LOG_STABLE_HOURS调小即可,例如调整为 2 。效果示例是,在10:00这一刻执行代码,下载7:00~8:00的日志文件。

首先说明下,CDN日志是尽力快速收集日志的,但是受到各个地域节点的网络影响,无法100%立刻收集完毕,最长收集时间为12小时。当缩小该配置项,务必不要小于1,否则可能会导致日志文件非常不准(代码只上传1次,不会更新覆盖)。

如果设置为0,会怎样 ?那么,假设触发时间为5月17日10:00,那么代码判断5月17日9:00~10:00(即刚刚过去的这个小时)的CDN日志文件已经收集完毕;因此下载该日志文件,存储到COS中。但是在10:00这一刻,9:55~9:59的日志一般是还没收集到的,因此就会缺失这部分的日志内容。

以上步骤,全部配置完毕后,即完成了本教程的任务目标。

0 人点赞