背景:
经常有客户对控制台计费带宽有疑问,下面我们介绍下如何核对计费带宽的问题。
概念:
首先我们先了解下日志流量跟计费带宽的关系跟区别:
1、日志流量:应用层日志统计出的流量。
2、计费带宽:日志流量 TCP/IP包头 TCP重传的流量。
①、TCP/IP包头的消耗:HTTP请求是基于TCP/IP协议的,互联网中,每个包的大小最大是1500个字节,而这1500个字节中,包含了TCP和IP协议插进来的40个字节的包头,包头部分也会产生流量,但是这个加包头的动作是由内核层的协议栈完成的,无法被应用层统计到,日志里也就不会记这40个字节的流量了,这部分的流量会占到通过日志计算出流量的2.74%(40/1460)以上,正常情况下,会占到3%左右。
②、TCP重传:根据互联网物理网络的负载情况,正常情况下,所发送的包会有3-10%左右会被互联网丢弃掉,被丢弃掉之后,服务器会对丢弃的部分进行重传,重传动作是由内核层协议栈处理的,应用层也无法统计到,这部分流量占我们日志计算出流量的比例,根据网络的好坏而不等,在凌晨互联网轻载的情况下,重传率会较低;在晚高峰互联网重载的时候,重传会上升,一般情况下,在3%-7%之间。
实际产生的网络流量比应用层统计到的流量要高出7%-15%,所以业界内计费带宽的方法都是用算出日志流量后乘以系数110%。
访问日志核对方法:
下载访问日志地址:https://console.cloud.tencent.com/cdn/log
访问日志一般延时4-6个小时,待日志上传完成后在进行统计,不然会导致数据有差异。
计费带宽计算方式:计费点5分钟流量和/1024/1024/300*8,单位是Mbps,根据访问日志算出各url的流量做累加
例:计算11月16号21:10-21:15之间的相同url的流量和
zcat host.gz |awk '$1>=20201116211000&&$1<20201116211500{print $0}'|awk -F "