核对计费带宽及查询TOPurl

2020-12-23 17:56:27 浏览数 (1)

背景:

经常有客户对控制台计费带宽有疑问,下面我们介绍下如何核对计费带宽的问题。

概念:

首先我们先了解下日志流量跟计费带宽的关系跟区别:

1、日志流量:应用层日志统计出的流量。

2、计费带宽:日志流量 TCP/IP包头 TCP重传的流量。

①、TCP/IP包头的消耗:HTTP请求是基于TCP/IP协议的,互联网中,每个包的大小最大是1500个字节,而这1500个字节中,包含了TCP和IP协议插进来的40个字节的包头,包头部分也会产生流量,但是这个加包头的动作是由内核层的协议栈完成的,无法被应用层统计到,日志里也就不会记这40个字节的流量了,这部分的流量会占到通过日志计算出流量的2.74%(40/1460)以上,正常情况下,会占到3%左右。

②、TCP重传:根据互联网物理网络的负载情况,正常情况下,所发送的包会有3-10%左右会被互联网丢弃掉,被丢弃掉之后,服务器会对丢弃的部分进行重传,重传动作是由内核层协议栈处理的,应用层也无法统计到,这部分流量占我们日志计算出流量的比例,根据网络的好坏而不等,在凌晨互联网轻载的情况下,重传率会较低;在晚高峰互联网重载的时候,重传会上升,一般情况下,在3%-7%之间。

实际产生的网络流量比应用层统计到的流量要高出7%-15%,所以业界内计费带宽的方法都是用算出日志流量后乘以系数110%。

访问日志核对方法:

下载访问日志地址:https://console.cloud.tencent.com/cdn/log

访问日志一般延时4-6个小时,待日志上传完成后在进行统计,不然会导致数据有差异。

计费带宽计算方式:计费点5分钟流量和/1024/1024/300*8,单位是Mbps,根据访问日志算出各url的流量做累加

例:计算11月16号21:10-21:15之间的相同url的流量和

zcat host.gz |awk '$1>=20201116211000&&$1<20201116211500{print $0}'|awk -F "01" '{sum[$4] =$5}END{for(k in sum)print sum[k]" "k}'> url_size.txt

计算11月16号21:10-21:15 的带宽:

zcat host.gz |awk '$1>=20201116211000&&$1<20201116211500{print $0}'|awk -F "01" '{sum =$5}END{ print sum}'

得出的值/1024/1024/300*8 得出计费带宽Mbps

如果日志有特殊定制,需要修改命令行中的字段标识。

控制台带宽/流量费用计算方法:

先确定具体的计费方法、区域,然后查看五分钟粒度计费带宽/流量值:https://console.cloud.tencent.com/cdn/statistics/monitor

把对应值添加到价格计算器内:

https://buy.cloud.tencent.com/price/cdn/calculator

根据日志统计流量TOPurl

1、 根据实际情况做过滤;

命令:

cat url_size.txt |awk '$1>100000000{print $0}'|sort -r >top_url.txt

cat url_size.txt |awk '$1>10000000 && $1<100000000{print $0}'|sort -r >>top_url.txt

…………

控制台查询访问次数TOPurl

地址:https://console.cloud.tencent.com/cdn/statistics/monitor

控制台查询访问流量TOPurl

注:控制台统计url可以统计top1000,点击右侧的下载按钮可以导出excel表。

0 人点赞