一、bpftrace简介
bpftrace 是基于ebpf内核vm扩展出来的trace工具。
bpftrace 是 Linux 高级追踪工具和语言。该工具基于 eBPF 和 BBC 实现了通过探针机制采集内核和程序运行的信息,然后用图表等方式将信息展示出来,帮助开发者找到隐藏较深的 Bug、安全问题和性能瓶颈。github主页介绍如下:
bpftrace 是一种基于 Linux 的eBPF高级跟踪语言,可用于最新的 Linux 内核 (4.x)。bpftrace 使用 LLVM 作为后端将脚本编译为 BPF 字节码,并利用BCC与 Linux BPF 系统进行交互,以及现有的 Linux 跟踪功能:内核动态跟踪(kprobes)、用户级动态跟踪(uprobes)、和跟踪点。bpftrace 语言的灵感来自 awk 和 C,以及 DTrace 和 SystemTap 等前身跟踪器。
github项目地址为:GitHub - iovisor/bpftrace: High-level tracing language for Linux eBPF
二、bpftrace安装
bfptrace官方建议linux内核版本为4.9或以上。主要是由于一些工具可能适用于旧内核,但是这些旧内核没有经过测试。
CentOS安装:
curl https://repos.baslab.org/rhel/7/bpftools/bpftools.repo --output /etc/yum.repos.d/bpftools.repo
yum install bpftrace bpftrace-tools bpftrace-doc bcc-static bcc-tools
Ubuntu安装:
1、sudo apt-get install -y bpftrace(适用于ubuntu19.04及更高版本)
2、sudo snap install --devmode bpftrace sudo snap connect bpftrace:system-trace(适用于ubuntu16.04及更高版本)
三、bpftrace使用入门
3.1 探针
图中,如kprobeb/kretprobe为动态跟踪、内核级探针,kprobeb是检测函数执行的开始,kretprobe为检测结束(返回)。uprobe/uretprobe为动态跟踪、用户级探针,uprobeb是检测用户级函数执行的开始,uretprobe为检测结束(返回)。tracepoint为静态跟踪、用户级探针。
3.2 bpftrace基础语法
最基础的例子--以hello world开始:bpftrace -e 'BEGIN { printf("Hello, World!n"); }'。需要注意的是有些单行命令只有结束,按ctrl c结束了才会输出内容。
bpftrace -l 可以列出bpftrace所支撑的探针。如bpftrace -l ‘*nanosleep’可以列出bpftrace支持的nanosleep函数相关的所有探针。
3.2.1 单行语句
如系统函数raw_syscalls:sys_enter的调用统计,语法为:bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'。其中count()是统计次数方法,@[]为关联数组,comm为进程名称。
其他单行函数示例如下:
代码语言:javascript复制# Files opened by process
bpftrace -e 'tracepoint:syscalls:sys_enter_open { printf("%s %sn", comm, str(args->filename)); }'
# Syscall count by program
bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }'
# Read bytes by process:
bpftrace -e 'tracepoint:syscalls:sys_exit_read /args->ret/ { @[comm] = sum(args->ret); }'
# Read size distribution by process:
bpftrace -e 'tracepoint:syscalls:sys_exit_read { @[comm] = hist(args->ret); }'
# Show per-second syscall rates:
bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @ = count(); } interval:s:1 { print(@); clear(@); }'
# Trace disk size by process
bpftrace -e 'tracepoint:block:block_rq_issue { printf("%d %s %dn", pid, comm, args->bytes); }'
# Count page faults by process
bpftrace -e 'software:faults:1 { @[comm] = count(); }'
# Count LLC cache misses by process name and PID (uses PMCs):
bpftrace -e 'hardware:cache-misses:1000000 { @[comm, pid] = count(); }'
# Profile user-level stacks at 99 Hertz, for PID 189:
bpftrace -e 'profile:hz:99 /pid == 189/ { @[ustack] = count(); }'
# Files opened, for processes in the root cgroup-v2
bpftrace -e 'tracepoint:syscalls:sys_enter_openat /cgroup == cgroupid("/sys/fs/cgroup/unified/mycg")/ { printf("%sn", str(args->filename)); }'
3.2.2 文件形式
代码语言:javascript复制BEGIN // 初始化时执行,主要用于打印提示信息
{
printf("Tracing bash commands... Hit Ctrl-C to end.n");
printf("%-9st%st%st%sn", "TIME", "UID", "PID", "COMMAND");
}
uretprobe:/bin/bash:readline //探针追踪内容
{
time("%H:%M:%St");
printf("%dt%dt%sn", uid, pid, str(retval));
}
END //bpftrace结束时执行
{
printf("end-test");
}
官方提供了很多工具可供直接调用,地址为:https://github.com/iovisor/bpftrace/tree/master/tools
3.2.3 自定义代码
假设有一个C 程序如下:
代码语言:javascript复制#include<iostream>
using namespace std;
int add(int a, int b){
return a b;
}
int main(){
int c = add(2,3);
cout << c << endl;
}
编译后的文件为test,现在需要知道主函数在每次调用add函数时的输入输出以及耗时。如果有源码的时候直接改源码很顺手。那如果不想改代码、重编译的话,或者在某些情况下改代码会导致软件行为出现变化,采样失真。此时用bfptrace也可以检测用户自定义代码,写一个bfptarce脚本如下,命名为mycode.bt:
代码语言:javascript复制uprobe:./test:add {
printf("program beginn");
@start = nsecs;
}
uretprobe:./test:add {
printf("cost: %ld nsn", nsecs-@start);
}
END
{
printf("program endn");
clear(@start);
}
执行bpftrace mycode.bt,在另一个终端上执行test,结果为: