关于tsharkVM
tsharkVM这个项目旨在构建一台虚拟机,以帮助广大研究人员分析tshark的输出结果。虚拟设备是使用vagrant构建的,它可以使用预安装和预配置的ELK堆栈构建Debian 10。
虚拟机启动之后,整个执行流程相对比较简单
解码pcap文件(tshark -T ek output / ndjson),该文件会通过“TCP/17570”发送至虚拟机; 虚拟机中的ELK堆栈将会处理并索引数据; Kibana会在虚拟机中运行,可以通过“http://127.0.0.1:15601/app/kibana#/dashboards”访问;
工具安装-如何在Ubuntu桌面系统上构建虚拟机
首先,我们需要使用下列命令将该项目源码克隆至本地:
代码语言:javascript复制git clone https://github.com/H21lab/tsharkVM.git
(向右滑动,查看更多)
接下来,使用下列命令构建tsharkVM:
代码语言:javascript复制sudo apt update
sudo apt install tshark virtualbox vagrant
vagrant plugin install vagrant-disksize
vagrant plugin install vagrant-scp
bash ./build.sh
然后,下列命令可以将pcap文件上传至虚拟机:
代码语言:javascript复制# 复制pcap文件至./Trace
# 上传pcap文件(含文件名)
bash upload_pcaps_with_filenames.sh
# 或者使用“vagrant scp”将ndjson文件拷贝至/home/vagrant/inpu
# 或者直接上传pcap文件(无文件名)
bash upload_pcaps.sh
# 或者直接使用tshark转发至127.0.0.1 17570/tcp
tshark -r trace.pcapng -x -T ek > /dev/tcp/localhost/17570
(向右滑动,查看更多)
使用浏览器打开Kibana:
代码语言:javascript复制firefox http://127.0.0.1:15601/app/kibana#/dashboards
(向右滑动,查看更多)
打开程序主仪表盘后,就可以查看到这些pcap文件了。
工具使用
SSH连接到虚拟机
代码语言:javascript复制cd ./VM
vagrant ssh
删除虚拟机
代码语言:javascript复制cd ./VM
vagrant destroy default
开启虚拟机
代码语言:javascript复制cd ./VM
vagrant up
挂起虚拟机
代码语言:javascript复制cd ./VM
vagrant halt
SSH连接至虚拟机并检测ELK是否正常运行
代码语言:javascript复制cd ./VM
vagrant ssh
sudo systemctl status kibana.service
sudo systemctl status elasticsearch.service
sudo systemctl status logstash.service
(向右滑动,查看更多)
Elasticsearch映射模板
这个项目还给大家提供了简单的Elasticsearch映射模板,主要针对的是frame、eth、ip、udp、tcp、dhcp协议。如需处理其他额外的协议,我们可以根据自己的需要并以下列方式映射模板:
代码语言:javascript复制# 1. 创建自定义映射,选择所需的协议
tshark -G elastic-mapping --elastic-mapping-filter frame,eth,ip,udp,tcp,dns > ./Kibana/custom_tshark_mapping.json
# 2. 消除重复数据并对映射进行后期处理,以适应当前Elasticsearch版本
ruby ./Public/process_tshark_mapping_json.rb
# 3. 上传文件至虚拟机
cd VM
vagrant upload ../Kibana/custom_tshark_mapping_deduplicated.json /home/vagrant/tsharkVM/Kibana/custom_tshark_mapping_deduplicated.json
cd ..
# 4. 连接虚拟机并上传模板
cd VM
vagrant ssh
cd tsharkVM/Kibana
curl -X PUT "localhost:9200/_index_template/packets_template" -H 'Content-Type: application/json' -d@custom_tshark_mapping_deduplicated.json
(向右滑动,查看更多)
或者我们也可以使用动态映射的方式,具体可以查看
代码语言:javascript复制“./Kibana/template_tshark_mapping_dynamic.json”。
(向右滑动,查看更多)
许可证协议
本项目的开发与发布遵循Apache License v2.0开源许可证协议。
项目地址
tsharkVM:https://github.com/H21lab/tsharkVM