Urlhunter - 一个允许对通过缩短器服务暴露的URL进行搜索的侦察工具。
urlhunter是一个侦察工具,它允许对通过缩短器服务(如bit.ly和goo.gl)暴露的URL进行搜索。该项目是用Go编写的。
一个名为URLTeam的小组每天都在对URL缩短器服务进行蛮横的逼迫,并发布匹配的结果。
安装:
代码语言:javascript复制tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz
./urlhunter --help
go get -u github.com/utkusen/urlhunter
Windows用户注意:urlhunter使用的是Linux和macOS系统上预装的XZ Utils。对于Windows系统,你需要从https://tukaani.org/xz/ 下载。
使用方法:
urlhunter需要3个参数来运行。urlhunter运行时需要3个参数:-keywords、-date和-o
例如:urlhunter -keywords keywords.txt -date 2020-11-20 -o out.txt
-Keyword:
你需要指定包含关键字的txt文件,以便对URL进行搜索。关键字必须逐行书写。你有三种不同的方式来指定关键字。
Single Keyword:urlhunter将搜索给定的关键字作为一个子串
例如:
acme.com关键字将同时匹配https://acme.com/blabla和https://another.com/?referrer=acme.com
Multiple Keywords:urlhunter将以AND逻辑搜索给定的关键词。也就是说,一个URL必须包含所有提供的关键词。关键词必须用 ,字符分隔。
例如:
acme.com,admin将匹配https://acme.com/secret/adminpanel,但不会匹配https://acme.com/somethingelse。
Regex值:urlhunter将搜索给定的regex值。在关键字文件中,包含正则表达式公式的那一行必须以regex字符串开头,格式为:regex REGEXFORMULA。格式为:regex REGEXFORMULA。
例如:
regex 1d{10} will match https://example.com/index.php?id=12938454312 but won't match https://example.com/index.php?id=abc223
-date
urlhunter下载指定日期的存档文件。你有三种不同的方式来指定日期。
最新:urlhunter将下载最新的存档文件。-最新:urlhunter将下载最新的存档。
单一日期:urlhunter将下载指定日期的存档。日期格式为YYYY-MM-DD。
例如:-date 2020-11-20
日期范围:urlhunter将下载给定开始和结束日期之间的所有档案。
例如:-date 2020-11-10:2020-11-20
-o
你可以用-o参数指定输出文件。例如 -o out.txt
示范视频:
https://www.youtube.com/watch?v=Ct086YRm7i8&feature=youtu.be
速度问题
Archive.org 在下载文件时,对速度进行了节流。因此,下载一个存档比平时花费更多的时间。作为一个变通的办法,你可以通过Torrent下载存档,并把它们放在与urlhunter的二进制文件位于同一目录下的archive/文件夹下。目录树的样子是这样的。
参考文献:
https://www.kitploit.com/2021/01/urlhunter-recon-tool-that-allows.html