xurlfind3r是一款功能强大的URL地址查询工具，该工具本质上是一个CLI命令行工具，可以帮助广大研究人员从多种在线源来查询目标域名的已知URL地址。
功能介绍
1、从被动在线源获取URL地址以实现最大数量结果获取； 2、支持从Wayback网页和robots.txt快照解析URL地址； 3、支持URL匹配和过滤； 4、支持stdin和stdout已实现轻松跟工作流整合； 5、跨平台支持，支持Windows、Linux和macOS；
支持的在线源
AlienVault's OTX BeVigil Common Crawl Github Intelligence X URLScan Wayback Machine
工具安装
安装发布版本代码（不需要安装Go环境）
广大研究人员可以直接访问该项目的Releases页面下载和安装对应操作系统和架构的发布版本代码。
或者也可以使用wget或curl命令行工具来下载和安装xurlfind3r：
代码语言：javascript复制wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz（向右滑动，查看更多）
代码语言：javascript复制或
代码语言：javascript复制curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz（向右滑动，查看更多）
代码语言：javascript复制然后提取代码即可：
代码语言：javascript复制tar xf xurlfind3r-<version>-linux-amd64.tar.gz别忘了将xurlfind3r代码拷贝到PATH路径下，比如说：
代码语言：javascript复制sudo mv xurlfind3r /usr/local/bin/
源码安装（需要安装Go环境）
首先，我们需要在本地设备上安装并配置好最新版本的Go语言环境。接下来，使用go install命令下载该工具即可：
代码语言：javascript复制go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest（向右滑动，查看更多）
除此之外，我们也可以先将项目源码克隆至本地：
代码语言：javascript复制git clone https://github.com/hueristiq/xurlfind3r.git然后构建工具：
代码语言：javascript复制cd xurlfind3r/cmd/xurlfind3r &&
go build .工具配置
在使用该工具之前，我们还需要配置相应的API密钥，配置文件为config.yaml：
代码语言：javascript复制version: 0.3.0
sources:
- bevigil
- commoncrawl
- github
- intelx
- otx
- urlscan
- wayback
keys:
bevigil:
- awA5nvpKU3N8ygkZ
github:
- d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39
- asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39
intelx:
- 2.intelx.io:00000000-0000-0000-0000-000000000000
urlscan:
- d4c85d34-e425-446e-d4ab-f5a3412acbe8
（向右滑动，查看更多）
工具使用
-h参数可以直接查看工具的帮助选项：
代码语言：javascript复制xurlfind3r -h
帮助信息如下：
代码语言：javascript复制_ __ _ _ _____
__ ___ _ _ __| |/ _(_)_ __ __| |___ / _ __
/ / | | | '__| | |_| | '_ / _` | |_ | '__|
> <| |_| | | | | _| | | | | (_| |___) | |
/_/_\__,_|_| |_|_| |_|_| |_|__,_|____/|_| v0.3.0
USAGE:
xurlfind3r [OPTIONS]
INPUT:
-d, --domain string[] 设置目标域名
-l, --list string 目标域名的列表文件路径
SCOPE:
--include-subdomains bool 匹配子域名URL
SOURCES:
--sources bool 列举支持的源
-u, --use-sources string[] 要使用的源，用逗号分隔
-e, --exclude-sources string[] 要排除的源，用逗号分隔
--parse-wayback-robots bool 使用wayback，解析robots.txt快照
--parse-wayback-source bool 使用wayback，解析源代码快照
FILTER & MATCH:
-f, --filter string 正则式过滤URL
-m, --match string 正则式匹配URL
OUTPUT:
--no-color bool 禁用颜色高亮输出
-o, --output string 输出URL文件路径
-O, --output-directory string 输出URL目录路径
-v, --verbosity string Verbose模式，默认为info
CONFIGURATION:
-c, --configuration string 配置文件路径（默认为~/.hueristiq/xurlfind3r/config.yaml）（向右滑动，查看更多）
工具使用样例
基础使用：
代码语言：javascript复制xurlfind3r -d hackerone.com --include-subdomains
过滤器正则表达式：
代码语言：javascript复制# filter images
xurlfind3r -d hackerone.com --include-subdomains -f '`^https?://[^/]*?/.*.(jpg|jpeg|png|gif|bmp)(?[^s]*)?$`'（向右滑动，查看更多）
匹配正则表达式：
代码语言：javascript复制# match js URLs
xurlfind3r -d hackerone.com --include-subdomains -m '^https?://[^/]*?/.*.js(?[^s]*)?$'（向右滑动，查看更多）
代码语言：javascript复制许可证协议
本项目的开发与发布遵循MIT开源许可证协议。
项目地址
xurlfind3r：
https://github.com/hueristiq/xurlfind3r
