如何使用PyMeta搜索和提取目标域名相关的元数据

2023-08-08 15:09:22 浏览数 (1)

关于PyMeta

PyMeta是一款针对目标域名元数据的信息收集工具,该工具基于Python 3开发,是PowerMeta(基于PowerShell开发)的Python 3重构版本,在该工具的帮助下,广大研究人员可以将目标域名相关的网页元数据(文件等)提取到本地,这种技术可以有助于我们识别目标域名、用户名、软件/版本和命名约定等。

该工具使用了专门设计的搜索查询方式,并使用了Google和Bing实现数据爬取,并能从给定的域中识别和下载以下文件类型:pdf、xls、xlsx、csv、doc、docx、ppt、pptx。

下载完成后,该工具将使用exiftool从这些文件中提取元数据,并将其添加到.csv报告中。或者,Pymeta可以指向一个目录,并使用-dir命令行参数手动从下载的文件中提取元数据。

工具要求

该工具的正常运行需要使用到exiftool,安装命令如下:

Ubuntu/Kali:

代码语言:javascript复制

apt-get install exiftool -y

macOS:

代码语言:javascript复制

brew install exiftool

工具安装

由于该工具基于Python 3开发,因此我们首先需要在本地设备上安装并配置好Python 3环境。接下来,广大研究人员可以直接使用Pypi来安装PyMeta:

代码语言:javascript复制

pip3 install pymetasec

除此之外,我们也可以使用下列命令将该项目源码克隆至本地,并使用安装脚本进行安装:

代码语言:javascript复制

git clone https://github.com/m8sec/pymeta

cd pymeta

python3 setup.py install

工具参数选项

代码语言:javascript复制

options:

  -h, --help              显示工具帮助信息和退出

  -T MAX_THREADS       文件下载的最大线程数量,默认为5 

  -t TIMEOUT             每次搜索任务的最大超时时间,默认为8s

  -j JITTER                每次请求抖动间隔,默认为1s



Search Options:

  -s ENGINE, --search ENGINE    搜索引擎,默认为'google,bing'

  --file-type FILE_TYPE  搜索的文件类型,默认为pdf,xls,xlsx,csv,doc,docx,ppt,pptx

  -m MAX_RESULTS                每次搜索的最大结果数量



Proxy Options:

  --proxy PROXY         代理请求 (IP:Port)

  --proxy-file PROXY      从文件加载代理



Output Options:

  -o DWNLD_DIR          创建下载目录路径,默认为./

  -f REPORT_FILE         自定义报告名称 ("pymeta_report.csv")



Target Options:

  -d DOMAIN             设置目标域名

  -dir FILE_DIR             设置结果文件目录

(向右滑动,查看更多)

工具使用

使用Google和Bing搜索example.com域名中的所有文件,并提取元数据,然后将结果存储至csv报告中:

代码语言:javascript复制

pymeta -d example.com

提取给定目录中所有文件的元数据,并生成csv报告:

代码语言:javascript复制

pymeta -dir Downloads/

许可证协议

本项目的开发与发布遵循GPL-3.0开源许可证协议。

项目地址

PyMeta:https://github.com/m8sec/pymeta

https://github.com/dafthack/PowerMeta

https://sno.phy.queensu.ca/~phil/exiftool/

0 人点赞