Beats：Beats 入门教程 （二）

2021-01-08 16:28:48 浏览数 (1)

【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景

这篇文章是 “Beats 入门教程 （一）”的续篇。在上一篇文章，我们主要讲述了 Beats 的一些理论方面的知识。在这篇文章中，我们将具体展示如何使用 Filebeat 及 Metriceat 把数据导入到我们的 Elasticsearch 并对他们进行分析。

安装Elastic Stack

对于我们的测试环境，我们可以有几种选择:

  • 安装本机的 Elastic Stack。您可以参阅我之前的文章 “Elastic：菜鸟上手指南” 来进行安装 Elasticsearch 及 Kibana
  • 安装 Elastic Cloud：您可以参阅我之前的文章 “在Elastic云上3分钟部署Elastic集群” 来部署 Elastic Stack。你也可以参考我录的视频教程
  • 安装AWS Elastic集群：您可以参阅文章 “如何在AWS上一步一步地安装Elastic Stack”

在今天的练习中，我将主要以本机的Elastic Stack及Elastic cloud来讲述。针对其它的环境，基本都是一样的。

Filebeat

我们打开我们的自己的 Kibana，并按照如下的步骤来进行安装：

由于 Filebeat 是 log 相关的，所以我们需要选择 “Add log data”。我们想对系统（System）日志进行监控，所以，我们选择 “System logs”:

然后，我们根据我们自己运行的平台，我们分别使用不同的命令来在我们的平台上进行安装：

在上面我们可以看到最详细的安装指令。根据我的情况，我在 MacOS 上部署我的 Filebeat。具体的安装步骤如下:

下载Filebeat

我们执行如下的指令来安装 Filebeat:

代码语言：javascript复制
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.0-darwin-x86_64.tar.gz
tar xzvf filebeat-7.5.0-darwin-x86_64.tar.gz
cd filebeat-7.5.0-darwin-x86_64/

配置 Filebeat

我们在 Filebeat 的安装目录下，可以发现一个叫做 filebeat.yml 的文件。这个文件就是 filebeat 的配置文件：

代码语言：javascript复制
$ pwd
/Users/liuxg/elastic8/filebeat-7.5.0-darwin-x86_64
liuxg-2:filebeat-7.5.0-darwin-x86_64 liuxg$ ls
LICENSE.txt            fields.yml             kibana
NOTICE.txt             filebeat               logs
README.md              filebeat.reference.yml module
data                   filebeat.yml           modules.d

我们用我们所喜爱的编辑打开 filebeat.yml 文件，并找到如下的部分：

代码语言：javascript复制
output.elasticsearch:
  hosts: ["<es_url>"]
  username: "elastic"
  password: "<password>"
setup.kibana:
  host: "<kibana_url>"

在上面，我们需要把我们的 Elasticsearch 及 Kibana 的 host 地址填上。针对我本地的情况，我填入 localhost:9200 和localhost:5601。如果是针对本地安装的 Elastic Stack 来说，这些都是默认的配置，我们甚至不需要做任何的修改。如果我们对我们的 Elasticsearch 已经设置用户名及密码的话，那么请填入你自己的用户名及密码。

Elastic cloud

如下的配置只限于 Elastic Cloud。针对 Elastic cloud，我们可以避免把我们的用户名及密码写到我们的 filebeat.yml 文件中，我们可以使用 cloud.id 来及 keystore 管理来帮我们实现。

我们首先在 Terminal 中打入如下的命令：

代码语言：javascript复制
./filebeat keystore create

接着打入如下的命令：

代码语言：javascript复制
./filebeat keystore add CLOUD_PWD

在这一步我们拷贝在Cloud中所创建的密码，并粘贴下来。

最后，我们修改我们的 filebeat.yml 文件

根据上面的提示，一旦我们设置好 cloud.id，它将覆盖我们的 output.elasticsearch 中的设置。

我们可以可以使用同样的方法来创建如下的 key：

代码语言：javascript复制
./filebeat keystore add CLOUD_ID

通过上面的配置，我们可以在 filebeat.yml 的文件中使用同样的方法来代替我们的 cloud.id。

另外，我们可以在不用修改 filebeat.yml 的情况下直接使用命令行参数的方法来进行操作，比如在 setup filebeat 时：

代码语言：javascript复制
./filebeat setup -E cloud.id=${CLOID_ID} -E cloud.auth=elastic:${CLOUD_PWD}

请注意上面字符，它是一个转字符，因为后面的$符号有特别的意义。

启动/禁止 Filebeat 模块

我们可以通过如下的命令来展示所有Filebeat的模块：

代码语言：javascript复制
./filebeat modules list

在上面，我们可以看到 redis 模块已经被成功地启动了。如果我们想启动 system 模块，我们可以使用如下的命令：

代码语言：javascript复制
./filebeat modules enable system

上面的命令的返回结果是：

代码语言：javascript复制
Enabled system

如果我们想不启动 redis 模块，我们可以使用如下的命令：

代码语言：javascript复制
./filebeat modules disable redis

上面的命令的返回结果是：

代码语言：javascript复制
Disabled redis

我们可以使用如下的命令再次查询我们启动的模块:

在上面，我们可以清楚地看到 redis 模块已经被成功地关闭了，取而代之的是 system 模块被成功地启动了。我们可以在 filebeat 的安装目录下的 modules.d 子目录下可以查看到 system 模块的配置文件：

从上面我们可以清楚地看出来 system.yml 文件已经被成功地启动了。我们可以用我们所喜爱的编辑器来修改这个文件的配置。

如果我们需要修改 filebeat.yml 这个配置文件，或者下面的 module 的配置文件，我们可以通过如下的命令来检查配置文件的正确如否：

代码语言：javascript复制
./filebeat test config
代码语言：javascript复制
$ ./filebeat test config
Config OK
代码语言：javascript复制
./filebeat test output
代码语言：javascript复制
$ ./filebeat test output
elasticsearch: http://192.168.0.3:9200...
  parse url... OK
  connection...
    parse host... OK
    dns lookup... OK
    addresses: 192.168.0.3
    dial up... OK
  TLS... WARN secure connection disabled
  talk to server... OK
  version: 7.7.0

 我们甚至可以在运行 filebeat 的同时来启动相应的模块：

代码语言：javascript复制
./filebeat --modules nginx, system, mysql

我们也可以直接在 modules.d 目录下把相应的文件名的 .disabled 去掉，从而使得该文件名是以 .yml 为结束的文件。通过这样的方法。我们也可以启动该模块。

启动 Filebeat

在上面，我们已经成功地配置了 filebeat，在接下来的步骤中，我们来启动 Filebeat：

代码语言：javascript复制
./filebeat setup

setup 命令将加载 Kibana 仪表板。 如果已经设置了仪表板，请忽略此命令。上面命令的输出结果为：

代码语言：javascript复制
./filebeat setup
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Loaded machine learning job configurations
Loaded Ingest pipelines

在上面，我们可以看出来在setup这一步它帮我们配置好 dashboard，装载机器学习及 ingest pipleline。

我们接下来运行如下的命令来把我们的sysetm模块的数据送入到 Elasticsearch 之中：

代码语言：javascript复制
./filebeat -e

我们点击 “Check data” 按钮：

在 Kibana 中，我们可以看到已经收到数据。

运用 Dashboard 展示 Filebeat 数据

由于在上面的 filebeat setup 这一步已经为我们创建好了一个叫做 filebeat-* 的 index pattern，我们可以直接打开 Kibana 中的Discover:

在右上角选好我们喜欢的时间区域，然后对我们的数据进行查询：

我们接着点击 Dashboard：

我们选择 “[Filebeat System] Syslog dashboard ECS”:

在上面它展示了我的电脑里的 Syslog 的所有 log 信息。我们也可以在上面选择 “Sudo commands”，“SSH logins” 及 “New users and groups” 分别进行查看。

从上面的展示我们可以查看来：Elastic 公司除了提供一个强大的数据搜索引擎之外，也在 Elastic Stack 中提出了开箱即用的工具。我们只需要简单的几部配置，就可以很方便地把我们所需要的日志数据导入到 Elasticsearch 中进行分析。

Metricbeat

Metricbeat 的使用和 Filebea t的使用非常地相似。我们打开我们的自己的 Kibana，并按照如下的步骤来进行安装：

由于 Metricbeat 是属于 Metrics 范畴，所以我们选择 “Add metric data”:

同样地，针对我们的 metrics，我们也想对 sysem 模块来做指标分析：

根据不同的平台，我们选择不同的方法进行安装。针对我的情况，我在我们的 MacOS 上进行安装。简单地说：

下载 Metricbeat

我们首先安装如下的指令来下载并安装 metribeat:

代码语言：javascript复制
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.5.0-darwin-x86_64.tar.gz
tar xzvf metricbeat-7.5.0-darwin-x86_64.tar.gz
cd metricbeat-7.5.0-darwin-x86_64/

配置 Metricbeat

我们首先进入到 Metricbeat 的安装目录，我们可看到如下的文件：

代码语言：javascript复制
 pwd
/Users/liuxg/elastic8/metricbeat-7.5.0-darwin-x86_64
liuxg-2:metricbeat-7.5.0-darwin-x86_64 liuxg$ ls
LICENSE.txt              fields.yml               metricbeat.reference.yml
NOTICE.txt               kibana                   metricbeat.yml
README.md                logs                     module
data                     metricbeat               modules.d

在安装目录的根目录下， 我们可以发现一个叫做 metribeat.yml 的文件。这个文件就是 metricbeat 的配置文件。我们用我们喜爱的编辑器，并打开这个文件。找到如下的部分：

代码语言：javascript复制
output.elasticsearch:
  hosts: ["<es_url>"]
  username: "elastic"
  password: "<password>"
setup.kibana:
  host: "<kibana_url>"

在上面，我们需要把我们的 Elasticsearch 及 Kibana 的 host 地址填上。针对我本地的情况，我填入 localhost:9200 和localhost:5601。如果是针对本地安装的 Elastic Stack 来说，这些都是默认的配置，我们甚至不需要做任何的修改。如果我们对我们的 Elasticsearch 已经设置用户名及密码的话，那么请填入你自己的用户名及密码。

Elastic cloud

如下的配置只限于 Elastic Cloud。针对 Elastic cloud，我们可以避免把我们的用户名及密码写到我们的 metricbeat.yml 文件中，我们可以使用 cloud.id 来及 keystore 管理来帮我们实现。

我们首先在 Terminal 中打入如下的命令：

代码语言：javascript复制
./metricbeat keystore create

接着打入如下的命令：

代码语言：javascript复制
./metricbeat keystore add CLOUD_PWD

在这一步我们拷贝在 Cloud 中所创建的密码，并粘贴下来。

然后修改我们的 metricbeat.yml:

根据上面的提示，一旦我们设置好 cloud.id，它将覆盖我们的 output.elasticsearch 中的设置。

启动/禁止 Metricbeat 模块

我们可以通过如下的命令来展示所有 Metricbeat 的模块：

在上面我们可以看出来redis模板已经被启动，其它的模块都被禁止。

如果我们想启动system模块，我们可以使用如下的命令：

代码语言：javascript复制
./metricbeat modules enable system

上面命令的返回结果是:

代码语言：javascript复制
Enabled system

如果我们想禁止redis模块，我们可以使用如下的命令：

代码语言：javascript复制
./metricbeat modules disable redis

上面命令的返回结果是：

代码语言：javascript复制
Disabled redis

我们可以使用如下的命令再次查询我们启动的模块:

我们可以看出来我们的 redis 模块已经从 Enabled 里移除了，取而代之的是 system 模块。

我们可以在 metricbeat 的安装目录下的 modules.d 子目录下可以查看到 system 模块的配置文件：

我们可以在 system.yml 中找到 system 模块的配置文件。

我们可以通过如下的命令来测试  metricbeat.yml 的配置是否成功：

代码语言：javascript复制
./metricbeat test config

如果正确的话，会显示：

代码语言：javascript复制
$ ./metricbeat test config
Config OK

我们也可以来测试某个模块：

代码语言：javascript复制
./metricbeat test modules system

它将显示：

代码语言：javascript复制
$ ./metricbeat test modules system
system...
  cpu...OK
    result: 
    {
     "@timestamp": "2020-07-03T10:48:52.063Z",
     "event": {
      "dataset": "system.cpu",
      "duration": 19621,
      "module": "system"
     },
     "metricset": {
      "name": "cpu",
      "period": 10000
     },
     "service": {
      "type": "system"
     },
 ...

如果这个显示太多了，你也可显示这个模块中的某个 microset，比如，我们可以在 ./modules.d/system.yml 中可以看到如下的一些 microsets：

我们可以通过如下的命令来进行测试：

代码语言：javascript复制
./metricbeat test modules system cpu

我们也可以来测试它的 output:

代码语言：javascript复制
./metricbeat test output
代码语言：javascript复制
$ ./metricbeat test output
elasticsearch: http://localhost:9200...
  parse url... OK
  connection...
    parse host... OK
    dns lookup... OK
    addresses: ::1, 127.0.0.1
    dial up... OK
  TLS... WARN secure connection disabled
  talk to server... OK
  version: 7.8.0

启动 Metricbeat

在上面，我们已经成功地配置了metric，在接下来的步骤中，我们来启动 Metricbeat：

代码语言：javascript复制
./metricbeat setup

setup 命令将加载 Kibana仪表板。 如果已经设置了仪表板，请忽略此命令。上面命令的输出结果为：

代码语言：javascript复制
./metricbeat setup
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards

我们接下来运行如下的命令来把我们的 sysetm 模块的数据送入到 Elasticsearch 之中：

代码语言：javascript复制
./metricbeat -e

这个时候，我们在Kibana中点击 “Check data” 按钮：

我们可以看到数据已经被 Elasticsearch 成功收到了。

运用 Dashboard 展示 Merticbeat 数据

在Kibana中，我们点击Dashboard应用：

我们来点击 “[Metricbeat System] Overview ECS”:

我们可以看到我们的电脑的 system 指标信息。我们也可以点击上面的 “Host Overview” 及 “Container overview”。我们点击上面所示的 liu-2.local host，我们可以看到关于这个 host 的所有的 system 信息：

下面的就留给你们自己探索了。

————————————————

版权声明：本文为CSDN博主「Elastic 中国社区官方博客」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://elasticstack.blog.csdn.net/article/details/104473684

最新活动

包含文章发布时段最新活动，前往ES产品介绍页，可查找ES当前活动统一入口

Elasticsearch Service自建迁移特惠政策>>

Elasticsearch Service 新用户特惠狂欢，最低4折首购优惠 >>

Elasticsearch Service 企业首购特惠，助力企业复工复产>>

关注“腾讯云大数据”公众号，技术交流、最新活动、服务专享一站Get~

大数据 ElasticsearchService

0 人点赞