如今,来自不同来源和模式的数据使得查明软件问题和理解问题的根本原因变得困难。通用模式有助于标准化数据,从而改进可观测性和安全解决方案中数据的分析、可视化和关联,从而加速根本原因分析。为了确保我们的客户和更广泛的社区能够从标准化中受益,Elastic 致力于基于 Elastic Common Schema (ECS) 和 OpenTelemetry (OTel) 开发指标、日志、跟踪和安全事件的通用架构。
Elastic 正在向 OTel 贡献 ECS 并致力于联合开发通用模式。OTel 是云原生计算基金会 ( CNCF)中第二高速度的项目,并提供一系列工具、API 和 SDK,用于生成、收集、处理和导出遥测数据(指标、日志和跟踪),以了解软件性能和行为。Elastic 长期以来一直是开放标准的支持者,这一贡献将继续并扩大 Elastic 对社区的承诺。通过将 ECS 贡献给 OpenTelemetry,我们希望在 OTel 中基于广泛部署的 Elastic Common Schema 创建一个成熟且经过验证的通用架构,用于指标、日志、跟踪和安全事件。我们将与 OTel 一起继续开发和支持这一通用模式。
对开源社区的价值
ECS 是一种开源规范,是在 Elastic 用户社区的支持下开发的,用于定义在 Elasticsearch 中存储事件数据时要使用的一组通用字段。ECS 有助于降低因数据重复而产生的管理和存储成本,提高运营效率。
同样,OTel 的语义约定 (SemConv) 也为各种操作和数据指定了通用名称。使用 OTel SemConv 的好处在于遵循通用命名方案,可以在代码库、库和平台上为 OTel 用户进行标准化。
ECS 和 OTel SemConv 的合并将有助于推动 OTel 的采用以及可观测性和安全领域的持续发展和融合。
对开放标准的承诺
联合开发通用模式的目标是为最流行的系统类型定义供应商中立的语义约定。支持供应商创建的或开源组件(例如,HTTP 访问日志、网络日志或系统访问/身份验证日志)将把 OTel 关联性扩展到这些新数据类型。ECS 的贡献者已经完成了定义一组统一的语义约定的繁重工作,这些约定可以在 OTel 中采用。
ECS 的贡献将为生态系统带来以下几个优势:
- 更加标准化和统一的结构化格式,适用于供应商生成的日志和开源日志
- 用户可以从现成的日志集成中受益,这些集成将被OTel兼容的观测产品和服务完全认可
- 通过为Kubernetes应用程序日志、系统日志和应用程序内省事件提供一流支持,扩展了 OTel 对基础设施的支持
- 为应用程序和基础设施提供了标准化的观测遥测定义,实现可观测性的供应商中立性
随着 OTel 采用 ECS,OTel Collector Logs Receivers 的开发者将能够在消息中提供更丰富的数据定义,提高数据质量,并帮助将OTel Collector打造为行业中的事实标准日志收集器。
ECS已经发展到涵盖用户跨多种用途收集多种类型遥测数据的需求。采用ECS将极大地扩展OTel在DevSecOps中的实用性。
Elastic 目前支持越来越多的 CNCF 项目,例如 Kubernetes (K8S)、Prometheus、Fluentd、Fluent Bit 和 Istio。Elastic 的应用程序性能监控 (APM)本身也支持 OTel,确保所有 APM 功能均可通过 Elastic 或 OTel 代理或两者的组合使用。除了 ECS 贡献以及与 OTel SemConv 的持续合作之外,Elastic还继续为其他 OTel 项目做出贡献,包括语言 SDK(例如 OTel Swift、OTel Go、OTel Ruby 等),并参与多个特殊兴趣小组 (SIG) )将 OTel 建立为可观察性和安全性的标准。
我们很高兴能够加强与 OTel 的关系,并有机会以使双方受益的方式合并架构,为Elastic社区和更广泛的OTel社区带来好处。
了解有关Elastic 的 OpenTelemetry 支持的更多信息或为该项目做出贡献。有关ECS对OpenTelemetry这一令人激动的贡献的更多详细信息,请参阅我们的常见问题解答。