使用 Ansible 自动化 CDP 私有云集群安装

2021-07-02 10:30:40 浏览数 (1)

CDP 公共云的引入大大减少了您可以使用 Cloudera 的最新技术启动和运行的时间,无论是容器化数据仓库、机器学习、操作数据库或数据工程经验,还是基于虚拟机的多用途数据中心部署方式。

在 CDP 私有云中,在 RedHat OpenShift Kubernetes 集群上引入Cloudera Data Warehouse 和 Cloudera Machine Learning Experiences 意味着我们可以在一小时内在现有的 Base 集群上部署新的工作负载,但 CDP 私有云 Base 集群的安装却滞后了.

CDP 私有云的自动化

今天,我们将发布基于 Ansible 的自动化公开版本,用于部署 CDP 私有云基础集群,该集群可以安装在数据中心或公共云中的裸机服务器或虚拟机上。我们已经在内部和与客户一起试用了几个月,并证明了它能够在我们拥有的一些最复杂的客户环境中运行。

Cloudera 顾问和客户等多年来一直手动安装集群,任务列表可能很复杂,容易出现拼写错误/错误配置,尤其是在大型集群上(操作系统先决条件、软件包和Parcel存储库、支持数据库、密钥、证书和信任库管理、kerberos 配置、服务布局和配置、审计配置、安装后等)。通过自动化这些任务,我们可以确保我们对集群的构建方式更加规范,提高构建质量和一致性,并使顾问和管理员腾出时间专注于增值任务而不是重复安装。声明性定义鼓励环境之间的知识共享和配置平等。

“最重要的是,自动化降低了人为错误的风险,并为企业系统增加了一些智能。” – Stephen Elliot(IDC)

作为 Cloudera Labs 的一部分,我们将根据 Apache 软件许可证 v2发布Ansible Playbooks,并邀请客户和合作伙伴酌情提交 ICLA 或 CCLA进行协作。

我们正在开发两个版本的剧本。版本 2 是用于安装裸机集群的端到端剧本。除了错误修复之外,第 2 版不会进行任何积极的开发。版本 3 被重新构建为一组可组合的角色,可以通过 Ansible Galaxy 安装为 Ansible Collection。Cloudera Deploy 项目有一个示例剧本,它执行端到端安装,但可以与裸机和公共或私有虚拟环境集成,所有这些都来自简单的可组合声明性定义。

下一步

请查看文档和操作指南,并亲自尝试这些剧本。如果您想参与其中,请在 GitHub 项目上提出问题,我们欢迎来自社区成员的拉取请求。如果您需要有关 CDP 升级或迁移项目或使用自动化的帮助,请联系您的客户团队。

资源

第 2 版入门指南:https://github.com/cloudera-labs/cloudera.cluster/blob/v2.0.0/docs/getting-started.md

第 2 版 GitHub 项目:https://github.com/cloudera-labs/cloudera.cluster/tree/v2.0.0

第 3 版入门指南:https://github.com/cloudera-labs/cloudera-deploy#readme

第 3 版 GitHub 项目:https://github.com/cloudera-labs/cloudera.cluster/ and https://github.com/cloudera-labs/cloudera-deploy/

笔记

Ansible playbook 按原样提供,不提供任何保证或支持。然而,这些剧本确实使用受支持的 Cloudera Manager 和 CDP API,因此在使用这些产品时出现问题时将提供支持。

致谢

Ansible playbook 是由 Cloudera 中的许多人开发的。感谢:David Beech、Webster Mudge、Mac Moore、Jim Halfpenny、Sai Krishna Kalyan、Dima Fadeyev、Chris Teoh、Matthew Weis、Denis Coady、Luciano Sorrentino、Chris Jacques、Venkata Udamala、Vijay Anand Karthikeyan、Michael O'Kane和 François Frisch 迄今为止的贡献。

原文作者:Tristan Stevens& Daniel Chaffelson & William Dyson

原文链接:https://blog.cloudera.com/automating-cdp-private-cloud-installations-with-ansible/

0 人点赞