Spark 从2.3开始支持 Native 的 K8S 作为 resourceManager 了，官网内容很多，就不赘述了，这里主要参考2018年的 Spark Submit 一个 Share，来尝试搭建一套做大数据计算时候经常碰到的一种场景: K8S 化的 Spark Job 和 HDFS ...

最近需要解决一个部门一个老旧问题，问题大概是这样的，Spark on K8S 在访问 HDFS（其他小组负责）的时候需要走 Kerberos 认证。因为之前工作里比较少涉及到这一块，所以想现在本地环境做个快速的测试，顺便系统了解一下 Kerbero...

Client 发送请求到 AS(Authentication Server)，注意这个请求是用 Client 的密码A加密过的，无需在网络中传递 Client 的密码A，因为在 AS 收到请求后，会从创建用户的数据库里，找到 Client 的密码A用于解密。认证成功后，AS 会...

部署 Kerberos 认证的 HDFS 本来就是一件比较麻烦的事，那么如果遇到 K8S 呢？也就是需要把 HDFS 部署到 K8S 集群上，并且带有 Kerberos 认证的呢，那恐怕就既要懂的 Hadoop 安全集群的搭建又要一点 K8S 的实践基础。...

features 包里的代码，主要是用于构建 Spark 在 K8S 中的各类资源所需要的特征，个人觉得可以理解成这些 features 就是帮你写各类 Kind 的 YAML 文件。

Spark 2.2 on K8S 的 Fork 已经废弃近两年了，那时候的几个主力开发也全部转移到 Spark 2.3/2.4 以及即将发布的 3.0 的 on K8S 模块的开发了。

先说下网络环境，kafka服务器的IP为192.168.100.83 下文记做Linux 跑Java服务的IP为192.168.62.116 下文记做mac

Apache Knox网关（“ Knox”）是一种在不降低Hadoop安全性的情况下将Apache™Hadoop®服务的覆盖范围扩展到Hadoop群集之外的用户的系统。Knox还为访问群集数据和执行作业的用户简化了Hadoop安全性。Knox网关被设计为反向...

票据传递攻击（PtT）是基于Kerberos认证的一种攻击方式，常用来做后渗透权限维持。黄金票据攻击利用的前提是得到了域内krbtgt用户的NTLM 哈希或AES-256的值，白银票据攻击利用的前提是得到了域内服务账号的NTLM 哈希或AES-25...

Cloudera从CM6.3版本开始，引入了Red Hat IdM来做整个集群的认证，Red Hat IdM对应的软件为FreeIPA，在本文中描述如何使用FreeIPA来做CDP-DC集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。...