wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar

自律和自学这两个词不能掉以轻心。一个人必须对自己的教育和启蒙负责。如果你忽略它，别人就会为你做选择。

基于海量数据的存储与处理面临挑战，TB级到PB级； 行业技术标准的日益形成，Hadoop； 趋势：

Hadoop 是 Apache 基金会旗下最知名的基础架构开源项目之一。自 2006 年诞生以来，逐步发展成为海量数据存储、处理最为重要的基础组件，形成了非常丰富的技术生态。...

1.我要做交叉验证，需要每个训练集和测试集都保持相同的样本分布比例，直接用sklearn提供的KFold并不能满足这个需求。

小伙伴们选择大数据平台，想必是传统的关系型数据库无法满足业务的存储计算要求，面临着海量数据的存储和计算问题。

据中国信通院发布，2012 年到 2021 年 10 年间，我国数字经济规模由 12 万亿元增长到 45.5 万亿元，在整个 GDP 中的比重由 21.6% 提升至 39.8%。顺应时代发展新趋势，“数据” 成为新的生产要素已是毋庸置疑的共识。...

ln -s /home/hadoop/apps/zookeeper-3.4.10 /usr/local/zookeeper

问题原因通常是：表的inputformat 和 outputformat 是 orc，而序列化serde不是orc

博客将主要介绍过程2的实现过程，主要思路是首先获取节点列表，再在申请container时，指定节点。具体过程如下：