采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs

采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去

1.帮助命令 可以通过此命令了解更多命令hdfs dfs -help2.根目录详情hdfs dfs -ls /3.文件上传到hdfs的根目录下hdfs dfs -put a.txt /a.txt4.剪切文件到hdfs的根目录下hdfs dfs -moveFromLocal a.txt /aa.txt5.......

MQ(message queue)，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消...

在做数据分析的时候，往往需要回溯历史数据。但有时候构建历史数据时需要变更参数重复跑数，公司的数仓调度系统往往只支持日期这一个参数，而且为临时数据生产调度脚本显得有点浪费。这个时候就可以结合python的字符串格式...

很多高速公路服务区均缺乏现代化的服务思维、理念和手段，信息系统功能薄弱，服务区的自助服务终端存在功能单一、人机交互体验差、设备维护管理成本高、联动效率低、运营难等问题，这不仅无法支撑服务区的精细化服务和智能...

安全是电力生产的基石，确保电网安全和人身安全，是电网企业安全工作的出发点和落脚点。 随着智能信息化技术应用越来越广泛，智能信息化现场安全管理是近年来基于智能安全巡检技术下发展起来的现场作业安全管理新技术。...

B树是一种多路平衡查找树，B树的节点可以有两个以上的子节点(AVL树是二叉树，最多只能有两个子节点)。

一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用...

在大数据技术迅猛发展的今天，网络安全问题已经发展成一个广受关注的热门研究方向。有人说，“大数据下，人人裸奔”，隐私保护、数据防护日益成为广大学者、企业研究的焦点。...