自定义采集数据shell脚本

代码语言：javascript复制

#!/bin/bash

# 日志文件存放的目录
log_src_dir=/root/input/logs/

# 待上传文件存放的目录
log_toupload_dir=/root/input/logs/toupload/

# 日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/20190211/

# 创建文件
hadoop fs -mkdir -p $hdfs_root_dir

# 读取日志文件的目录，判断是否有需要上传的文件
ls $log_src_dir | while read fileName
do
    if [[ "$fileName" == access.* ]; then
            date=`date  %Y_%m_%d_%H_%M_%S`
            # 将文件移动到待上传目录并重命名
            mv $log_src_dir$fileName $log_toupload_dir"xxxx_click_log_$fileName"$date
            # 将待上传的文件path写入一个列表文件willDoing
            echo $log_toupload_dir"xxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
    fi
done

# 找到列表文件willDoing （罗列出所有文件，包含will的文件，不包含_COPY_，不包含_DONE_）
ls $log_toupload_dir | grep will | grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
    # 打印信息
    echo "toupload is in file:"$line
    # 将待上传文件列表willDoing改名为willDoing_COPY_
    mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
    # 读列表文件willDoing_COPY_的内容（一个一个的待上传文件的名字），此处的line就是列表中的一个待上传文件的path
    cat $log_toupload_dir$line"_COPY_" | while read line
    do
    hadoop fs -put $line $hdfs_root_dir
    done
    mv $log_toupload_dir$line"_COPY_" $log_toupload_dir$line"_DONE_"
done

shell 脚本

0 人点赞