csv导入Hive脚本

代码语言：javascript复制

from pyspark.sql import HiveContext

hivec  = HiveContext(sc)  # 创建一个hivecontext对象用于写执行SQL，sc为sparkcontext

# 拼接一个字段类型字符串
str_s = 'label String,'
for i in range(len(df.columns)-1):
    str_s  = 'pixel%s String,' % i
# 拼接SQL语句
sql_str = "create table ml_test.decivsion ({})".format(str_s[:-1])  # 最后一个逗号需要去掉，否则报错

hivec.sql(sql_str)  #　执行ＳＱＬ

df = spark.read.csv(your hdfs path)  # 把csv读成dataframe，第一个参数为path
## 其他参数
# schema – an optional pyspark.sql.types.StructType for the input schema.
# header：默认值是false。就是把第一行当做数据，改为false，第一行就变为字段；
# sep：默认情况下，CSV是使用英文逗号分隔的,其他分隔符号可修改此选项;
# 更多参数请查阅官方文档
　
df.write.insertInto('ml_test.decivsion', overwrite=False)  # 将dataframe写入到指定hive表

hive csv

0 人点赞