R语言数据管理之缺失值
在做任何数据分析的第一步,是根据个人需求创建数据集,存储数据的结构是多样的,包括向量,矩阵、数据框、因子以及列表等。其实,以上几个R语言的独特术语,在C 中也会经常用到,导致很多人都会认为自己很熟悉的错觉,然而在实际的应用中,却经常出现错误。最近在处理一波量大的数据,在运行程序的过程中,因为前期数据处理错误却出现各种bug,经过检查数据集发现是数据管理的问题,为了巩固R语言的基本数据管理,特地重新基础知识。
01
缺失值
NA(Not Available,不可用)表示缺失值;NaN(Not a Number,非数值)表示不可能出现的值。
#创建数据框
我们来创建一份关于某央企组织新员工的体检报告数据框吧
代码语言:javascript复制> PatientID<-c(1,2,3,4,5,6)
> Data<-c("03/20/20","03/21/20","03/22/20","03/23/20","03/24/20","03/25/20")
> Age<-c(18,25,26,35,48,50)
> Gender<-c("M","F","F","M","F","M")
> City<-c("福州","厦门","泉州","龙岩","漳州","三明")
> Pr1<-c("69","57","67","65","72","55")
> Pr2<-c("180","155","159","184","167","175")
> Pr3<-c("11","14","34","23","35","12")
> Pr4<-c("6","7","5","8","6","9")
> Pr5<-c("20","34","35","56","47","19")
> S1<-c(88,78,NA,56,45,60)
> S2<-c(67,87,45,25,NA,96)
> mydata<-data.frame(PatientID,Data,Age,Gender,City,Pr1,Pr2,Pr3,Pr4,Pr5,S1,S2)
> mydata
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96
02
缺失值的识别
is.na()函数检测缺失值是否存在,如果存在缺失值,相应的位置会标上TRUE,否则FALSE。
代码语言:javascript复制> is.na(S1)
[1] FALSE FALSE TRUE FALSE FALSE FALSE
> is.na(mydata[,11:12])
S1 S2
[1,] FALSE FALSE
[2,] FALSE FALSE
[3,] TRUE FALSE
[4,] FALSE FALSE
[5,] FALSE TRUE
[6,] FALSE FALSE
03
缺失值的计算
计算S1和S2的和,可以看到缺失值是无法使用比较运算符计算或识别的,只能用is.na()函数识别,而且含有缺失值的算术表达式和函数计算结果也是缺失值。
代码语言:javascript复制> attach(mydata)
> mydata$SumS<-S1 S2
> mydata
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45 NA
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 48 F 漳州 72 167 35 6 47 45 NA NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156
#确定缺失值之后,删除这些缺失值,可以考虑在函数计算之前去除缺失值,再使用剩余值进行计算
代码语言:javascript复制> S1<-c(88,78,NA,56,45,60)
> S3<-sum(S1,na.rm=TRUE)
> S3
[1] 327
04
编码某些数值为缺失值
编码某些数值为缺失值是很有必要的,在数据处理的过程中,能够通过na.omit()函数删除某个值所在的行。往期文章gganimate动画GIF | 让你的图形跳动起来!!!的data_province2就是通过给data_province1中的Hubei赋值为缺失值,而后用na.rm()移除缺失值所得。
代码语言:javascript复制> mydata$Age[mydata$Age==48]<-NA
> mydata
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45 NA
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 NA NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156
#删除缺失值所在的行
方法1:na.omit()函数
代码语言:javascript复制> mydata1<-na.omit(mydata)
> mydata1
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156
方法2:tidyr::drop_na()
代码语言:javascript复制> mydata2<-tidyr::drop_na(mydata,S1,S2)
> mydata2
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156
#使用邻近的元素填充NA
处理前数据框mydata:
代码语言:javascript复制 PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45 NA
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 NA NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156
tidyr::fill()处理后数据框:
代码语言:javascript复制>tidyr::fill(mydata,S1,S2,SumS)
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 78 45 165
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 25 81
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156
小结
R语言最大的优势是绘图,学R的初心就是为了绘制实验过程产生的数据图,然而随着深度学习,会发现,R语言的数据分析也很重要,常常会在绘制图形的过程中,因为数据框中存在格式不统一,字符或者缺失值等原因导致绘图失败。对于非数学专业又喜欢R语言的人来说,学R之路漫漫其修远,没有极客基因是不行的,打好基础是进阶的前提!