大家好,又见面了,我是你们的朋友全栈君。
目录
1.乱码符号种类较少,用replace()
2.乱码字符种类较多,用re.sub()
3.提取字符串中的中文字符
4.提取字符串中的中文字符和数字
5.提取其他
数据清洗的时候一大烦恼就是数据中总有各种乱码字符,比如!@#¥%……&—— *(){}:“》《?|【】‘;/。,、-=
去掉这些很简单:
1.乱码符号种类较少,用replace()
如果只是很少类型的乱码符号,可以使用replace来替换掉,由于我们只是针对字符串中个别字符进行替换,因此使用str.replace(“#”,””)即可;
代码语言:javascript复制#只有一类乱码字符串
df['name'] = df['name'].str.replace("#","")
#连续多个字符一起替换
df['name'] = df['name'].str.replace("#","").str.replace("&","").str.replace("*","")
2.乱码字符种类较多,用re.sub()
代码语言:javascript复制import re
string = "北京大学beijing985大学@#¥……&{}*@$%).. _)( "
string_code = re.sub(u"([^u4e00-u9fa5u0030-u0039u0041-u005au0061-u007a])","",string)
print(string_code )
#输出:北京大学beijing985大学
这种方法的清洗,我们使用的其实是正则表达式,上述方法是提取了字符串中的中英文和数字,当然你也可以直提取中文,不同字符对应的 unicode 范围如下所示:
函数 | 说明 |
---|---|
sub(pattern,repl,string) | 把字符串中的所有匹配表达式pattern中的地方替换成repl |
[^**] | 表示不匹配此字符集中的任何一个字符 |
u4e00-u9fa5 | 汉字的unicode范围 |
u0030-u0039 | 数字的unicode范围 |
u0041-u005a | 大写字母unicode范围 |
u0061-u007a | 小写字母unicode范围 |
3.提取字符串中的中文字符
代码语言:javascript复制import re
string = "北京大学beijing985大学@#¥……&{}*@$%).. _)( "
#提取中文字符
string_code = re.sub(u"([^u4e00-u9fa5])","",string)
print(string_code )
#输出:北京大学大学
4.提取字符串中的中文字符和数字
代码语言:javascript复制import re
string = "北京大学beijing985大学@#¥……&{}*@$%).. _)( "
#提取中文字符和数字
string_code = re.sub(u"([^u4e00-u9fa5u0030-u0039])","",string)
print(string_code )
#输出:北京大学985大学
5.提取其他
至于提取其他字符,可以根据正则表达式的 unicode 范围,并参照上述三个例子敲代码。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/142840.html原文链接:https://javaforall.cn