做数据清洗时，经常需要用到正则表达式替换等等
首先介绍一下元字符（匹配规则）
. 匹配任意字符（不包括换行符） ^ 匹配开始位置，多行模式下匹配每一行的开始 $ 匹配结束位置，多行模式下匹配每一行的结束 * 匹配前一个元字符0到多次 + 匹配前一个元字符1到多次 ? 匹配前一个元字符0到1次 {m,n} 匹配前一个元字符m到n次 \\ 转义字符，跟在其后的字符将失去作为特殊元字符的含义，例如\\.只能匹配.，不能再匹配任意字符 [] 字符集，一个字符的集合，可匹配其中任意一个字符 | 逻辑表达式 或 ，比如 a|b 代表可匹配 a 或者 b (...) 分组，默认为捕获，即被分组的内容可以被单独取出，默认每个分组有个索引，从 1 开始，按照"("的顺序决定索引值 (?iLmsux) 分组中可以设置模式，iLmsux之中的每个字符代表一个模式,用法参见 模式 I (?:...) 分组的不捕获模式，计算索引时会跳过这个分组 (?P<name>...) 分组的命名模式，取此分组中的内容时可以使用索引也可以使用name (?P=name) 分组的引用模式，可在同一个正则表达式用引用前面命名过的正则 (?#...) 注释，不影响正则表达式其它部分,用法参见 模式 I (?=...) 顺序肯定环视，表示所在位置右侧能够匹配括号内正则 (?!...) 顺序否定环视，表示所在位置右侧不能匹配括号内正则 (?<=...) 逆序肯定环视，表示所在位置左侧能够匹配括号内正则 (?<!...) 逆序否定环视，表示所在位置左侧不能匹配括号内正则 (?(id/name)yes|no) 若前面指定id或name的分区匹配成功则执行yes处的正则，否则执行no处的正则 \number 匹配和前面索引为number的分组捕获到的内容一样的字符串 \A 匹配字符串开始位置，忽略多行模式 \Z 匹配字符串结束位置，忽略多行模式 \b 匹配位于单词开始或结束位置的空字符串 \B 匹配不位于单词开始或结束位置的空字符串 \d 匹配一个数字， 相当于 [0-9] \D 匹配非数字,相当于 [^0-9] \s 匹配任意空白字符， 相当于 [ \t\n\r\f\v] \S 匹配非空白字符，相当于 [^ \t\n\r\f\v] \w 匹配数字、字母、下划线中任意一个字符， 相当于 [a-zA-Z0-9_] \W 匹配非数字、字母、下划线中的任意字符，相当于 [^a-zA-Z0-9_]
补充一下转义字符\，可以转义很多字符：
\n：换行
\t：制表符
\\：表示\
当然也可以使用r\' \'：默认\' \'内部的的字符不转义
#输出的字符中也有\' 或者" print(\'I\\'m \"ok\"!\') #将\',\'\'转义， I\'m "ok"! #记住字符要加上\'\' print(\'\\\n\\\') #输出： \ \ print(\'\\\t\\\') #输出： \ \ #r\'\' print(r\'\\\t\\\') #\\\t\\
比如下面的例子
在正则表达式中，如果直接给出字符，就是精确匹配： \'00\d\' 可以匹配\'007\'，但无法匹配\'00A\'； \'\d\d\d\' 可以匹配\'010\'； \'\w\w\d\' 可以匹配\'py3\'； \'py.\' 可以匹配\'pyc\'、\'pyo\'、\'py!\'等等 要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符 如：\d{3}\s+\d{3,8} 1.\d{3} 表示匹配3个数字，例如\'010\'； 2.\s 可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配\' \'，\' \'等； 3.\d{3,8} 表示3-8个数字，例如\'1234567\' 综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码 如果要匹配\'010-12345\'这样的号码呢？由于\'-\'是特殊字符，在正则表达式中，要用\'\\'转义，所以，上面的正则是\d{3}\-\d{3,8}
看看进阶版的例子
要做更精确地匹配，可以用[]表示范围： [0-9a-zA-Z\_] 可以匹配一个数字、字母或者下划线； [0-9a-zA-Z\_]+ 可以匹配至少由一个数字、字母或者下划线组成的字符串，比如\'a100\'，\'0_Z\'，\'Py3000\'等等； [a-zA-Z\_][0-9a-zA-Z\_]* 可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量； [a-zA-Z\_][0-9a-zA-Z\_]{0, 19} 更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符） A|B 可以匹配A或B，所以(P|p)ython可以匹配\'Python\'或者\'python\'。 ^表示行的开头，^\d表示必须以数字开头。 $表示行的结束，\d$表示必须以数字结束。 你可能注意到了，py也可以匹配\'python\'，但是加上^py$就变成了整行匹配，就只能匹配\'py\'了
re模块
re.match(r‘正则表达式’,test)
该方法判断是否匹配成功，如果匹配成功，就返回一个match对象，否则返回None
import re re.match(r\'^\d{3}\-\d{3,8}$\', \'010-12345\') #输出：<re.Match object; span=(0, 9), match=\'010-12345\'> re.match(r\'^\d{3}\-\d{3,8}$\', \'010 12345\') #啥都不输出 #简单的小程序,需要自己替换正则表达式 test = input(\'用户输入的字符串:\') if re.match(r\'正则表达式\', test): print(\'ok\') else: print(\'failed\')
切分字符串
re.split(r\'正则表达式\',\'被切割对象\')
#字符串有切割函数split \'a b c\'.split(\' \') #[\'a\', \'b\', \'\', \'c\'] #如果想把空格去掉 re.split(r\'\s+\',\'a b c\') #[\'a\', \'b\', \'c\'] #无论多少个空格都可以正常分割。加入,试试 re.split(r\'[\s\,]+\', \'a,b, c d\') #[\'a\', \'b\', \'c\', \'d\'] #再加入;试试 re.split(r\'[\s\,\;]+\', \'a,b;; c d\') #[\'a\', \'b\', \'c\', \'d\']
提取子串
SQL的split也有提取子串的功能，split(a,b)[0]或者是split(a,b)[1]
正则表达式用()表现要提取的分组（group），可以在match对象上使用group()方法
group(0)是原始字符串，group(1)，group(2)分别是第1,2个子串，groups()则输出全部子串
#group() m = re.match(r\'^(\d{3})-(\d{3,8})$\', \'010-12345\') for i in range(3): print(m.group(i)) #输出： 010-12345 010 12345 #如果是groups()则输出全部子串 t = \'19:05:30\' m = re.match(r\'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$\', t) m.groups() #(\'19\', \'05\', \'30\')
贪婪匹配
正则匹配默认的是贪婪匹配，也就是匹配尽可以多的字符
#贪婪匹配 #由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了 re.match(r\'^(\d+)(0*)$\', \'102300\').groups() #(\'102300\', \'\') #必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配 re.match(r\'^(\d+?)(0*)$\', \'102300\').groups() #(\'1023\', \'00\')
编译
re.compile()
就是为了避免重复使用时多次输入
#编译： re_telephone = re.compile(r\'^(\d{3})-(\d{3,8})$\') re_telephone.match(\'010-12345\').groups() #(\'010\', \'12345\') re_telephone.match(\'010-8086\').groups() #(\'010\', \'8086\')
全部代码如下：
# -*- coding: utf-8 -*- """ Created on Tue Jul 21 10:52:00 2020 @author: Admin """ import pandas as pd import numpy as np #输出的字符中也有\' 或者" print(\'I\\'m \"ok\"!\') #将\',\'\'转义， I\'m "ok"! #记住字符要加上\'\' print(\'\\\n\\\') #输出： \ \ print(\'\\\t\\\') #输出： \ \ #r\'\' print(r\'\\\t\\\') #\\\t\\ import re re.match(r\'^\d{3}\-\d{3,8}$\', \'010-12345\') #输出：<re.Match object; span=(0, 9), match=\'010-12345\'> re.match(r\'^\d{3}\-\d{3,8}$\', \'010 12345\') #啥都不输出 #简单的小程序,需要自己替换正则表达式 test = input(\'用户输入的字符串:\') if re.match(r\'正则表达式\', test): print(\'ok\') else: print(\'failed\') #字符串有切割函数split \'a b c\'.split(\' \') #[\'a\', \'b\', \'\', \'c\'] #如果想把空格去掉 re.split(r\'\s+\',\'a b c\') #[\'a\', \'b\', \'c\'] #无论多少个空格都可以正常分割。加入,试试 re.split(r\'[\s\,]+\', \'a,b, c d\') #[\'a\', \'b\', \'c\', \'d\'] #再加入;试试 re.split(r\'[\s\,\;]+\', \'a,b;; c d\') #[\'a\', \'b\', \'c\', \'d\'] #group() m = re.match(r\'^(\d{3})-(\d{3,8})$\', \'010-12345\') for i in range(3): print(m.group(i)) #输出： 010-12345 010 12345 #如果是groups()则输出全部子串 t = \'19:05:30\' m = re.match(r\'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$\', t) m.groups() #(\'19\', \'05\', \'30\') #贪婪匹配 #由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了 re.match(r\'^(\d+)(0*)$\', \'102300\').groups() #(\'102300\', \'\') #必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配 re.match(r\'^(\d+?)(0*)$\', \'102300\').groups() #(\'1023\', \'00\') #编译： re_telephone = re.compile(r\'^(\d{3})-(\d{3,8})$\') re_telephone.match(\'010-12345\').groups() #(\'010\', \'12345\') re_telephone.match(\'010-8086\').groups() #(\'010\', \'8086\')