- 积分
- 12350
- 明经币
- 个
- 注册时间
- 2002-10-21
- 在线时间
- 小时
- 威望
-
- 金钱
- 个
- 贡献
-
- 激情
-
|
在lisp中应用正则表达式
[序]
长久以来，文本的编辑一直是lisp编程的重点、难点之一，有不少活跃在xdcad和明经通道论坛的高手为此写了不少有代表性的文字处理工具，比较知名的如： 。而我自己也写过不少这方面的程序，多数没有发表，少数零星地发布在以上两个论坛。但由于lisp对文本编辑(*注)的支持函数不够丰富，而实际工作中遇到的情况又多种多样，使得诸多lisp程序对文本编辑的深度和灵活性上还有很多不足之处，不免遗憾。
为此，我一直以来寻求更好的方法，最终只有一个答案：正则表达式。正则表达式对文本编辑很强，有多强？看看vb或vbs参考就知道，也可上网一搜。但是，也许本人孤陋寡闻(或是有的高手潜水潜得很深)，在网上一直没有见过在lisp中比较充分地应用正则表达式的程序。其实，我很早就想将正则表达式移植到lisp里面来，近几日一鼓作气，终有小成。谨奉献两个函数：(xxexp)(xxexpr)，这两个函数提供了正则表达式的接口，使在lisp中得以应用其强大的功能成为可能。
―――――梁雄啸.2007.7
[*注:“文本”在本文均指对文本字符串内容，非指文本实体(0 . “*TEXT”)]
函数帮助下载: [url=http://dreamskylxx.ys168.com/infile/note/note_6.htm?http://ys-C.ys168.com/?一刀屠文.rar_67el0c7bsp0bisp0c7biktrml0c2bk5btrjsnjku14z97f14z]函数下载: [/url]
[函数介绍]
函数：(xxexp pat str key)
功能 对字符串进行正则表达式匹配测试.
参数: pat = 正则表达式模式 ,对应vbs正则表达式的模式(expression)。说明: \ 号要用 \\ 替代.
str = 字符串
key = "i" "g" "m" , "i"不区分大小写（Ignorecase）,"g"全局匹配（Global）.”m”多行模式（Multiline），以上几个关键字可以组合使用，或用 ””.
返回: 返回匹配的字符列表，或无一匹配返回nil
函数：(xxexpr pat str nstr key)
功能 对字符串进行正则表达式替换.
参数: pat = 正则表达式模式 ,对应vbs正则表达式的模式(expression)。说明: \ 号要用 \\ 替代.
str = 被替换字符串
nstr = 替换字符串
key = "i" "g" "m" , "i"不区分大小写（Ignorecase）,"g"全局匹配（Global）.”m”多行模式（Multiline），以上几个关键字可以组合使用，或用 ””.
返回 :返回替换后的字符串.
[正则表达式模式]
正则表达式核心就是其模式(expression)，此部分资料可从网上或vb，vbs参考中得到。以下是vbs参考中关于模式的描述列表（本文略）。在xxexp,xxexpr函数应用中,注意”\”符要按”\\”来写。
[实战]
也许只有通过一些实例，大家才真正知道正则表达式的强大。有的功能是仅仅用lisp提供的函数很难或无法做到的，而在这里，可一一化解。
1. 汉字和非汉字提取
先来点简单的，好让大家进入状态，虽然简单，但是在论坛上是经常被问到的问题：
- ·;;提取汉字及空格。
- ;每字分断,汉字按1个字.
- (xxexp "[^!-~]" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回: (" " "测" "π" "啊" "少" "数" "★" "正" "确")
- ;连字不分断.
- (xxexp "[^!-~]+" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回:(" 测π啊" "少" "数★" "正" "确")
-
- ·;;提取汉字
- (xxexp "[^ -~]" "a 测π啊d4少1数★M=3;is=正,2确" "")
- (xxexp "[^\\000-\\377]" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回: ("测" "π" "啊" "少" "数" "★" "正" "确")
- (xxexp "[\\u0C04-\\uFFFF]" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;;返回: ("测" "啊" "少" "数" "★" "正" "确") ;;（注: 查到16进制汉字从\\u0C04开始,这个方法应该是最准确的.）
- (xxexp "[^ -~]+" "a 测π啊d4少1数★M=3;is=正,2确" "")
- (xxexp "[^\\000-\\377]+" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回:("测π啊" "少" "数★" "正" "确")
- ·;;提取非汉字
- (xxexp "[ -~]" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回:("a" " " "d" "4" "1" "M" "=" "3" ";" "i" "s" "=" "," "2")
- (xxexp "[\\000-\\377]+" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回: ("a " "d4" "1" "M=3;is=" ",2")
- ·;;提取字母及数字
- (xxexp "\\w" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回:("a" "d" "4" "1" "M" "3" "i" "s" "2")
- ·;;提取非字母及非数字
- (xxexp "[^\\w]" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回:(" " "测" "π" "啊" "少" "数" "★" "=" ";" "=" "正" "," "确")
- (xxexp "[^\\w]+" "a 测π啊d4少1数★M=3;is=正,2确" "")
- ;返回:(" 测π啊" "少" "数★" "=" ";" "=正," "确")
- ·;; 提取连续两个相同的字符
- (SETQ S (xxexp "(.)\\1" "aa看看 测试"M==33";is=,,2" ""))
- ;返回: ("aa" "看看" "==" "33" ",,")
看了上面的实例，大家也许有点兴趣了，好，接着来。
 - ·;; 提取由分界符界定的字符，呵呵，这个是论坛上被编写的比较多的程序之一.
- (xxexp "[^ ;,]+" "a 测试M=3;is=,2" "") ;;返回: ("a" "测试M=3" "is=" "2")
- 是不是很容易? 但这只不过是牛刀小试，现在才刚刚开始。
- ·拆分字符串，1个汉字算1个.
- (xxexp "." "少1 ,至.2e-5a‖〉∑∵∩∪チネヒжъμㄜ啊d4少1数" "")
- ;返回: ("少" "1" " " "," "至" "." "2" "e" "-" "5" "a" "‖" "〉" "∑" "∵" "∩" "∪" "チ" "ネ" "ヒ" "ж" "ъ" "μ" "ㄜ" "啊" "d" "4" "少" "1" "数")
- ·按每两个字符进行分断。1个中文按1个计算。
- (xxexp ".{2}" "aa 测试M==33;is=,,2" "")
- ;;返回: ("aa" " 测" "试M" "==" "33" ";i" "s=" ",,")
- ·;;在两个连续字符处分断.（包含指定的分界符，本例指"｜"）
- (setq s1 "aa 测看看试M==33;is=,,2")
- (xxexp "[^｜]+" (xxexpr "(.)\\1" s1 "｜" "") "")
- ;返回: (" 测" "试M" ";is=" "2")
- ·倒排文字（按字倒排，支持中文）
- (setq str "The quick brown 啊 fox jumped 至 over ∑ the lazy dog.")
- (apply 'strcat (reverse(xxexp "." str "")))
- ;返回: ".god yzal eht ∑ revo 至 depmuj xof 啊 nworb kciuq ehT"
- (apply 'strcat (reverse(xxexp "." "i开头，跟至少1个s" "")))
- ;返回: "s个1少至跟，头开i"
- ·简单替换，（但是用lisp写也不见得简单:) ）
- (setq str "IS11 is01 ISa1 iss11 id1 isss1 is1 IS1 ISa")
- 2.1 替换 is 为*，不分大小写
- (xxexpr "is" str "*" "") ;-> "*11 *01 *a1 *s11 id1 *ss1 *1 *1 *a"
- 2.2 替换 i开头,跟s(至少1个)的字符 为*
- (xxexpr "is+" str "*" "") ;-> "*11 *01 *a1 *11 id1 *1 *1 *1 *a"
- 2.3 替换 非数字和非空格 为*
- (xxexpr "[^0-9 ]" str "*" "") ;->"**11 **01 ***1 ***11 **1 ****1 **1 **1 ***"
- 2.4 替换 i开头，至少跟2个s的字符为*
- (xxexpr "Is{2,}" str "*" "") ;-> "IS11 is01 ISa1 *11 id1 *1 is1 IS1 ISa"
- 2.5 替换 i开头，跟1个非换行符的字符为*
- (xxexpr "I." str "*" "") ;-> "*11 *01 *a1 *s11 *1 *ss1 *1 *1 *a"
- 2.6 替换 i开头，跟至少1个s,+至少1个数字的字符 为*
- (xxexpr "is{1,}\\d+" str "*" "") ;－> "* * ISa1 * id1 * * * ISa"
- 下面的加点难度:
- ·.倒排文字(按空格划分)
- (setq str "The quick brown 啊 fox jumped 至于 over ∑ the lazy dog")
- (setq lst1 (xxexp "[^ |.]+" str ""))
- ;;返回: ("The" "quick" "brown" "啊" "fox" "jumped" "至于" "over" "∑" "the" "lazy" "dog.")
- (setq lst2 (xxexp " +" str ""))
- ;;返回: (" " " " " " " " " " " " " " " " " " " " " " ".")
- (apply 'strcat (mapcar 'strcat (reverse lst1)(reverse lst2)))
- ;;返回: "dog lazy the ∑ over 至于 jumped fox 啊 brown quick "
- ·.字符倒置
- ;; 将符合匹配(词1+空格+词2)中词1和词2对调
- (xxexpr "(\\S+)(\\s+)(\\S+)" "brown 啊 fox a" "$3$2$1" "") ;;返回:"啊 brown a fox"
- ;;将 = 号左右两边的字符对调.
- (xxexpr "(.)([-|=])(.)" "a-b=1 : c=d : a" "$3$2$1" "") ;;返回: "b-a=1 : d=c : a"
再加点难度。
- ·; "*(*)" 替换为 "*[*]"，论坛上只见过lzh写过这样一个程序，是用vba写的。
- (xxexpr "(\\()([^\\(\\)]*)(\\))" "a(顶-啊)5()" "[$2]" "")
- ;返回: "a[顶-啊]5[]"
- ·; A*B*替换为B*C*
- (xxexpr "(A{1})([^ABab]*)(B{1})" "A48.B小4Axa8b5" "B$2C" "") ;替换所有匹配
- ;返回: "B48.C小4AxB8C5"
- (xxexpr "(A{1})([^ABab]*)(B{1})" "A48.B小4Axa8b5" "B$2C" "g");替换第一个匹配的字符串
- ;返回:"B48.C小4Axa8b5"
- ·;将符合 "*写程序*Yes*" 的字符串替换为 "*测*试*" .这个是不等式替换，用vlisp写起来容易么？
- (xxexpr "(.*)写程序(.*)Yes(.*)" "33写程序74=YesYb" "$1测$2试$3" "")
- ;返回:"33测74=试Yb"
- 再来几个对比测试，什么功能？有点考脑力啊：）
- (xxexpr "(.*)写程序(.*)Yes(.*)" "33写程序74=YesYb" "$1测$2$3" "")
- ;->"33测74=Yb" ；将”写程序”替换为”测”,去掉”Yes”
- (xxexpr "(.*)写程序(.*)Yes(.*)" "33写程序74=YesYb" "$1测$3" "")
- ;->"33测Yb" ; 去掉”写程序””Yes”及其之间的字符。
- (xxexpr "(.*)写程序(.*)Yes(.*)" "33写程序74=YesYb" "$2" "")
- ;->"74=" ; 仅保留”写程序*Yes”之间的*部分.
- (xxexpr "(.*)(写程序)(.*)(Yes)(.*)" "33写程序74=YesYb" "$1$4$2$3$5" "")
- ;->"33Yes写程序74=Yb" ;将各部分随意倒置.
- (xxexpr "(.*)写(程序)(.*)(Yes)(.*)" "33写程序74=YesYb" "$1看$2$3$5,$4!" "")
- ;->"33看程序74=Yb,Yes!" ; 将"*写程序*Yes*"中的”写”改为看,”Yes”放到最后并加标点
- · 替换字符串.将=号后的10~99的数字字符改为*
- (xxexpr "(.=)(\\d{2})([^\\d]+)" "M=56变量" "$1*$3" "") ;;返回:"M=*变量"
- (xxexpr "(.=)(\\d{2})([^\\d]+)" "M=6变量" "$1*$3" "") ;;返回:"M=6变量"
- (xxexpr "(.=)(\\d{2})([^\\d]+)" "M=556变量" "$1*$3" "") ;;返回:"M=556变量"
- ·;; 更改字符中包含 M=数字 的字符，将M改为X
- (xxexpr "(M)(=)(\\d+)" "2至M=56变量" "X$2$3" "") ;;返回:"2至X=56变量"
- ·;; 将字符中a*d分别改为M*N
- (xxexpr "(a)(.+)(d)" "测试a=c,d=e,a=3,d=1" "M$2N" "")
- ;;返回: "测试M=c,d=e,a=3,N=1" （全字按顺序匹配）
- (xxexpr "(a)([^a|d]+)(d)" "测试a=c,d=e,a=3,d=1" "M$2N" "")
- ;;返回:"测试M=c,N=e,M=3,N=1" （所有按顺序匹配）.
- ·将字符 "我们*测试" 中的* 改为"不"字
- (xxexpr "(.*今天)([^测试]*)(测试?.*)" "今天我们一起测试这个函数，你来测试" "$1不$3" "")
- ; ;返回:"今天不测试这个函数，你来测试";;（仅匹配第一次遇到的"测试"二字）
- (xxexpr "(.*今天)(.*)(测试.*)" "今天我们一起测试这个函数，你来测试" "$1不$3" "")
- ;;返回:"今天不测试" （;; 匹配最外层的"测试"二字）
- ·;; 更改字符中包含 M=数字 的字符，将数字加1.5。可能还有更好更有效的写法。
- (defun c:test1()
- (setq str "2至M=56.5变M=3量M=.22"
- pat "(M)(=)(\\d{0,}\\.{0,1}\\d{1,})")
- (setq lst (xxexp pat str ""))
- ;; 此步返回: ("M=56.5" "M=3" "M=.22")
- (setq lst2(mapcar '(lambda(x)(strcat "M=" (rtos(+ 1.5(distof(vl-string-subst "" "M=" x)))2 2)))lst))
- ;此步返回:("M=58.00" "M=4.50" "M=1.72")
- (mapcar '(lambda(x y)(setq str (xxexpr x str y ""))) lst lst2)
- str)
- ;;最后返回: "2至M=58.00变M=4.50量M=1.72"
- · ;; 将a=或d=开头的数字加一个数(1.75).。另外一种写法。
- (defun c:test2()
- (setq str "测试a=2,d=3结果f=2,aa-3"
- add 1.75
- jd 2) ;精度
- (setq str2 (xxexpr "([a|d])(=)(\\d+)" str (strcat"$1$2(+ " (rtos add 2 jd) " $3)") ""))
- ;;返回: "测试a=(+ 1.75 2),d=(+ 1.75 3)结果f=2,aa-3"
- (setq as (mapcar '(lambda(x)(eval(read x))) (xxexp "(\\([^()]*\\))" str2 "")))
- ;;返回:("(+ 1.75 2)" "(+ 1.75 3)");返回:(3.75 4.75)
- (mapcar '(lambda(x)(setq str2 (xxexpr "([a|d])(=)(\\([^()]*\\))" str2 (strcat "$1$2" (rtos x 2 jd)) "g"))) as)
- str2
- ) ;;最后返回: "测试a=3.75,d=4.75结果f=2,aa-3"
之所以把这个专门做一小节，是因为现实意义较大，而我以前也用vlisp写过这样的程序，但写起来难免有些考虑不到的情况，总是不爽，现在，终于可以松一口气。
先说说字符中的数字可能出现的情况。其实很简单，就是distof认得的就应该看做数字。如：
“+1“ “+1.0““+.3““1.3““1.3e1“ “1.3e2““1.3e-2“ 等.
虽然乍一看简单，但是如果遇到“..2.3 +-2.5.6e-3.6 -1d.+3e.1“等不规范的字符串，要正确提取数字用lisp写起来可就困难了。
现在看看正则表达式的功能如何，下面是我摸索到的，pat也许有更科学的写法。- ·提取字符串内数字1:
- (setq str "a-.3A0.0+9.5d-1.3 1.2e-58d4d-15.1d5.6asf-1.2"
- pat "[+|-]?\\d*\\.?\\d+(e[+|-]*\\d+)*")
- (xxexp pat str "")
- ;;返回:("-.3" "0.0" "+9.5" "-1.3" "1.2e-58" "4" "-15.1" "5.6" "-1.2")
- ;;下面再验证是否是数字.
- (mapcar 'distof (xxexp pat str ""))
- ;;返回:(-0.3 0.0 9.5 -1.3 1.2e-058 4.0 -15.1 5.6 -1.2)
- ·提取字符串内数字2：
- (setq str "-1e4-31++3485..3.1a.38 3..14f-.86e-1d3.a4f8.48"
- pat "[+|-]?\\d*\\.?\\d+(e[+|-]*\\d+)*")
- (xxexp pat str "")
- ;;返回: ("-1e4" "-31" "+3485" ".3" ".1" ".38" "3" ".14" "-.86e-1" "3" "4" "8.48")
- ;;下面再验证是否是数字.
- (mapcar 'distof (xxexp pat str ""))
- ;;返回:(-10000.0 -31.0 3485.0 0.3 0.1 0.38 3.0 0.14 -0.086 3.0 4.0 8.48)
结束前，对函数的各参数的用法做一些实例，以便通过对比加深理解。- ·xxexp参数及partten对比测试
- (setq str "IS11 is01 ISa1 iss11 id1 isss1 is1 IS1 ISa")
- 1.1;查找 str 中符合 is开头跟至少１个数字的字符. i 大小写敏感；g 全局(仅找第一个符合条件的字符)
- (xxexp "is\\d+" str "iG") ;-> ("is0") ; 小写，第一个
- (xxexp "is\\d+" str "i") ;-> ("is01" "is1") ;小写，全局
- (xxexp "is\\d+" str "g") ;->("IS11");大小写，第一个
- (xxexp "is\\d+" str "") ;-> ("IS11" "is01" "is1" "IS1");大小写，所有.
- 1.2 查找IS开头,跟非换行单字符，跟0-9数字
- (xxexp "IS.[0-9]" str "") ;-> ("IS11" "is01" "ISa1" "iss1")
- 1.3 查找IS开头,跟非A或a，跟0-9数字
- (xxexp "IS[^Aa][0-9]" str "") ;->("IS11" "is01" "iss1")
- 1.4 查找IS开头,至少两个S的字符
- (xxexp "IS{2,}" str "") ;-> ("iss" "isss")
- 1.5 查找IS开头,跟两个数字
- (xxexp "IS[0-9][0-9]" str "") ;-> ("IS11" "is01")
- 1.6 查找IS开头,跟两个数字,大小写敏感.
- (xxexp "IS[0-9][0-9]" str "i") ;-> ("IS11")
- 1.7 查找IS开头,跟1个数字.
- (xxexp "IS[0-9]" str "") ;-> ("IS1" "is0" "is1" "IS1")
- 1.8 查找IS开头,跟1个数字,跟空格.
- (xxexp "IS[0-9] " str "") ;-> ("is1 " "IS1 ")
- ·xxexp和xxexpr的配合使用
- Xxexp 可提取符合条件的字符(列表)，得到的表可提供给别的程序进行进一步处理。
- Xxexpr 替换的结果(个数)，可以用xxexp预知。
- (xxexp "\\band\\b" "weekend,endfor,end" "") ;返回: nil ;没有一个匹配
- (xxexpr "\\band\\b" "weekend,endfor,end" "start" "")
- ;返回:"weekend,endfor,end" ;不改变字符串
- (xxexp "\\bend\\b" "weekend,endfor,end" "")
- ;返回: ("end") ;; 仅仅有一个匹配. \\b:指单词边界.
- (xxexpr "\\bend\\b" "weekend,endfor,end" "start" "")
- ;返回: "weekend,endfor,start" ;仅替换一个.
- (xxexp "end" "weekend,endfor,end" "")
- ;返回: ("end" "end" "end") ;;有三个匹配
- (xxexpr "end" "weekend,endfor,end" "start" "")
- ;返回: "weekstart,startfor,start" ;替换3个.
[结语：“一刀屠文”]
通过pat，和key的不同设定，可以看到正则表达式的功能不是一般的强，对应一种要求，pat可能有不只一种写法，只要pat写的好，在字符处理上，你能做的很多很多，而且也轻而易举，免去写n个程序的痛苦。呵呵，我以前写的几十个字符串处理函数很多都要下岗贱卖了。
差点忘了给这两个函数起个名号了，鉴于文字处理方面叫的好听的名号都被用的差不多了，大师之类的又不敢叫，一时间也想不到更好的，暂时叫“一刀屠文”吧，“屠”，表示对文字的深入解析，刀随心动，所向披靡，物我两忘。（%^$哎哟!谁砸的砖头!$%#）
今天就到这里吧，更多更强的功能等待你去发现。
梁雄啸
2007.7.28夜
|
评分
-
查看全部评分
|
[复制链接]
发表于 2007-7-29 16:13
置顶卡
变色卡
显身卡
发表于 2007-7-29 17:20
楼主