按指定编码格式读取文本文件并返回内容

小菜123

解决UTF-8等文本文件读入乱码问题

2. ;;;by小菜 测试 (read_txt_file_as_encoding "f:\\test.txt" "utf-8")
   
3. (defun read_txt_file_as_encoding (FileName encoding / bstr stream byxiaocai)
   
4.     (setq stream (vlax-create-object "ADODB.Stream"))
   
5.     (vlax-put-Property stream 'type 2)
   
6.     (Vlax-Put-Property stream 'Charset encoding)
   
7.     (Vlax-Invoke stream 'open)
   
8.     (vlax-invoke-method stream 'LoadFromFile FileName)
   
9.     (setq bstr (Vlax-Invoke-Method stream 'readtext -1))
   
10.     (Vlax-Invoke-Method stream 'close)
    
11.     (vlax-release-object stream)
    
12.     bstr
    
13. )

;;;by小菜 测试 (read_txt_file_as_encoding "f:\\test.txt" "utf-8")<br /> (defun read_txt_file_as_encoding (FileName encoding / bstr stream byxiaocai)<br />     (setq stream (vlax-create-object "ADODB.Stream"))<br />     (vlax-put-Property stream 'type 2)<br />     (Vlax-Put-Property stream 'Charset encoding)<br />     (Vlax-Invoke stream 'open)<br />     (vlax-invoke-method stream 'LoadFromFile FileName)<br />     (setq bstr (Vlax-Invoke-Method stream 'readtext -1)) <br />     (Vlax-Invoke-Method stream 'close)<br />     (vlax-release-object stream)<br />     bstr<br /> )

小菜123

另一个帖子也讨论到这个问题，正好完善一下以前的函数
http://bbs.mjtd.com/thread-187537-1-1.html

2. (defun detect_encoding (file / encoding stm_obj str)  
   
3.   (setq stm_obj (vlax-create-object "Adodb.Stream"))
   
4.   (vlax-put-property stm_obj 'type 1)
   
5.   (vlax-put-property stm_obj 'mode 3)
   
6.   (vlax-invoke-method stm_obj 'open nil nil nil nil nil)
   
7.   (vlax-put-property stm_obj 'position 0)
   
8.   (vlax-invoke-method stm_obj 'loadfromfile file)
   
9.   (setq str (vlax-invoke-method stm_obj 'read nil))
   
10.   (vlax-release-object stm_obj)
    
11.   (setq str (vlax-safearray->list (vlax-variant-value str)))
    
12.   (cond  ((and (= (car str) 239) (= 187 (cadr str)) (= 191 (caddr str)))  ;;根据文件头判断，0xEF 0xBB 0xBF为UTF-8
    
13.    (setq encoding "UTF-8")
    
14.   )
    
15.   ((and (= (car str) 255) (= 254 (cadr str))) ;;0xFF 0xFE 为Unicode (LE)
    
16.    (setq encoding "Unicode") ;;"UTF-16LE"
    
17.   )
    
18.   ((and (= (car str) 254) (= 255 (cadr str)))  ;;0xFE 0xFF 为Unicode BE
    
19.    (setq encoding "Unicode")  ;;utf-16be
    
20.   )
    
21.   ((Is_UTF8_No_BOM str) (setq encoding "UTF-8"))  ;;是否为没有BOM的UTF-8
    
22.   (t (setq encoding "GB2312"))  
    
23.   )
    
24.   encoding
    
25. )
    
26. (defun Is_UTF8_No_BOM (str / is_UTF8 loop)
    
27.   (setq is_UTF8 t
    
28.   loop t
    
29.   )
    
30.   (while (and str loop)
    
31.      (cond ((< (car str) 128) (setq str (cdr str)))  ;; 小于0x80为ACSCII字符
    
32.      ((< (car str) 192) (setq is_UTF8 nil loop nil))  ;;(11000000) 介于0x80和0xC0之间的为无效的UTF-8字符
    
33.      ((< (car str) 224)  ;;此范围为2字节UTF-8字符
    
34.         (if (<= (length str) 1)
    
35.       (setq is_UTF8 nil loop nil)
    
36.       (if (/= (logand (cadr str) 192) 128) ;;_else  (str[1] & 0xC0 != 0x80)
    
37.           (setq is_UTF8 nil loop nil) ;;不符合
    
38.           (setq str (cddr str))  ;;_else 继续
    
39.       )
    
40.         )  ;;if
    
41.      )
    
42.      ((< (car str) 240)  ;;(11110000) 此范围为3字节UTF-8字符
    
43.         (if (<= (length str) 2)
    
44.       (setq is_UTF8 nil loop nil)
    
45.       (if (or (/= (logand (cadr str) 192) 128) (/= (logand (caddr str) 192) 128)) ;;_else  (str[1] & 0xC0 != 0x80 || str[2] & 0xC0 != 0x80)
    
46.           (setq is_UTF8 nil loop nil) ;;不符合
    
47.           (setq str (cdddr str))  ;;_else 继续
    
48.       )
    
49.         )  
    
50.      )
    
51.      (t (setq is_UTF8 nil loop nil))
    
52.      )
    
53.   )
    
54.   is_UTF8
    
55. )

(defun detect_encoding (file / encoding stm_obj str)  <br />   (setq stm_obj (vlax-create-object "Adodb.Stream"))<br />   (vlax-put-property stm_obj 'type 1)<br />   (vlax-put-property stm_obj 'mode 3)<br />   (vlax-invoke-method stm_obj 'open nil nil nil nil nil)<br />   (vlax-put-property stm_obj 'position 0)<br />   (vlax-invoke-method stm_obj 'loadfromfile file)<br />   (setq str (vlax-invoke-method stm_obj 'read nil))<br />   (vlax-release-object stm_obj)<br />   (setq str (vlax-safearray->list (vlax-variant-value str)))<br />   (cond  ((and (= (car str) 239) (= 187 (cadr str)) (= 191 (caddr str)))  ;;根据文件头判断，0xEF 0xBB 0xBF为UTF-8<br />    (setq encoding "UTF-8")<br />   )<br />   ((and (= (car str) 255) (= 254 (cadr str))) ;;0xFF 0xFE 为Unicode (LE)<br />    (setq encoding "Unicode") ;;"UTF-16LE"<br />   )<br />   ((and (= (car str) 254) (= 255 (cadr str)))  ;;0xFE 0xFF 为Unicode BE<br />    (setq encoding "Unicode")  ;;utf-16be<br />   )<br />   ((Is_UTF8_No_BOM str) (setq encoding "UTF-8"))  ;;是否为没有BOM的UTF-8<br />   (t (setq encoding "GB2312"))  <br />   )<br />   encoding<br /> )<br /> (defun Is_UTF8_No_BOM (str / is_UTF8 loop)<br />   (setq is_UTF8 t<br />   loop t<br />   )<br />   (while (and str loop)<br />      (cond ((< (car str) 128) (setq str (cdr str)))  ;; 小于0x80为ACSCII字符<br />      ((< (car str) 192) (setq is_UTF8 nil loop nil))  ;;(11000000) 介于0x80和0xC0之间的为无效的UTF-8字符<br />      ((< (car str) 224)  ;;此范围为2字节UTF-8字符<br />         (if (<= (length str) 1)<br />       (setq is_UTF8 nil loop nil)<br />       (if (/= (logand (cadr str) 192) 128) ;;_else  (str[1] & 0xC0 != 0x80)<br />           (setq is_UTF8 nil loop nil) ;;不符合<br />           (setq str (cddr str))  ;;_else 继续<br />       )<br />         )  ;;if<br />      )<br />      ((< (car str) 240)  ;;(11110000) 此范围为3字节UTF-8字符<br />         (if (<= (length str) 2)<br />       (setq is_UTF8 nil loop nil)<br />       (if (or (/= (logand (cadr str) 192) 128) (/= (logand (caddr str) 192) 128)) ;;_else  (str[1] & 0xC0 != 0x80 || str[2] & 0xC0 != 0x80)<br />           (setq is_UTF8 nil loop nil) ;;不符合<br />           (setq str (cdddr str))  ;;_else 继续<br />       )<br />         )  <br />      )<br />      (t (setq is_UTF8 nil loop nil))<br />      )<br />   )<br />   is_UTF8<br /> )

lxl217114

谢谢菜总分享

Bao_lai

能否先自动判断编码方式，然后再决定是否采用呢？

小菜123

Bao_lai 发表于 2022-5-22 15:46
能否先自动判断编码方式，然后再决定是否采用呢？

理论上可以，但对于没有BOM标志的文件难度太大

Bao_lai

小菜123 发表于 2022-5-22 16:36
理论上可以，但对于没有BOM标志的文件难度太大

http://bbs.mjtd.com/forum.php?mo ... hlight=%B1%E0%C2%EB

哦哦哦哦

求CAD属性块文字递增刷以及文字刷

小菜123

编码格式未知时用下面方式读取即可自动判断:
(read_txt_file_as_encoding FileName (detect_encoding FileName ))

weilu

小菜123 发表于 2023-4-10 20:50
编码格式未知时用下面方式读取即可自动判断:
(read_txt_file_as_encoding FileName (detect_encoding File ...

测试了一下，(detect_encoding "D:\\图纸目录.txt")返回nil，不知何故，就是普通的txt文件

yu960312

刚好最近遇到了这个问题，学习学习