在进行文本分析、提取关键词时,新闻评论等文本通常是中英文及其他语言的混杂,若不加处理直接分析,结果往往差强人意。
下面对中英文文本进行分离做一下总结:
1、超短文本,ASCII识别。
2、unicode编码识别
中文的编码范围是:/u4e00-/u9fa5,相应的[^/u4e00-/u9fa5]可匹配非中文。
匹配英文时,需要将空格[/u0020]加入,不然单词之间没空格了。
以上这篇利用Python将文本中的中英文分离方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持VEVB武林网。
新闻热点
疑难解答