python中文分词库jieba使用方法详解

安装python中文分词库jieba

法1：Anaconda Prompt下输入conda install jieba

法2：Terminal下输入pip3 install jieba

1、分词

1.1、CUT函数简介

cut(sentence, cut_all=False, HMM=True)

返回生成器，遍历生成器即可获得分词的结果

lcut(sentence)

返回分词列表

import jiebasentence = '我爱自然语言处理'# 创建【Tokenizer.cut 生成器】对象generator = jieba.cut(sentence)# 遍历生成器，打印分词结果words = '/'.join(generator)print(words)

打印结果

我/爱/自然语言/处理

import jiebaprint(jieba.lcut('我爱南海中学'))

打印结果

[‘我', ‘爱', ‘南海中学']

1.2、分词模式

精确模式：精确地切开

全模式：所有可能的词语都切出，速度快

搜索引擎模式：在精确模式的基础上，对长词再次切分

import jiebasentence = '订单数据分析'print('精准模式：', jieba.lcut(sentence))print('全模式：', jieba.lcut(sentence, cut_all=True))print('搜索引擎模式：', jieba.lcut_for_search(sentence))

打印结果

精准模式： [‘订单', ‘数据分析']

全模式： [‘订单', ‘订单数', ‘单数', ‘数据', ‘数据分析', ‘分析']

搜索引擎模式： [‘订单', ‘数据', ‘分析', ‘数据分析']

1.3、词性标注

jieba.possegimport jieba.posseg as jpsentence = '我爱Python数据分析'posseg = jp.cut(sentence)for i in posseg: print(i.__dict__) # print(i.word, i.flag)

打印结果

{‘word': ‘我', ‘flag': ‘r'}{‘word': ‘爱', ‘flag': ‘v'}{‘word': ‘Python', ‘flag': ‘eng'}{‘word': ‘数据分析', ‘flag': ‘l'}

词性标注表