jieba分词基础知识

安装:pip install jieba

导包:import jieba

精确模式:试图将句子最精确地切开,适合文本分析(很像人类一样去分词)

jieba.cut(字符串) --> 返回生成器

str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘
ret = jieba.cut(str)
print(list(ret))

jieba分词基础知识

jieba.lcut(字符串) --> 返回列表

str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘
ret = jieba.lcut(str)
print(ret)

jieba分词基础知识

全模式:把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义(凡是词语全分)

jieba.cut(字符串, cut_all=True)

  jieba.lcut(字符串, cut_all=True)

str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘
ret = jieba.lcut(str, cut_all=True)
print(ret)

jieba分词基础知识

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词

jieba.cut_for_search(字符串)
  jieba.lcut_for_search(字符串)

str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘
ret = jieba.lcut_for_search(str)
print(ret)

jieba分词基础知识

添加词语:当遇到添加的词语不会进行分词

jieba.add_word(字符串)

str = ‘如何让一个IT论坛瞬间炸锅,答案是,PHP是世界上最好的语言‘
jieba.add_word(‘PHP是世界上最好的语言‘)
ret = jieba.lcut(str)
print(ret)

jieba分词基础知识

相关推荐