13518219792
这篇文章主要介绍“Python怎么使用Spacy进行分词”，在日常操作中，相信很多人在Python怎么使用Spacy进行分词问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Python怎么使用Spacy进行分词”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
创新互联公司2013年成立，是专业互联网技术服务公司，拥有项目网站设计制作、网站设计网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元青阳做网站,已为上家服务,为青阳各地企业和个人服务,联系电话:13518219792
说明
1、Spacy语言模型包含一些强大的文本分析功能，如词性标记和命名实体识别。
2、导入spacy相关模块后，需要加载中文处理包。然后读小说数据，nlp处理天龙八部小说，包括分词、定量、词性标注、语法分析、命名实体识别，用符号/分隔小说。最后，通过is_stop函数判断单词中的单词是否为无效单词，删除无效单词后，将结果写入txt文件。
实例
import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS
nlp = spacy.load('zh_core_web_sm')
def fenci_stopwords(data,newdata1):
fenci = []
qc_stopwords =[]
article = pd.read_table(data,encoding="utf-8")
start1 = time.time()
with open(newdata1,'w',encoding='utf-8') as f1:
for i in article["天龙八部"]:#分词
doc = nlp(i)
result1 = '/'.join([t.text for t in doc])
fenci.append(result1)
for j in fenci:#去除停用词
words = nlp.vocab[j]
if words.is_stop == False:
qc_stopwords.append(j)
result2 = '/'.join(qc_stopwords)
f1.write(result2)
end1 = time.time()
return end1-start1到此，关于“Python怎么使用Spacy进行分词”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
