文本分词处理Python实践

上一篇博客中爬取到了10个类别中数据并以文本的形式存取。

第二步便考虑对获得的文本进行分词操作~

开发环境：

anaconda3；

jieba分词；（在anaconda中pip install jieba 命令成功下载并安装jieba包(conda和pip是两个不同的包管理器，那个jieba没在conda中，应该用pip进行安装）

上代码

# -*- coding: utf-8 -*-
"""
Created on Thu Mar 8 10:26:40 2018

@author: Administrator
"""
# 2017年7月4日00:13:40
# silei
# jieba分词，停用词，数据可视化，知识图谱
# 数据文件数一共1170个
# baby，car，food，health，legend，life，love，news，science，sexual
# 130，130，130，130，130，130，130，130，130，130

# -*- coding:UTF-8 -*-

import jieba

dir = {'baby': 130,'car': 130,'food': 130,'health': 130,'legend': 130,'life': 130,'love': 130,'news': 130,'science': 130,'sexual': 39}# 设置词典，分别是类别名称和该类别下一共包含的文本数量

data_file_number = 0# 当前处理文件索引数

for world_data_name,world_data_number in dir.items():# 将词典中的数据分别复制到world_data_name,world_data_number中

while (data_file_number < world_data_number):
print(world_data_name)
print(world_data_number)
print(data_file_number)# 打印文件索引信息

file = open('F:\\test\\'+world_data_name+'\\'+str(data_file_number)+'.txt','r',encoding= 'UTF-8')
file_w = open('F:\\test\\trainTest\\'+world_data_name+'\\'+str(data_file_number)+'.txt','w',encoding= 'UTF-8')
for line in file:
stoplist = {}.fromkeys([ line.strip() for line in open("F:\\test\\stopword.txt",encoding= 'UTF-8') ]) # 读取停用词在列表中

seg_list = jieba.lcut(line,cut_all=False)# jieba分词精确模式

seg_list = [word for word in list(seg_list) if word not in stoplist] # 去除停用词

print("Default Mode:", "/ ".join(seg_list))
for i in range(len(seg_list)):
file_w.write(str(seg_list[i])+'\n')# 分完词分行输入到文本中

# file_w.write(str(seg_list))
# print(line, end='')
file_w.close()
file.close()
data_file_number = data_file_number + 1
data_file_number = 0

运行完代码便可获得分词完的文本，分词操作完成！