标签：jieba python 注水 书评 linesList line counts

文章目录

• 实验题目
• 一、思路
• 二、步骤
• • 1.思路
  • 2.编码
• 总结

实验题目

## 实验题1

以下是一系列书评,但是很多是灌水的,请你写一段代码,把灌水的书评尽可能去掉。

灌水书评一般会有一个特点：重复的字比较多，利用这个特点，把灌水书评去掉

‘这是一本非常好的书，作者用心了’,
‘作者大大辛苦了’,
‘好书，感谢作者提供了这么多的好案例’,
‘书在运输的路上破损了，我好悲伤。。。’,
‘为啥我买的书上有菜汤。。。。’,
‘啊啊啊啊啊啊，我怎么才发现这么好的书啊，相见恨晚’,
‘书的质量有问题啊，怎么会开胶呢？？？？？？’,
‘好好好好好好好好好好好’,
‘好难啊看不懂好难啊看不懂好难啊看不懂’,
‘书的内容很充实’,
‘你的书上好多代码啊，不过想想也是，编程的书嘛，肯定代码多一些’,
‘书很不错!!一级棒!!买书就上当当，正版，价格又实惠，让人放心!!!’,
‘无意中来到你小铺就淘到心意的宝贝，心情不错!’,
‘送给朋友的、很不错’,
‘这是一本好书，讲解内容深入浅出又清晰明了，推荐给所有喜欢阅读的朋友同好们。’,
‘好好好，下一个看看’,
‘渣渣渣渣渣渣渣渣’,
没用没用没用没用’,
‘很好的书，五颗星’

一、思路

二、步骤

1.思路

评论读出（txt文件读取)->对评论进行按条放置(列表放置)->对每条评论用jieba库进行分词->单位词长度*单位词出现次数进行判断->移除注水评论

2.编码

代码如下（示例）：

import jieba

file= open("shuping.txt", "r", encoding='utf-8').read()
file=file.replace(',', '').replace('.', '').replace('\'', '')
linesList=file.split('\n')  # 将读出的每行评论作为不同的元素放到list当中去
removelines=[]
for line in linesList:
    words=jieba.cut(line,cut_all=True) #使用精准模式进行分词
    counts={}
    for word in words:
        counts[word] = counts.get(word, 0) + 1  # 遍历所有词语，每出现一次其对应的值加 1
    wordslist = list(counts.items())
    for item in wordslist:
        if (len(item[0])*item[1]>=len(line)*0.5):
            print("该被移除-->"+str(linesList.index(line)))
            if line in linesList:
                removelines.append(line)
                break

for line in removelines:
    linesList.remove(line)
print(linesList)

总结

代码耦合度较高，且该种方法只能删除注水书评中重复字数较多的情况，有待进一步提高，欢迎有更好想法的朋友留言我改进。

标签：jieba,python,注水,书评,linesList,line,counts
来源： https://blog.csdn.net/qjyws/article/details/120586338

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。