标签：__ word get Python most 007 path import 一题

题目

你有一个目录，放了你一个月的日记，都是 txt，为了避免分词的问题，假设内容都是英文，请统计出你认为每篇日记最重要的词。

很难客观的说每篇日记中最重要的词是什么，所以在这里就仅仅是将每篇日记中出现频数最高的词作为最重要的词。同时过滤掉一些词诸如【I，is，are，has，and，or】等等

代码

# -*- coding: utf-8 -*-   
from collections import Counter
import re
import string
import os


def get_word(filepath):
    #过滤词汇
    filter_word=['she','i','the','is','are','you','we','and','to','or','that','what','has',
    'have','been','do','did','a','an',"'",'he','of','was','had','they','his','in','on',
    'She','were','it','Mrs','The']

    fp=open(filepath,'r')
    content=fp.read()

    rule='[a-zA-Z0-9\']+'
    words=re.findall(rule,content)
    wordlist = Counter(words)
    for i in filter_word:
        wordlist[i]=0
    fp.close()

    # most_common 按出现数次从高到底排序
    return wordlist.most_common()[0]


def get_file(path):
    for textname in os.listdir(path):
        textfile=os.path.join(path,textname)
        most_important=get_word(textfile)
        print("文章 ---{} ----统计".format(textname))
        print("最重要的词为：{}".format(most_important[0]))
        print("出现次数为：{}\n".format(repr(most_important[1])))

if __name__ == '__main__':
    get_file('Text')

PS：代码很多场景无法适应，比如出现中文字符，可以更好的完善做一个格式化的字数统计工具

标签：__,word,get,Python,most,007,path,import,一题
来源： https://www.cnblogs.com/CH42e/p/11954524.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。