标签：

一、案例课程分析

1.编译环境

pycharm2018、python3.7

2.读文件到缓存区（process_file(dst)）

def process_file(dst):  # 读文件到缓冲区
    try:  # 打开文件
        f = open(dst, 'r')  # dst为文本的目录路径
    except IOError as s:
        print(s)
        return None
    try:  # 读文件到缓冲区
        bvffer = f.read()
    except:
        print('Read File Error!')
        return None
    f.close()
    return bvffer

3.处理缓冲区,返回存有词频数据的字典（process_buffer(bvffer))

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}  # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        bvffer = bvffer.lower()  # 将文本内容都改为小写
        for ch in '“‘!;,.?”':  # 除去文本中的中英文标点符号
            bvffer = bvffer.replace(ch, " ")
        words = bvffer.strip().split()
        # strip()删除空白符（包括'/n', '/r','/t'）；split()以空格分割字符串
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        return word_freq

4.输出词频前十的单词(output_result(world_freq))

def output_result(word_freq):
    if word_freq:
        # 根据v[1]即词频数量排序
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print("词:%-5s 频:%-4d " % (item[0], item[1]))

5.主函数对之前的函数进行整合(main())

   if __name__ == "__main__":
   dst = 'src/Gone_with_the_wind.txt'  # 《飘》文件的路径
   bvffer = process_file(dst)
   word_freq = process_buffer(bvffer)
   output_result(word_freq)

6.性能分析

为了方便测试，将原来的运行词频的代码卸载main函数中

def main():
    dst = 'Gone_with_the_wind.txt'  # 《飘》文件的路径
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)
主函数入口改为性能分析的代码

if __name__ == "__main__":
    cProfile.run("main()", "result")
    # 把分析结果保存到文件中,不过内容可读性差...需要调用pstats模块分析结果
    p = pstats.Stats("result")  # 创建Stats对象
    p.strip_dirs().sort_stats("call").print_stats()  # 按照调用的次数排序
    p.strip_dirs().sort_stats("cumulative").print_stats()  # 按执行时间次数排序
    # 根据上面2行代码的结果发现函数process_buffer最耗时间
    p.print_callees("process_buffer")  # 查看process_buffer()函数中调用了哪些函数

二、程序运行命令、运行结果截图

《飘》文本文件的词频统计运行截图

三、性能分析结果及改进

1.总运行时间

2.执行次数最多的部分代码

3.执行时间最多的部分代码

标签：
来源： https://www.cnblogs.com/mengsuixinsui/p/9762775.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。