标签：Python 练习 list content dict words 词频 Spark 字典

一、安装Spark

检查基础环境hadoop,jdk

下载Spark

二.Python编程练习：英语文本的词频统计

源代码

# 导入模块
# 导入字符串模块
import string

# 2读取文件，并分词
list_dict = {}  # 创建一个空字典，放词频与单词，无序排列
data = []  # 创建一个空列表，放词频与单词，有序：从多到少
f = open('test.txt', 'r')  # 打开文件
content = f.read()  # 读取文件
f.close()  # 关闭文件
content = content.replace('-', ' ')  # 连字符—用空格代替
words = content.split()  # 字符串按空格分割--分词

# 迭代处理：将字典变列表，存入数据
for i in range(len(words)):
    words[i] = words[i].strip(string.punctuation)  # 去掉标点符号，去掉首尾
    words[i] = words[i].lower()  # 统一大小写
    if words[i] in list_dict:  # 统计词频与单词
        list_dict[words[i]] = list_dict[words[i]] + 1  # 不是第一次
    else:
        list_dict[words[i]] = 1  # 第一次
# print(list_dict)  # 打印字典（词频与单词，无序）

# 遍历字典
for key, value in list_dict.items():  # 遍历字典

    temp = [value, key]  # 变量，变量值
    data.append(temp)  # 添加数据
data.sort(reverse=True)  # 排序
print(data)  # 打印列表（词频与单词，有序，从多到少）

结果：

标签：Python,练习,list,content,dict,words,词频,Spark,字典
来源： https://www.cnblogs.com/yybooker/p/15973381.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。