标签：__ word Python 练习 bvffer 单词 item Spark freq

一、安装Spark

检查基础环境hadoop,jdk

 

 

下载spark

 

 

 配置相关文件

 

 

 

 

 配置环境变量

 

 

 

 

 

 启动spark并运行python代码

 

def load_file(word_freq):     # 读文件到缓冲区
    try:     # 打开文件
        f = open(intext, 'r')
    except IOError as s:
        print(s)
        return None
    try:     # 读文件到缓冲区
        bvffer = f.read()
    except:
        print("ERROR!!")
        return None
    f.close()
    
    if bvffer:
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        bvffer = bvffer.lower()
        for ch in '“‘!;,.?”':
            bvffer = bvffer.lower().replace(ch, " ")  #将所有字母转换成小写，便于统计
        words = bvffer.strip().split()         #strip消除空白符，split以空格作为单词分界
        for word in words:
            word_freq[word] = word_freq.get(word, 0)+1  #读取到的单词存放到字典

    return word_freq

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item[0], item[1])

            f = open(outtext, 'a')
            f.write(str(item[0]) + ' ' +str(item[1]))
            f.write('\n')
            f.close()

if __name__ == "__main__":
    word_freq = {}
    intext = "text.txt"
    outtext = 'outtext.txt'
    a = load_file(word_freq)
    output_result(a)

 

 

 

 二、Python编程练习：英文文本的词频统计

1、准备文本

 

2、预处理：大小写，标点符号，停用词

 

3、统计每个单词出现的次数

 

4、结果写文件

 

 

 

 

 

标签：__,word,Python,练习,bvffer,单词,item,Spark,freq
来源： https://www.cnblogs.com/144lqf/p/15970113.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。