标签：中文 plt Python mask 词云 wcd fname ax freq
使用Python制作中文词云
0 素材 & 库 准备
0.1 文本和图片
制作词云之前, 我们需要事先准备以下素材:
- 一篇文章, 以文本文件 (.txt) 格式保存.
- 停用词表 (英文非必要, 中文需要自己准备, 可以从这里 (GitHub)下载).
- 避免中文乱码的字体文件 (英文非必要)
- 一张你喜欢的图片. (为词云上色, 或者制作剪影, 非必要)
完整素材见GitHub, 也可以从我准备的网盘链接打包下载:
链接：https://pan.baidu.com/s/19hrcWzChUz7CWZ0Osvh5mw
提取码：vz0i
从素材准备可以看出来, 相比英文, 制作中文词云会稍微麻烦一点, 因为需要解决额外的两个问题:
- (使用 jieba) 分词, 将连续的中文句子切割成单个词语.
- 设置字体, 避免中文乱码.
注: 这次例子用的是浙大教授王立铭的文章: “《巡山报告》第二十四期：有了疫苗，世界会好吗？”
0.2 库准备
主要涉及以下Python库:
wordcloud(词云制作)jieba(中文分词)numpy(数组处理)matplotlib(基础画图)PIL(读取图片)
如果没有安装, 需要使用pip或conda进行安装. 如果是在Windows下使用 pip 安装, 首先打开命令行 (cmd), 进入安装 Python 的文件夹地址, 输入以下代码 (也可以直接使用 Anaconda Powershell Prompt):
制作词云的库:
pip install wordcloud
用于中文分词的库:
pip install jieba
步骤
- 准备工作
1.1. 安装并引入必要的函数库
1.2. 设置文件路径 - 文本处理: 分词, 过滤, 词频计算
- 词云生成, 画图
1. 准备工作
1.1. 引入库
import numpy as np
from wordcloud import WordCloud, ImageColorGenerator#, STOPWORDS
import matplotlib.pyplot as plt
from PIL import Image
import jieba # cutting Chinese sentences into words
1.2.设置文件路径
完整教程涉及四个文件, 见前面的 “素材准备”：
# setting paths
fname_text = 'texts/article.txt'
fname_stop = 'stopwords/hit_stopwords.txt'
fname_mask = 'pictures/owl.jpeg'
fname_font = 'SourceHanSerifK-Light.otf'
2. 文本处理
这一步的主要目的是将一篇文章转化为一个"词频"表 (字典 dict).
2.1 读取文本
首先, 我们得读取一篇文章, 以及停用词表:
# read in texts (an article)
text = open(fname_text, encoding='utf8').read()
# Chinese stop words
STOPWORDS_CH = open(fname_stop, encoding='utf8').read().split()
初学者需要注意以下几点:
open(filename, encoding='utf8')命令打开一个文件, 且encoding='utf8'告诉计算机该文件的编码方式是 ‘utf-8’, 如果没有这个设定, 会导致中文字符乱码.- 对打开的文件,
.read()操作会返回一个字符串. 因此代码中的text是字符串类型. - 最后一行中的
.split()操作将字符串 (按照空格, tab\t, 换行符\n) 分割成了一系列字符串, 因此STOPWORDS_CH是一个由字符串组成的列表list.
2.2 分词和过滤
首先用 jieba.cut(text) 函数将字符串 text 分割成一个个词或词组 (该函数返回的是一个’生成器 generator), 然后对里面的每一个词, 过滤掉没有意义的 ‘停用词’ (w not in STOPWORDS_CH), 最后只保留长度大于1的词组 (len(w) > 1).
# processing texts: cutting words, removing stop-words and single-charactors
word_list = [
w for w in jieba.cut(text)
if w not in STOPWORDS_CH and len(w) > 1
]
2.3 统计词频:
下面代码定义了一个函数, 输入一个词语列表, 输出保存每个词语出现频率的字典.
def count_frequencies(word_list):
freq = dict()
for w in word_list:
if w not in freq.keys():
freq[w] = 1
else:
freq[w] += 1
return freq
freq = count_frequencies(word_list)
当然也可以利用 pandas.value_count() 函数来计算, 以下代码与上面等价:
import pandas as pd
freq = pd.value_counts(word_list).to_dict()
3. 制作并画出词云
3.1 默认颜色
首先用 WordCloud() 建立一个词云的对象, 并设置好初始参数 (字体的路径). 然后基于刚刚建立的词频生成词云.
wcd = WordCloud(font_path=fname_font)
wcd.generate_from_frequencies(freq)
词云做好之后, 怎么看呢? 需要三行代码:
ax.imshow(wcd)
ax.axis("off")
plt.show()
当然我个人习惯性把常用代码打包:
def plt_imshow(x, ax=None, show=True):
if ax is None:
fig, ax = plt.subplots()
ax.imshow(x)
ax.axis("off")
if show: plt.show()
return ax
plt_imshow(wcd)
3.2 设置背景颜色
我们可以通过修改参数 background_color 来设置背景颜色, 比如把背景改成白色:
wcd = WordCloud(font_path=fname_font,
background_color='white',
)
plt_imshow(wcd)
3.3 从图片提取颜色
我们也可以选择自己喜欢的图片作为背景色:
- 首先读取图片, 将其转化为 RGB 数组;
- 然后用
ImageColorGenerator从中提取颜色, 它会得到一个颜色生成器, 依照每个词所占的矩形区域的颜色平均来确定改词最终的颜色.
# processing image
im_mask = np.array(Image.open(fname_mask))
im_colors = ImageColorGenerator(im_mask)
准备好了, 生成词云. 相比上面代码有两处修改:
- 设置图片底板
mask=im_mask; - 重新对每个词染色
wcd.recolor(color_func = im_colors)
wcd = WordCloud(font_path=fname_font,
background_color='white',
mask=im_mask,
)
wcd.generate_from_frequencies(freq)
wcd.recolor(color_func = im_colors)
ax = plt_imshow(wcd,)
看效果吧~
如果想要保存图片:
ax.figure.savefig(f'conbined_wcd.png', bbox_inches='tight', dpi=150)
bbox_inches='tight'可以确保你保存的图片形状合适.
当然, 我们还可以来个拼图:
fig, axs = plt.subplots(1, 2)
plt_imshow(im_mask, axs[0], show=False)
plt_imshow(wcd, axs[1])
保存图片:
fig.savefig(f'conbined_wcd.png', bbox_inches='tight', dpi=150)
完整代码
import numpy as np
from wordcloud import WordCloud, ImageColorGenerator#, STOPWORDS
import matplotlib.pyplot as plt
from PIL import Image
import jieba # cutting Chinese sentences into words
def plt_imshow(x, ax=None, show=True):
if ax is None:
fig, ax = plt.subplots()
ax.imshow(x)
ax.axis("off")
if show: plt.show()
return ax
def count_frequencies(word_list):
freq = dict()
for w in word_list:
if w not in freq.keys():
freq[w] = 1
else:
freq[w] += 1
return freq
if __name__ == '__main__':
# setting paths
fname_text = 'texts/article.txt'
fname_stop = 'stopwords/hit_stopwords.txt'
fname_mask = 'pictures/owl.jpeg'
fname_font = 'SourceHanSerifK-Light.otf'
# read in texts (an article)
text = open(fname_text, encoding='utf8').read()
# Chinese stop words
STOPWORDS_CH = open(fname_stop, encoding='utf8').read().split()
# processing texts: cutting words, removing stop-words and single-charactors
word_list = [
w for w in jieba.cut(text)
if w not in STOPWORDS_CH and len(w) > 1
]
freq = count_frequencies(word_list)
# processing image
im_mask = np.array(Image.open(fname_mask))
im_colors = ImageColorGenerator(im_mask)
# generate word cloud
wcd = WordCloud(font_path=fname_font, # font for Chinese charactors
background_color='white',
mode="RGBA",
mask=im_mask,
)
#wcd.generate(text) # for English words
wcd.generate_from_frequencies(freq)
wcd.recolor(color_func = im_colors)
# visualization
ax = plt_imshow(wcd,)
ax.figure.savefig(f'single_wcd.png', bbox_inches='tight', dpi=150)
fig, axs = plt.subplots(1, 2)
plt_imshow(im_mask, axs[0], show=False)
plt_imshow(wcd, axs[1])
fig.savefig(f'conbined_wcd.png', bbox_inches='tight', dpi=150)
标签：中文,plt,Python,mask,词云,wcd,fname,ax,freq 来源： https://blog.csdn.net/weixin_39166189/article/details/113826201
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。