标签：text-mining python scikit-learn data-mining nltk

我想从文本中获取最相关的单词以准备标签云.

我使用scikit-learn包中的CountVectoriser：

cv = CountVectorizer(min_df=1, charset_error="ignore",
    stop_words="english", max_features=200)

这很好,因为它给了我的话和频率：

counts = cv.fit_transform([text]).toarray().ravel()
words = np.array(cv.get_feature_names())

我可以过滤非频繁的单词：

words = words[counts > 1]
counts = counts[counts > 1]

以及单词,即数字：

words = words[np.array(map(lambda x: x.isalpha(), words))]
counts = counts[np.array(map(lambda x: x.isalpha(), words))]

但它仍然不完美……

我的问题是：

>如何过滤掉动词？
>如何完全去除词干以摆脱不同形式的同一个词？
>如何调用CountVectoriser来过滤掉两个字母的单词？

还请注意：

>我对nltk很好,但回答“你应该尝试nltk”不是答案,请给我一个代码.
>我不想使用贝叶斯分类器和其他需要训练模型的技术.我没有时间,我没有训练分类器的例子.
>语言是英语

解决方法:

1-如何过滤掉动词？

取决于您要支持的语言.你需要一个好的句子单词标记器对和一个词性标记器.所有这三个组件通常都是使用机器学习模型实现的(尽管您可以使用基于规则的句子和单词标记器获得良好的结果).如果你只想支持英语,你可以在nltk找到预先训练过的模型,但我不是专家,你必须阅读文档和教程:)

一旦你知道如何将文本分成句子和单词,并识别和删除动词,你可以将其包装为python函数并将其传递给CountVectorizer构造函数,请参阅下文.

2-如何完全去除词干以消除同一个词的不同形式？

您必须将可调用的自定义标记生成器python传递给CountVectorizer构造函数,以同时处理标记提取,词干化和可选的过滤.这在documentation中有解释.

对于词干本身,它取决于你想要支持的语言,但你可以从http://nltk.org/api/nltk.stem.html开始

有一个拉动请求,使插入一个词干分析器更自然：

https://github.com/scikit-learn/scikit-learn/pull/1537

3-如何调用CountVectorizer过滤掉两个字母的单词？

您可以更改用于标记化的默认正则表达式：

>>> from sklearn.feature_extraction.text import CountVectorizer
>>> CountVectorizer().token_pattern
u'(?u)\\b\\w\\w+\\b'
>>> CountVectorizer(token_pattern=u'(?u)\\b\\w{3,}\\b').build_tokenizer()(
...    'a ab abc abcd abcde xxxxxxxxxxxxxxxxxxxxxx')
['abc', 'abcd', 'abcde', 'xxxxxxxxxxxxxxxxxxxxxx']
>>> CountVectorizer(token_pattern=u'(?u)\\b\\w{3,9}\\b').build_tokenizer()(
...     'a ab abc abcd abcde xxxxxxxxxxxxxxxxxxxxxx')
['abc', 'abcd', 'abcde']

但在您的情况下,您可能希望将标记生成器整体替换.你仍然可以看看source of the default implementation.

但需要注意的一点是：要构建标签云,直接使用nltk和python标准库中的collections.Counter类可能要容易得多. sklearn对此任务没有太多帮助.

标签：text-mining,python,scikit-learn,data-mining,nltk
来源： https://codeday.me/bug/20190825/1723871.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。