标签：python pandas text-mining

我正在开发一个文本挖掘项目,我正在尝试使用手动编写的字典替换文本中存在的缩写,俚语和互联网首字母缩略词(在数据框列中).

我面临的问题是代码在dataframe列中的第一个单词停止,并且不会用dict中的查找单词替换它

这是我使用的示例字典和代码：

abbr_dict = {"abt":"about", "b/c":"because"}

def _lookup_words(input_text):
    words = input_text.split()
    new_words = [] 
    for word in words:
        if word.lower() in abbr_dict:
            word = abbr_dict[word.lower()]
        new_words.append(word)
        new_text = " ".join(new_words) 
        return new_text
df['new_text'] = df['text'].apply(_lookup_words)

示例输入：

df['text'] =
However, industry experts are divided ab whether a Bitcoin ETF is necessary or not.

期望的输出：

df['New_text'] =
However, industry experts are divided about whether a Bitcoin ETF is necessary or not.

电流输出：

df['New_text'] =
However

解决方法:

你可以尝试如下使用lambda并与split一起连接：

import pandas as pd

abbr_dict = {"abt":"about", "b/c":"because"}

df = pd.DataFrame({'text': ['However, industry experts are divided abt whether a Bitcoin ETF is necessary or not.']})

df['new_text'] = df['text'].apply(lambda row: " ".join(abbr_dict[w] 
                             if w.lower() in abbr_dict else w for w in row.split()))

或者为了修复上面的代码,我认为你需要在for循环之外移动new_text和return语句的连接：

def _lookup_words(input_text):
    words = input_text.split()
    new_words = [] 
    for word in words:
        if word.lower() in abbr_dict:
            word = abbr_dict[word.lower()]
        new_words.append(word)
    new_text = " ".join(new_words) # ..... change here
    return new_text # ..... change here also
df['new_text'] = df['text'].apply(_lookup_words)

标签：python,pandas,text-mining
来源： https://codeday.me/bug/20190701/1346617.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。