标签：java text utf-8 special-characters string

我有一堆输入数据,有时我会得到一些垃圾字符,例如：

âDots Baby Shower Invitationsâ

显然,在过去的某个时刻它是“Dots Baby Shower Invitations”.但是它出现了乱码.我很乐意在这种情况下删除垃圾characters字符.

但是我的数据集非常大,只删除所有非英文字符可能有些天真,就像naïve这个词一样.我当然不希望ï被删除.

那么这个问题是否有潜在的自动化解决方案？这个问题有人来找我吗？这是“计算机不如人类聪明”的情况吗？

解决方法:

您可以使用像WordNet这样的英语词典,只修改那里找不到的词.
例如,naïve包含一个“奇怪”的字符,但是在字典中,所以它不会被改变. â€另一方面,还包含一个奇怪的字符,但不会(希望)在字典中,所以它将被修改,â将被删除.

这可能是太多的努力,但正如你所说,你需要一个快速的工作解决方案,也许它值得一试……而且它可能会更好地用于快速入侵的启发式操作！

标签：java,text,utf-8,special-characters,string
来源： https://codeday.me/bug/20190709/1411833.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。