标签:mysql mediawiki wikipedia text-mining
对于某些文本挖掘应用程序,我需要识别英语维基百科中每篇文章的每个单词的频率,并使用该数据填充MySQL数据库. This official page建议在转储上使用mwdumper或xml2sql,但它们并不直接用于我的目的(除非有人可以解释它们如何).
另一方面,使用WikiExtractor,用于Python的MySQLdb和本地MySQL服务器,可以让我完全按照自己的意愿行事,但是要解析整个转储需要一个月的时间很慢.对修改后的WikiExtractor程序进行概要分析表明,大多数运行时都花费在它的嵌套正则表达式搜索和我的数据库插入中.
理想情况下,我不希望处理文章花费超过几天.我怎样才能有效地做到这一点?
解决方法:
Perl包MediaWiki::DumpFile非常适合解析.要加载转储并读取每个页面,您只需要几行代码.
要进行简单的字频计算,您可以使用sample code in Perl FAQ或Text::Ngrams软件包进行更智能的操作.
将结果添加到数据库取决于您,因为您正在开发应用程序,并且您应该知道需求.
标签:mysql,mediawiki,wikipedia,text-mining 来源: https://codeday.me/bug/20190629/1330391.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。