标签：CentOS -- boost arpa kenlm test 安装
注意：下面缺少任何一个依赖包都不能安装成功，建议在线安装，让系统自动配置。CentOS和Ubuntu安装的包有所不同
Linux中离线下载软件包网站，主要提供RPM包：https://rpm.pbone.net/ ，https://pkgs.org/
1、安装boost
yum install boost-devel boost-test boost
如果boost的依赖包没有安装完整，安装过程中可能会出现以下错误
/usr/share/cmake/Modules/FindBoost.cmake:1138 (message): Unable to find the requested Boost libraries
2、安装 zlib、bzip2和xz
yum install zlib bzip2 xz
3、安装cmak和make
yum install cmake make
4、安装kenlm
kenlm介绍
http://kheafield.com/code/kenlm/
下载kenlm
将kenlm-master.zip下载到/usr/local目录下
解压zip
unzip kenlm-master.zip
重新命名为kenlm
mv kenlm-master kenlm
进入kenlm
cd kenlm
建立目录
mkdir bulid
进入bulid，使用cmake编译，生成程序库
cmake ..
接着进行make编译
make
5、安装kenlm的python安装包
进入kenlm
python setup.py install
6、简单使用
6.1 数据
test数据，注意词必须要用空格隔开
test
河南大学 真棒
中国 人民 我 爱 你
北京 欢迎 您
6.2 训练模型 训练模型，输出的模型为test.arpa
注意：lmplz是在bulid的bin目录下，不是在kenlm下，“<”表示将文件作为命令的参数输入，“>”表示输出到指定文件
bin/lmplz -o 3
也可以使用如下命令
bin/lmplz -o 3 --verbose_header --text test --arpa test.arpa
如果出现下面问题，添加--discount_fallback参数，即 bin/lmplz -o 3 --discount_fallback test.arpa
Could not calculate Kneser-Ney discounts for 3-grams with adjusted count 4 because we didn't observe any 3-grams with adjusted count 3; Is this small or artificial data?
Try deduplicating the input. To override this error for e.g. a class-based model, rerun with --discount_fallback
6.3 使用python
test.py
import kenlm
model = kenlm.Model('test.arpa')
print(model.score('中国', bos=False, eos=False))
原文链接：https://blog.csdn.net/make_progress/article/details/107517552
标签：CentOS,--,boost,arpa,kenlm,test,安装 来源： https://www.cnblogs.com/Uriel-w/p/15528765.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。