Linux上运行CRF++0.58,测试的文本过大时，没有model文件生成

小小小小郁 2018-03-07 06:31:02

如题，文本有24M，近180万的数据量，运行命令：crf_learn -f 8 -c 1.5 template msr_training.01.crf.txt model_file 之后

会出现这种情况，也不生成model了，面对1M大小的文件基本上是没有问题的，有大佬为我来解释下是为什么吗。。。使用的是Ubuntu14.04 ,内存是4个G

...全文

1154 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

LEOlws 2019-07-23

打赏
举报

我用的个人电脑，只能将语料库控制在10W行，2个特征才行，关键是他没抛什么错误信息出来啊

qq_36573282 2019-03-22

打赏
举报

二楼的应该是特征太多了，-f 参数提高一下，减少特征数就可以了

飞翔的猪哥 2019-01-15

打赏
举报

CPU不够用，扔到服务器上。

qq_26720653 2018-12-10

打赏
举报

我也遇到到过楼主一样的错误，我的解决方案可以参考一下 number of sentences:1 这里应该是语料没有处理好，数量不应该是1，在句子和句子之间应该也要换行隔开二楼的错误跟咱们不一样你那是迭代一轮后退出，网上有帖子说解决办法是加参数

weixin_39671803 2018-06-13

打赏
举报

.. 14700.. 14800.. 14900.. 15000.. 15100.. 15200.. 15300.. 15400.. 15500.. 15600.. 15700.. 15800.. 15900.. 16000.. 16100.. 16200.. 16300.. 16400.. 16500.. 16600.. 16700.. 16800.. 16900.. 17000.. 17100.. 17200.. 17300.. 17400.. 17500.. 17600.. 17700.. 17800.. 17900.. 18000.. 18100.. 18200.. 18300.. 18400.. 18500.. 18600.. 18700.. 18800.. 18900.. 19000.. Done!41.93 s Number of sentences: 19054 Number of features: 2159868 Number of thread(s): 1 Freq: 3 eta: 0.00010 C: 4.00000 shrinking size: 20 iter=0 terr=0.67958 serr=1.00000 act=2159868 obj=2531994.56328 diff=1.00000

weixin_39671803 2018-06-13