正在使用python的一个分词模块：http://pypi.python.org/pypi/mmseg。
目前碰到一个问题就是添加诸如“T恤”和“Polo衫”的自定义词时，程序依然不能识别。分词结果：
T
恤
Polo
衫
目前碰到一个问题就是添加诸如“T恤”和“Polo衫”的自定义词时，程序依然不能识别。分词结果：
T
恤
Polo
衫
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 5441 days ago, the information mentioned may be changed or developed.
 |
1
args Nov 11, 2011
这个肯定事先作者没考虑到。直接暴力把中英文分开了。其实我的一个分词程序就是这么做的。。。。
|
 |
2
dreamersdw Nov 11, 2011
mmseg 是靠内置的单词表加启发算法实现中文分词的。
你可以先试试向 mmseg/data/words.dic 文件添加需要的词汇。要是还有问题的话，考虑自己修改源码吧。 |
Select Language