设为首页 - 加入收藏 织梦模板之家(Mubanzhijia.Com),专注织梦模板设计制作!
热搜: 联合国 宏观调控 叙利亚局势 体系
广告位
当前位置: 主页 > 太阳城赌场网址 >

基于信息熵和互信息的新词识别

2018-07-16 23:07 [太阳城赌场网址] 来源于:澳门太阳城官网
导读:本新词发现模块已经集成到HanLP中开源。本文是《基于互信息和左右信息熵的短语提取识别》的姊妹篇,文如其名,没

新词识别.jpg

本新词发现模块已经集成到HanLP中开源。

本文是《基于互信息和左右信息熵的短语提取识别》的姊妹篇,文如其名,没什么新意。

谈起“新词识别”“新词发现”,有许多论文慷慨陈词:要设计丰富的特征模板、建立训练语料库、引入CRF、ME、SVM、神经网络等模型并综合起来、在某某的基础上加入某种规则改进、最终在一个98年芝麻大小的训练集上训练出一个西瓜那么大的模型,并且在细菌大小的测试集上提高了2.33%的OOV识别率,展望未来,一定可以应用到更广阔的领域中。

可惜现实总是很残酷:既没有人力物力整理语料,服务器也只有绿豆大小的内存,放不下半个西瓜。

简单好用的方法有两个:

外部数据源

直接从输入法的词库抓,比如几千万级别的词库,或者写代码提取,如果业务系统中有用户的Query Log,也能充当不错的数据源。从这些数据源中做些筛选,大约可以解决80%的问题。

无监督新词识别

从外部数据源拿数据无法解决所有问题,比如需求的语境使用了很多非主流词语、人工筛选第三方数据费时费力等等。本文着重介绍一种利用了词语内部构词信息和外部构词信息的简单方法,参考了Moonshile的Python实现,用Java重写了一遍,并且对诸如一些参数的选取等细节进行额外说明。

词的定义

这是个因人而异的复杂问题,语言学上也许更加复杂,且对解决“新词识别”这个问题帮助不大。比如,“小提琴”究竟算是一个词,还是“小+提琴”两个词呢?“你好”到底是“你+好”还是“你好”呢?“不是”=“不+是”吗?事实上,一千个人有八百个标准,而每种答案对大众来讲都是可以理解的。许多分词语料库的标准也各不相同,然而有些分词器提供商将一些在A语料库上训练的开源分词器拿到自己私有的B语料库上跑benchmark,借以标榜自己的产品“准确率”有多高。且不说这些产品本身就在私有语料库上训练过的优势,普通用户其实根本不关心“你好”还是“你+好”这样的问题,然而这些问题的确会使“准确率”产生较大影响(因为常用词的分词标准不同,同时常用词的出现频率又大)。

对这么纠结的问题,不如回避它,将其置换为计算机能够处理的提问方式。

给定一段文本,随机取一个片段,如何判断这个片段是否是一个词呢?

如果这个片段左右的搭配很丰富,并且片段内部成分搭配很固定,则认为这是一个词。将这样的片段筛选出来,按照频率由高到低排序,排在前面的那些即为词语。如果文本足够大,再用通用的词典过滤掉“旧词”,就可以得到“新词”了。

内部凝聚力=互信息

片段的内部信息定义为:

片段的概率/(子序列概率的积)

如果将其取个对数,就得到了互信息:

片段可能有很多个子序列,将其互信息累加起来作为最终的“聚合度”。

比如“电影院”=“电+影院”+“电影+院”。

对于概率P的计算,比较模糊的是分母的取法。分母本应该是所有词的频次之和,Moonshile的Python实现取的是文档的长度,这的确可以度量所有片段的总频次,作为一个近似值,在实践中也能取得较好的效果。

外部搭配=左右信息熵

左右信息熵其实反映的是片段的外部信息,即这个片段是否有丰富的左右搭配。更详细的介绍请参考基于互信息和左右信息熵的短语提取识别,不再赘述。

效果测试

取最长备选片段长度为4,最低信息熵为0.4,最低互信息为lg100,按词频排序取前100,在一些语料上的测试结果如下:

西游记

[行者, 八戒, 师父, 三藏, 大圣, 唐僧, 沙僧, 菩萨, 和尚, 怎么, 妖精, 甚么, 悟空, 国王, 徒弟, 呆子, 闻言, 如何, 今日, 兄弟, 宝贝, 取经, 铁棒, 认得, 果然, 东土, 性命, 观看, 神通, 公主, 玉帝, 变作, 哥哥, 土地, 欢喜, 陛下, 太宗, 贫僧, 金箍, 变做, 爷爷, 模样, 多少, 十分, 兵器, 袈裟, 怪物, 变化, 手段, 近前, 往西, 唬得, 娘娘, 衣服, 猪八戒, 左右, 仔细, 吩咐, 金箍棒, 师徒们, 晓得, 奈何, 观音, 安排, 言语, 孙悟空, 钉钯, 叩头, 关文, 毫毛, 半空, 五百, 拜佛, 递与, 妖邪, 筋斗, 汝等, 抬头, 战兢兢, 径至, 许多, 孩儿, 扯住, 齐天大圣, 葫芦, 变变, 皇帝, 收拾, 小的们, 壁厢, 佛祖, 忍不住, 未曾, 往西天, 摇身, 玄奘, 造化, 本事, 白马, 揭谛]

红楼梦

(编辑:澳门太阳城官网)

相关内容
网友评论
推荐文章
广告位
广告位
广告位