中文短句相似度匹配方法?

标准问句:延安路11号
语句一:延安路11号1单元101室
语句二:北京市延安路13号
语句二:上海黄浦区延安东路11号
如何计算 标准问句 与下面各个语句之前的相似度,并且匹配到最相似的一句?(最好能用python实现)

一、原始落后的VSM
网上搜索关键词“短文本 相似度”,出来的结果基本上都是以BOW(Bag of words)的VSM方案,大致流程如下:

分词 —> 提取关键词 —> 计算tf或if-idf,以向量的形式替换原文本 —> 文本相似度的问题转变为计算向量相似度
一开始这样的一个思路,很清晰明了,而且网上相应的资料也很多,然后就开搞吧。

1、把所有短文本去掉标点符号,用jieba分词分好词,去除停用词,得到分好的文本;

2、按一定规则抽取特征词汇,作为后期向量的每一维;

3、用sklearn库中的原生方法CountVectorizer、TfidfVectorizer等得到矩阵;

4、每个短文本计算对应得到的向量,采用K-Means聚类的方法进行非监督学习。

文本分类的大致思路基本上就如上所述,具体的细节调整就视实际情况而定。然而,想法是美好的,现实是残酷的,全部分好词的文本,抽取的特征词较多,即向量的维度较大,且向量是稀疏的,在使用K-Means时,会出现有个别cluster下的文本数量特别大;
温馨提示:答案为网友推荐,仅供参考
第1个回答  2020-06-08
描写春节的词语。
喜气洋洋,万事如意。恭喜发财。一帆风顺。
第2个回答  2020-06-08
中国电锯相似的匹配方法,按照上面一个设定直接去做,我觉
第3个回答  2020-06-08
中文短句相似度匹配方法,他的匹配方法是很多的
第4个回答  2020-06-08
中文短句相似度的匹配方法有很多。