Word similarity

• Path based measures
  • Path distance similarity
  • Wu-Palmer similarity
• Information-content measures
  • Resnik similarity

Similarità

Metrica abbastanza lasca. Due parole sono simili se condividono una o più feature.

Path based measures

Due concetti sono simili se sono vicini nella gerarchia del thesauro. I concetti hanno una distanza di 1 da se stessi.

Path distance similarity

Basato sul cammino più breve che collega i sensi nella tassonomia “is-a” $si{m}_{pd}(c_1,c_2)=\frac{1}{shortest\_path(c_1,c_2)+1}$

Wu-Palmer similarity

Basato sulla profondità dei due sensi nella tassonomia e quella del Least Common Subsumer (anchestor più specifico). $si{m}_{wu-pal}(c_1,c_2)=2\times \frac{depth(LCS(c_1,c_2))}{depth(c_1)+depth(c_2)}$

Information-content measures

La similarità tra due sensi è relazionata alle informazioni comuni. Più i due sensi hanno in comune, più sono simili.

$P(c)$ è la probabilità che una parola selezionata randomicamente da un corpus, sia una istanza del concetto $c$.

Information content: $IC(c)=-\log P(c)$ L’information content è alto quando $c$ è un senso raro, mentre è basso quando $c$ è un senso frequente.

Resnik similarity

Resnik similarity

Si basa sull’information content del Lowest common subsimer, ovvero il nodo più specifico dell’ancestor.

$si{m}_{resnik}(c_1,c_2)=-\log P(LCS(c_1,c_2))$