Unicode er overalt. Men noen steder er det fortsatt tryggest med det gode gamle ascii-tegnsettet, og i dette innlegget skal vi se på Unicode-normalisering som en vei dit.

Sist vi så på hvordan fulltekstsøk fungerer anså vi alle symbolene i indeksen som like viktige. Men sånn er det ikke alltid i praksis – eksempelvis er treff på hele ord bedre enn treff på bruddstykker av ord. Dette kan løses med vekting, som er dagens tema.

Tenk, hele Ibsens samlede verker er å finne i en boks med bokstavkjeks. Omtrent den tilnærmingen skal vi nå ta idet vi lager en liten søkemotor i JavaScript for å forstå hvordan fulltekstsøk funker.