Tokenanalyse

Bei der Indexierung verarbeitet Net Search Extender einen Dokumenttext wie folgt, wobei der Text in Token (lexikalische Einheiten) zerlegt wird.