Kapitel 22. Zend_Search

Inhaltsverzeichnis

22.1. Überblick
22.1.1. Einführung
22.1.2. Dokumenten- und Feldobjekte
22.1.3. Verstehen der Feldtypen
22.2. Indexerstellung
22.2.1. Einen neuen Index erstellen
22.2.2. Indexaktualisierung
22.2.3. Dokumente aktualisieren
22.2.4. Retrieving Index size
22.2.5. Indexoptimierung
22.2.6. Einschränkungen
22.3. Einen Index durchsuchen
22.3.1. Abfrage erstellen
22.3.2. Suchergebnisse
22.3.3. Ergebnisgewichtung
22.3.4. Sortierung der Suchergebnisse
22.4. Query Language
22.4.1. Terms
22.4.2. Fields
22.4.3. Term Modifiers
22.4.4. Proximity Searches
22.4.5. Boosting a Term
22.4.6. Boolean Operators
22.4.7. Grouping
22.4.8. Field Grouping
22.4.9. Escaping Special Characters
22.5. Query Construction API
22.5.1. Query Parser Exceptions
22.5.2. Begriffsabfrage
22.5.3. Mehrfache Begriffsabfrage
22.5.4. Phrasenabfrage
22.6. Zeichensatz.
22.6.1. Unterstützung für UTF-8 und Zeichensätze mit einzelnen Bytes.
22.6.2. Default text analyzer.
22.6.3. UTF-8 compatible text analyzer.
22.7. Erweiterbarkeit
22.7.1. Textanalyse
22.7.2. Filtern von Tokens
22.7.3. Algorithmen für Punktwertermittlung
22.7.4. Storage Container
22.8. Zusammenarbeit Mit Java Lucene
22.8.1. Dateiformate
22.8.2. Indexverzeichnis
22.8.3. Java Quellcode
22.8.4. Verwendung von LuceneIndexCreation.jar

22.1. Überblick

22.1.1. Einführung

Zend_Search_Lucene ist eine komplett in PHP 5 geschriebene Textsuchmaschine für viele Zwecke. Da es seinen Index im Dateisystem ablegt und keinen Datenbankserver erfordert, kann es eine Suchfunktion für nahezu jede auf PHP basierende Website bereitstellen. Zend_Search_Lucene unterstützt die folgenden Funktionalitäten:

  • Klassifizierte Suche - die besten Ergebnisse werden zuerst zurückgegeben

  • Viele mächtige Abfragearten: Phrasensuche, Platzhaltersuche, Näherungssuche, Bereichssuche und mehr [8]

  • Suche anhand eines bestimmten Feldes (z.B. Titel, Autor, Inhalt)

Zend_Search_Lucene wurde abgeleitet vom Apache Lucene Projekt. Für weitere Informationen über Lucene, besuche http://lucene.apache.org/java/docs/.

22.1.2. Dokumenten- und Feldobjekte

Für die Indizierung verarbeitet Zend_Search_Lucene Dokumente als atomare Einheiten. Ein Dokument wird in benannte Felder unterteilt und diese Felder enthalten Inhalte, die durchsucht werden können.

Ein Dokument wird durch ein Zend_Search_Lucene_Document Objekt abgebildet und dieses Objekt enthält Zend_Search_Lucene_Field Objekte, welche die Felder abbilden.

Es ist wichtig zu beachten, dass dem Index jegliche Informationen hinzugefügt werden können. Anwendungsspezifische Informationen oder Metadaten können in den Dokumentfeldern gespeichert und später bei der Suche aus dem Dokument zurückgeholt werden.

Es liegt in der Verantwortung deiner Anwendung, den Indexer zu kontrollieren. Das bedeutet, dass die Daten aus jeder Quelle indiziert werden können, die von deiner Anwendung aus ansprechbar ist. Zum Beispiel könnten dies das Dateisystem, eine Datenbank, ein HTML Formular, usw. sein.

Die Zend_Search_Lucene_Field Klasse stellt verschiedene statische Methoden zum Erstellen mit unterschiedlichen Charakteristika bereit:

<?php
$doc = new Zend_Search_Lucene_Document();

// Feld wird nicht in Token aufgeteilt, aber indiziert und im Index
// gespeichert. Die gespeichertern Felder können aus dem Index 
// abgerufen werden.
$doc->addField(Zend_Search_Lucene_Field::Keyword('doctype', 
                                                 'autogenerated'));

// Feld wird weder in Token aufgeteilt noch indiziert, aber im Index
// gespeichert. 
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('created', 
                                                   time()));

// Feld mit einer binären Zeichenkette, die weder in Token aufgeteilt 
// noch indiziert, aber im Index gespeichert wird.
$doc->addField(Zend_Search_Lucene_Field::Binary('icon', 
                                                $iconData));

// Feld wird in Token aufgeteilt und indiziert und im Index gespeichert.
$doc->addField(Zend_Search_Lucene_Field::Text('annotation', 
                                              'Document annotation text'));

// Feld wird in Token aufgeteilt und indiziert, aber nicht im Index 
// gespeichert.
$doc->addField(Zend_Search_Lucene_Field::UnStored('contents', 
                                                  'My document content'));

?>

Each of these methods (excluding Zend_Search_Lucene_Field::Binary() method) has optional $encoding parameter. It specifies input data encoding.

Encoding may differ for different documents as well as for different fields within one document:

<?php
$doc = new Zend_Search_Lucene_Document();
$doc->addField(Zend_Search_Lucene_Field::Text('title', $title, 'iso-8859-1'));
$doc->addField(Zend_Search_Lucene_Field::UnStored('contents', $contents, 'utf-8'));
?>

If encoding parameter is omitted, then current locale is used at processing time. For example:

<?php
setlocale(LC_ALL, 'de_DE.iso-8859-1');
...
$doc->addField(Zend_Search_Lucene_Field::UnStored('contents', $contents));
?>

Fields are always stored and returned from index in UTF-8 encoding. Conversion to UTF-8 proceeds automatically.

Text analyzers (see below) may also convert text to some other encodings. Actually, default analyzer converts text to 'ASCII//TRANSLIT' encoding. Be care with this, such translation may depend on current locale.

Fields' names are defined only by your own choice.

Java Lucene verwendet das "contents" Feld für die Suche als Standardfeld. Zend_Search_Lucene durchsucht standardmäßig alle Felder, aber dieses Verhalten kann auch verändert werden. Für Details siehe das "Standradsuchfeld" Kapitel.

22.1.3. Verstehen der Feldtypen

  • Keyword (Stichwort) Felder werden gespeichert und indiziert, was bedeutet, dass sie sowohl durchsucht als auch in Suchergebnissen angezeigt werden können. Sie werden nicht in einzelne Worte (Tokens) zerteilt. Datenbankfelder für Aufzählungen lassen sich normalerweise leicht in Keyword Felder für Zend_Search_Lucene überführen.

  • UnIndexed (unindizierte) Felder sind nicht durchsuchbar, werden aber bei Suchtreffern zurückgegeben. Datenbank Zeitstempel, Primärschlüssel, Pfade des Dateisystems und andere externe Identifikatoren sind gute Kandidaten für UnIndexed Felder.

  • Binary (binäre) Felder werden nicht in Token aufgeteilt und indiziert, aber für die Rückgabe bei Suchtreffern gespeichert. Sie können für die Speicherung aller Daten, die als binäre Zeichenkette kodiert sind, verwendet werden, wie z.B. eine Grafiksymbol.

  • Text Felder werden gespeichert, indiziert und in Token aufgeteilt. Text Felder sind geeignet für die Speicherung von Informationen wie Themen und Überschriften, die sowohl durchsuchbar sein müssen, als auch in Suchergebnissen zurückgegeben werden müssen.

  • UnStored (nicht gespeicherte) Felder werden in Token aufgeteilt und indiziert, aber nicht im Index gespeichert. Umfangreiche Texte werden am besten durch diesen Feldtyp indiziert. Gespeicherte Daten benötigen einen größeren Index auf der Festplatte, wenn du also Daten nur durchsuchbar aber nicht wieder ausgegeben haben musst, verwende ein UnStored Feld. UnStored Felder sind geeignet, wenn ein Zend_Search_Lucene Index in Kombination mit einer relationalen Datenbank verwendet wird. Du kannst große Datenfelder mit UnStored Feldern für die Suche indizieren und sie aus der relationalen Datenbank durch die Verwendung eines seperaten Feldes mithilfe eines Identifikatoren zurückholen.

    Tabelle 22.1. Zend_Search_Lucene_Field Typen

    Feldtyp Gespeichert Indiziert In Token aufgeteilt Binär
    Keyword Ja Ja Nein Nein
    UnIndexed Ja Nein Nein Nein
    Binary Ja Nein Nein Ja
    Text Ja Ja Ja Nein
    UnStored Nein Ja Ja Nein


[8] Derzeit werden Abfragen für einzelne und mehrere Begriffe, für Phrasen, für boolesche Ausdrücke und Unterabfragen unterstützt.