IBM OmniFind Yahoo! Edition
Ãœberblick
Google & Co. haben Begehrlichkeiten auch bei Intranet-Anwendern geweckt: schnell und effektiv alle Daten und Dokumente finden, von denen man genau weiß, dass sie irgendwo auf irgendeiner Festplatte liegen müssen.
Während einerseits Enterprise-Suchlösungen hohe fünfstellige Beträge kosten, und sich andererseits eine Flut interessanter, aber letztendlich unflexibler und möglicherweise unsicherer und meist schwer zu wartender Desktop-Suchmaschinen ausbreitet, sieht IBM offensichtlich eine Lücke in der Mitte dazwischen: Eine leistungsfähige und kostenlose Server-basierte Suchmaschine. In dieser Nische positioniert IBM das kostenfreie OmniFind Yahoo! Edition (derzeit in Version 8.4.2).
Opensource-Technik unter der Haube
IBM OmniFind Yahoo! Edition (OYE) bedient sich dabei interessanterweise im Kern der Opensource-Suchengine Lucene und hat - im Gegensatz zu eher rohen Konkurrenzprojekten aus der quelloffenen Welt wie z.B. Apache Solr oder Nutch (Apache) - ganz offensichtlich die Strategie verfolgt, ein „rundes“ Produkt in die Welt zu setzen, das diese Bezeichnung verdient: Angefangen bei einer einfachen Installationsroutine für Windows und Linux (hier wahlweise auf Kommandozeile oder graphisch), über eine sehr aufgeräumte Browser-basierte Administrationsoberfläche bis hin zu einem API und einer umfassenden Dokumentation ist alles dabei, was man sich auf den ersten Blick von einem solchen Programm wünscht.
Die Software setzt neben Lucene auf das IBM UIMA Framework, einer Opensource-Technologie zur Analyse unstrukturierter Textinformationen. Außerdem werden eine Reihe proprietärer Komponenten - z.B. Lexika, Crawler, Sprachverarbeitungskomponenten usw. eingesetzt, so dass OYE nicht unter einer Opensource-Lizenz steht.
Installation
Praktischerweise bringt OYE die benötigte JVM gleich mit, so dass die Installation schnell gemeistert ist, wenngleich die Linux-Installation bisweilen einige kleine Überraschungen offenbaren kann. Zumindest wenn man nicht die offiziell unterstützten Enterprise-Varianten von Redhat und SUSE wählt, sondern beispielsweise einen Betrieb unter Debian bevorzugt, muss man mindestens noch bc sowie Libraries wie libstdc++5 und libgtk1.2 installieren, sonst ist unter Umständen schon direkt während der Installation Schluß. Es lohnt sich, bei der Installation direkt auch das Dictionary-Pack für internationale Sprachenunterstützung einzuspielen, damit den Anwendern sprachenbezogene Funktionen wie z.B. Vorschläge zur Sucheingabe bereitstehen.
Installation in der Linux-Shell
Administration
Unmittelbar nach der Installation läßt sich OYE als Dienst bzw. Daemon starten und kann über die URL http://<SERVER>/admin erreicht und konfiguriert werden. Über die teilweise mit Ajax gestaltete, benutzerfreundliche Oberfläche können Website-Adressen angemeldet werden, welche der integrierte Crawler besucht und indexiert.
Lokal eingehängte Windows-Verzeichnisse können gemäß Vorgaben nach Dokumenten in angeblich bis zu 200 gängigen Formaten durchsucht und verschlagwortet werden. Rätsel wirft diese in den Marketingunterlagen genannte Zahl angesichts des Admin-Handbuches auf, da dort ganze 23 Formate gelistet werden. Und darin fehlen dann zwangsläufig solche, die man inzwischen schon aufgrund von gängigen und ebenfalls kostenlosen Desktopsuchprogrammen erwartet, wie z.B. für verbreitete Mailformate oder die MS Office XML-Formate. Ebenso leider sämtliche Funktionen, um die Datenbanken von Standard-Enterpriseapplikationen wie z.B. Lotus Notes anzubinden und durchsuchbar zu machen - diese sind den Enterprise-Varianten von OYE vorbehalten. RSS-Feeds sind zwar nicht gelistet, können aber gecrawlt und durchsucht werden, jedoch werden dabei Metainformationen sowie „feldbezogene“ Suche nicht unterstützt.
Mittels einfacher Wildcards kann der Administrator Ausschlußregeln für den Spiderdienst definieren. Die Crawlerprozesse für Dateien und Websites können unabhängig gesteuert und überwacht werden.
Administration im Browser
Der Administrator kann außerdem Synonyme zu typischen Suchanfragen definieren, um bessere Suchergebnisse zu erzielen. Daneben steht lediglich noch die Möglichkeit bereit, in gewissen Grenzen die Rangfolge von Ergebnissen mittels dreier Parameter zu beeinflussen, wobei lediglich die bevorzugte Listung aktuellerer Dokumente speziell für Unternehmen relevant erscheint.
Tuning des Rankings
Für den Web-Crawler lässt sich eine Verzögerung frei konfigurieren, so dass ein Web-Server nicht durch die Aktivität von OmniFind YED überlastet wird. Sie lässt sich in der grafischen Administrationskonsole einfach festlegen (500 Millsekunden sind die Standardeinstellung, das entspricht einer Begrenzung auf zwei Anforderungen pro Sekunde).
Funktionen
Dem Anwender präsentiert sich OYE wie vom Internet gewohnt und auch die bekannten Suchoperatoren sind verwendbar. Dabei ist es möglich, die Optik in gewissen Grenzen - z.B. durch Einbindung des Unternehmenslogos - anzupassen. Interessant ist die Möglichkeit, „Sponsorenlinks“ einzupflegen, die den Anwendern bei Eingabe zuvor spezifizierter Suchanfragen als erste angezeigt werden.
Bekannte Ansicht für Anwender
Die Suche läuft sehr schnell und treffsicher, wobei auch das Ranking zumeist sinnvoll scheint. Schön ist, dass sämtliche nachgewiesenen Dokumente nicht nur im Original abrufbar sind, sondern auf Wunsch auch in einer automatisch erzeugten HTML-Ansicht dargestellt werden können.
Was Komfortfunktionen angeht, bleibt die Oberfläche weit hinter Desktopsuchprogrammen zurück. Immerhin dürfen Wildcard-Operatoren verwendet werden. In der erweiterten Suche lassen sich unter anderem gezielt Felder von Dokumenten als Suchbereiche definieren, ebenso wie eine Einschränkung auf bestimmte Dateiformate.
Bedenklich dürfte IT-Verantwortliche stimmen, dass benutzerbezogene Zugriffsrechte auf Dokumente nicht berücksichtigt werden, da der Crawler alles indexiert, worauf er Zugriff bekommt und der Index für alle Anwender offen ist.
Die Version 8.4.2 führt die Unterstützung für Dokument-Kollektionen ein, so dass sich der Index partitionieren lässt. Benutzer können damit gezielt in bestimmten Datenquellen recherchieren. Außerdem ist nun die Feldsuche möglich: Der Administrator definiert anwenderspezifische Felder, die durch entsprechende meta-Elemente in HTML-Dokumenten befüllt werden. Schließlich gibt die neueste Version Auskunft über das Nutzungsverhalten und offenbart, welche Suchergebnisse am meisten geklickt wurden und welche Anfragen zu keinen befriedigenden Resultaten geführt haben.
Programmier-Schnittstellen
Erwähnenswert für die tiefere Integration der IBM-Suchtechnik in vorhandene Umgebungen, z.B. Intranets, ist die mitgelieferte API, die Funktionen sowohl über REST als auch über eine CLI zur Verfügung stellt. Über diese können Funktionen für Suche und Suchergebnisabruf sowie für Hinzufügen und Löschen von Indexeinträgen und für das Starten und Stoppen des Crawlers ausgelöst und somit in andere Applikationen integriert werden. Beispielsweise könnte man darüber OYE auch über fremde Crawler mit suchrelevanten Daten füttern. Für einen echten Unternehmenseinsatz fehlen jedoch definitiv Möglichkeiten, datenbankbasierende Systeme anzuschließen, um deren Daten zu indexieren.
Fazit
Insgesamt präsentiert IBM ein interessantes Produkt, welches einen zwiespältigen Eindruck hinterläßt. So stellt sich die Frage, für welche Unternehmen es tatsächlich gewinnbringend einsetzbar ist. Gerade das fehlende Rechtemanagement, die geringe Zahl an wichtigen Dateiformaten sowie die mangelnde Integrierbarkeit mit Datenhaltungssystemen verhindert zumindest den Einsatz in größeren Unternehmen. Kleinere Unternehmen können hingegen auf dieser Grundlage ohne Bedenken Desktopsuchprogramme substituieren, da mit OYE eine leistungsfähige serverbasierte Variante kostenfrei verfügbar ist. Voraussetzung ist allerdings, dass das Zugriffskonzept durch OYE nicht unterlaufen wird. Sämtliche gravierende Schwächen werden dabei aber von den Enterprise-Varianten von OYE eliminiert.
Verschiedene Kommentatoren 1) 2) werfen zu Recht die Frage nach der Absicht und Strategie von IBM im Hinblick auf OYE auf. Wesentlicher Antrieb dürfte sein, zum einen die Marke OmniFind breiter zu positionieren und bekannter zu machen und zum anderen durch das kostenlose Entree die Tür zum Enterprise-Sektor der IBM-Produkte zu öffnen. Auch Überlegungen, über Support und Dienstleistung zu verdienen, könnten eine Rolle spielen.
Systemvoraussetzungen
- Linux (offiziell SUSE und Redhat Enterprise, aber auch Debian funktioniert problemlos)
- Windows
- Webserver
- mind. 768 MB RAM (bei Installation geprüft), empfohlen 1 GB
- JVM wird mitgeliefert
- Rechner sollte dediziert sein
Wichtigste Eigenschaften
- kostenfrei, dabei auf max. 500.000 indexierte Dokumente begrenzt
- Rechtschreibkorrektur für 30 Sprachen
- Oberfläche in mehr als 15 Sprachen verfügbar
- Upgrade auf kostenpflichtige OmniFind Enterprise möglich
- HTML-Oberfläche individuell anpassbar
- kostenpflichtiger Support verfügbar
Übersicht: Stärken und Schwächen
Plus
- einfach zu installieren
- einfache Benutzung
- umfassende Suchunterstützung
- anpassbar, mit API - z.B. für Kommandozeilen-Nutzung im Batch, PHP-Integration
- gute Administration, sowohl graphisch als auch über CLI. Es wird konsequent auch den Bedürfnissen und Gewohnheiten typischer Linux-Admins Rechnung getragen.
Minus
- Bei der Dateisuche-/Indexierung werden die individuellen Dateirechte nicht berücksichtigt
- Crawler beherrscht keine Bandbreiten- oder CPU-Begrenzung
- keine integrierte Zeitsteuerung für den Crawler
- Beschränkung auf 500000 Dokumente
- Widersprüchliche Angaben zu unterstützten Dateiformaten
Weblinks
http://omnifind.ibm.yahoo.net/
IBM Blog zu OYE
IBM Artikel mit Beispielen für die OYE-API
Produktvergleich von 7 Suchmaschinen des Network Computing Onlinemagazins
— Autor des Beitrags: Andrej Radonic 22.9.2007, 17:27
