Die Suchmaschine ht://dig konfigurieren

wilhelm.moser@demos.at

Artikel download htdig_config.zip ( 6 kb)

 

Abstract

Die SerachEngine htdig indiziert Webseiten und erstellt eine Suchdatenbank die dann auf Anfrage Seiten a là www.google.at liefert. Dieses Dokument beschreibt die Konfiguration der Search Engine htdig-3.2.0-2 unter RedHat 7.2.

 

Funktionsbeschreibung

Das Erstellen der Datenbank

Erstellen Sie ein Verzeichnis auf ihrem Webspace. Z.B. /home/www/hosts/www.mydomain.at/html/search und
ein Verzeichnis /home/www/hosts/www.mydomain.at/html/search/db

Nennen Sie bitte das Verzeichnis NICHT htdig.

Die htdig_mydomain.conf erstellen

Erstellen Sie eine Kopie der in /etc vorhandenen htdig.conf. Nachstehend die wesentlichen Parameter  zur Erstellung einer Datenbank mit "relativem" Suchpfad.

database_dir: /home/www/ssl/private/research/search/db
start_url: http://www.mydomain.at/Digresearch diese URL wurde zum erstellen der Datenbank am Webserver als HTTP zu einem eigentlich HTTPS Webspace gemappt
limit_urls_to: ${start_url}
exclude_urls: /cgi-bin/ .cgi /search/ Die Suche soll nicht das Suchdatenbankverzeichnis durchsuchen. Passiert anhand der Dateiendungen ohnehin nicht aber "safety first"
url_part_aliases: http://www.mydomain.at/Digresearch *site Achtung: hier erfolgt ein REWRITE der URL!!! String1 wird in der Datenbank mit dem REWRITE String2 ersetzt. Das heißt aber dass zum Suchen eine eigene htsearch_mydomain.conf erstellt werden MUSS! Wenn Sie die Direktive url_part_aliases nicht verwenden können Sie die gleiche conf auch zum Suchen verwenden!
maintainer: root@localhost Sie sollten hier Ihre email Adresse eintragen.

Die anderen Direktiven der default htdig.conf können unverändert bleiben.

 

Die Datenbank erstellen

Starten Sie /usr/bin/htdig wie folgt htdig  -c /etc/htdig_mywebspace.conf

Das Abfragen der Datenbank

 

Die htsearch_mydomain.conf erstellen