 |
FDSE deutsche Hilfe | englische Hilfe |
|
| [ Hilfe: Inhaltsverzeichnis ] |
| Wie können Sie Seiten daran hindern indiziert zu werden. | ||
|
FDSE respektiert die Roboter Ausschlußstandards. Dieser Standard wird verwendet um Spider daran zu hindern Seiten oder Ordner zu indizieren die nicht in den Spider aufgenommen werden sollen. Die Datei "robots.txt" steht im Spitzenordner Ihrer Hompage. Das Format der Datei besteht aus ein oder mehreren "User Agent" Headern gefolgt von den Pfaden die dem Spider verboten werden sollen. Hier ist ein Beispiel: User Agent:User-Agent: * Disallow: /secret/ User-Agent: BadGuy Disallow: / User-Agent: FDSE Disallow: /logs/ Disallow: /cgi-bin/
Sehen Sie my robots.txt Datei für ein anderes Beispiel oder besuchen Sie die unten verbundene Standardhomepage. Die robots.txt Datei kennzeichnet Abschnitte eines Standorts von Grenzen als auf der User AgentenString basierend. Der FDSE Crawler hat eine variable User AgentenString die angepaßt werden kann an "Admin Page" = > "General Settings" = > "Crawler: User Agent". Wenn er eine robots.txt Datei syntaktisch analysiert respektiert der Parser jeden Abschnitt dessen User Agent Label paßt oder der " Crawler: User Agent " String 'FDSE' oder String '*'. Der Parser
verwendet einen Fall unempfindliches substring match. Abwechselnd können
Sie Zugang zu einem einzelnen Dokument verbieten, ein Metaschild zu verwenden.
Die Unterstützung des Roboter Ausschlußstandards können Sie ausschalten unter "User Interface " - "General Settings " Einstellung" Crawler: Gauner "zu 1, Sehen Sie auch: Wie können Sie Seiten verbieten Sehen
Sie auch:
den Roboter Ausschlußstandard |
||