Web-Servern die custom error messages erlauben ist bei der "Not Found" Fehlermeldungen, der Crawler oft außerstande zwischen einer legitimen Seite und einer erloschenen zu unterscheiden "Not Found page".

Entsprechend dem HTTP-Standard gibt der Web-Server normalerweise den Statuscode zurück "404 Not Found" wenn eine Seite nicht existiert.

Jedoch leiten viele Web-Server den Besucher für ein separates Dokument um um den nicht gefundene Fehler zu beheben.

Um das zu schaffen gibt der Web-Server einen "302 Redirect" header gefolgt von einem "200 Okay" header zurück auf das letzten Dokument.

Auf der HTTP-Ebene wo der Crawler arbeitet ist dies nicht unterscheidbar von einer legitimen Umleitung zu einem gültigen Dokument.

Microsoft IIS hat diese Beschränkung mit "URL"-type custom messagesaber nicht mit Text redirect to a valid document

Apache hat diese Beschränkung wenn sich "URL"-type custom messages auf entfernten Servern, aber nicht für ("File"-type on IIS, local server on Apache) auf demselben Server befinden.