Wenn Sie nachsehen möchten, ob Google Ihre Webseite zumindest schon gelistet hat, auch wenn Sie noch nicht in den TOP10 der Suchmaschinen steht, dann können Sie als Suchbegriff Ihre Domain mit einem site: davor eingeben.

Z.B. site:www.konsequent.com dann sehen Sie, welche Seiten mit welcher Beschreibung bei Google eingelesen wurden.

So können Sie auch feststellen, ob Dokumente, die nicht bei Google gefunden werden sollten, evtl. doch von den Suchmaschinenrobotern erfasst wurden.

Um Verzeichnisse vor Suchrobotern zu schützen, kann man eine robots.txt im root-Verzeichnis Ihrer Webseite anlegen. Darin wird den Suchrobotern vorgeschlagen, welche Verzeichnisse sie nicht erfassen sollten. Dies wird meist von den Suchrobotern befolgt.

Dokumente auf die nur bestimmte Personen oder -gruppen Zugriff haben sollten, kann man mit einer htaccess Datei schützen, so dass man einen Benutzername und Passwort eingeben muss, um sich die Daten in dem Verzeichnis anzeigen zu lassen.