Zugriffsbeschränkung für Bots

Sehr oft scannen Suchmaschinenbots die Website ziemlich aggressiv und erzeugen damit eine erhöhte Last. Um die Indizierung zu stoppen, muss folgende Regel in der Datei robots.txt (im Stammverzeichnis der Website) festgelegt werden:

User-agent: *

Disallow: /

Diese Regel schließt das Scannen der Website durch Bots vollständig aus. Wenn der Zugriff auf die Website für das Scannen vollständig eingeschränkt wird, kann die Website in den Suchmaschinenergebnissen verschwinden.

1. Daher kann der Zugriff nur auf bestimmte Ordner, Links, Dateien und Erweiterungen mit der Direktive Disallow eingeschränkt werden.

Beispiele:

User-agent: *

Disallow: /directoria

User-agent: *

Disallow: /privatinfo.php

User-agent: *

Disallow: /privatpic.jpg

User-agent: *

Disallow: / *jpg$

Weitere Informationen zur Arbeit mit der Datei finden Sie in den Google-Anleitungen.

2. Der Zugriff kann auch über die Datei .htaccess auf bestimmte Seiten der Website eingeschränkt werden, wie in der Anleitung beschrieben.

Um den Zugriff von einer bestimmten IP-Adresse einzuschränken, reicht es aus, folgende Regel festzulegen:

Order Allow,Deny

Allow from all

Deny from ***.***.***.***

***.***.***.*** - ersetzen Sie durch die IP-Adresse. Die IP-Adresse kann ermittelt werden, indem Sie die Serverprotokolle im FTP im Ordner logs öffnen.

3. Um den Zugriff aus bestimmten Ländern außer den ukrainischen (zum Beispiel) IPs zu blockieren, kann die Anleitung verwendet werden.

4. Den Zugriff von Bots auf anfällige Seiten kann durch ein internes Captcha eingeschränkt werden, das im Abschnitt Hosting 2.0 - Websites - Sicherheit - GESCHÜTZTE SEITEN (CAPTCHA)*: gefunden werden kann.

*Standardmäßig ist das Captcha für die folgenden Seiten aktiviert:

 WP LOGIN PAGE : wp-admin, wp-login.php

JOOMLA ADMIN PAGE: /administrator, view=login

 JOOMLA REGISTER PAGE : view=registration

 OC ADMIN PAGE : /admin

MODX ADMIN PAGE: /manager

 PRESTA SHOP ADMIN PAGE: /Backoffice

 DRUPAL ADMIN PAGE : /user/login/

Die wichtigsten Punkte zur Arbeit mit robots.txt sind in unserem Blog beschrieben - https://cityhost.ua/blog/chto-takoe-robots-txt-kak-nastroit-robots-txt-dlya-wordpress.html