Pewnemu użytkownikowi Chello z Lublina chyba tak bardzo spodobała się moja strona (teksty?), że postanowił sobie ją za pomocą programu HTTrack Website Copier zachować na swoim komputerze na przyszłość, może dla wnucząt ?! ;-)

W każdym razie ilością zapytań/odwiedzin/pobrań znacznie pobił wszelkie “automaty” z robotem Google na czele…

A, że strony nie zamierzam zamykać – szkoda by ów użytkownik niepotrzebnie zapychał sobie swoje łącze o dynamicznym IP, więc postanowiłem ponownie sięgnąć m.in. po reguły w pliku .htaccess.

Reguła w .htaccess blokująca HTTrack Website Copier  dostęp do strony

Reguła jest prosta, ale skuteczna:

SetEnvIfNoCase User-Agent .*HTTrack.* blokada_botow

order allow,deny
deny from env=blokada_botow
allow from all

Można też takiego “miłośnika” skierować do innej strony zamiast blokować dostęp:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC]
RewriteRule . http://jakaś-strona-www.pl [L,R=302]
</IfModule>

Jeśli Wam nie działa – sprawdźcie, czy macie aktywne odpowiednie moduły w konfiguracji serwera (Apache).

Blokada po adresie IP

Można też pokusić się o blokadę całego ruchu z danego IP:

Order allow, deny
Deny from 111.222.333.444
Allow from all

Choć  w tym wypadku – z racji dynamicznego IP – raczej nie wiele by to dało…

W Nginx też zablokujemy

W przypadku serwera opartego o Nginx tez możemy dokonać blokady, edytując plik vHosta:

sudo nano /etc/nginx/sites-enabled/default

I dodajemy w sekcji “server” np. taki wpis:

if ($http_user_agent ~* (HTTrack|AhrefsBot)) {
return 403;
}

I restart konfiguracji serwera:

sudo service nginx reload

Cloudflare, WordPress i Wordfence

Jako alternatywę i/lub dobre uzupełnienie polecam “schować stronę” za Cloudflare, w “ekstremalnych sytuacjach” możemy aktywować tryb “Jestem pod atakiem”:

A do strony opartej na WordPressie warto dodać np. wtyczkę Wordfence, która pozwoli nam dodatkowo zabezpieczyć nasza stronę…

[Aktualizacja 20140416]

Dziś podpadł mi kolejny bot/robot, więc i jego dosięgła blokada:

Reguła w .htaccess blokująca AhrefBot dostęp do strony

Standardowo – prosto i skutecznie:

SetEnvIfNoCase User-Agent .*AhrefsBot.* blokada_botow

order allow,deny
deny from env=blokada_botow
allow from all

Więc dla obu nieproszonych gości będzie to:

SetEnvIfNoCase User-Agent .*HTTrack.* blokada_botow
SetEnvIfNoCase User-Agent .*AhrefsBot.* blokada_botow

order allow,deny
deny from env=blokada_botow
allow from all