Dziś będzie o kolejnym (po .htaccess) istotnym przydatnym pliku, który powinien (a na pewno nie zaszkodzi) znaleźć się w głównym katalogu naszej strony, na serwerze…
Spis treści w artykule
Plik robots.txt, czyli Robots Exclusion Protocol
Plik robots.txt jest częścią protokołu „Robots Exclusion Protocol”, i jest to rodzaj informacji – drogowskazu – dla „robotów internetowych/indeksujących”, by np. jakiegoś elementu naszej strony nie indeksowały.
Przy czym – w przeciwieństwie do wcześniej przywołanego pliku .htaccess nie jest elementem konfiguracji serwera, a tym samym nie ma „mocy sprawczej” – bardziej jest to „prośba”, którą „dobrze wychowane roboty internetowe/indeksujące” zazwyczaj spełniają…
Podstawowa konfiguracja robots.txt
Podstawowa konfiguracja (zawartość) pliku wygląda np. tak:
User-Agent: *
Allow: /Ew. wersja alternatywna:
User-Agent: *
Disallow:Oznacza to, że każdy robot (*) może zaindeksować całą stronę (Allow: /) lub – w przypadku wersji alternatywnej – nie może indeksować tylko „niczego” (Disallow:).
W sumie, to w tym wariancie sytuacja jest podobna do sytuacji gdybyśmy takiego pliku nie mieli…
Strona w wersji deweloperskiej/rozwojowej
Choć uważam, że stronę w wersji deweloperskiej – czyli takiej nad którą trwają prace – warto zablokować za pomocą pliku .htaccess, to czasem może zajść potrzeba zablokowania do niej dostępu tylko robotom indeksującym:
User-Agent: *
Disallow: /Ew. gdy pracujemy nad jakimś działem, a reszta już jest OK:
User-agent: *
Disallow: /wersja_testowa01/
Disallow: /wersja_testowa02/
Disallow: /jakiś_katalog/strona_prywatna.htmlNie dla robota grafika
Możemy też zablokować indeksowanie konkretnych typów plików, np. grafiki:
User-agent: * Disallow: var click_object = {"ajax_url":"https:\/\/webinsider.pl\/wp-admin\/admin-ajax.php"};