Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy „ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT ;-)

Wszystko zaczęło się od „nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały „poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…

Twoim przyjacielem robot… robot.txt

Najprostszą metodą na sterowanie zachowaniem robotów indeksujących są dyrektywy które umieszczamy w pliku robot.txt znajdującym się w głównym katalogu naszej strony.

Przykładowy – najprostszy, ale i relatywnie uniwersalny – plik:

User-Agent: *
Allow: /
Crawl-delay: 10

Pozwalamy wszystkim robotom indeksującym skanować wszystkie zasoby, ale z ograniczeniem do jednego zapytania na 10 sekund.

W przypadku sklepu opartego o WooCommerce (WordPress) warto troszkę rozbudować reguły, tak by wykluczyć skanowanie tych samych stron, tylko z różnym filtrowaniem/sortowaniem produktów:

User-Agent: * Disallow: var click_object = {"ajax_url":"https:\/\/webinsider.pl\/wp-admin\/admin-ajax.php"};