Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy „ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT. A wszystko zaczęło się od „nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały „poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…

Twoim przyjacielem robot… robot.txt

Najprostszą metodą na sterowanie zachowaniem robotów indeksujących są dyrektywy, które umieszczamy w pliku robot.txt znajdującym się w głównym katalogu naszej strony.

Przykładowy – najprostszy, ale i relatywnie uniwersalny – plik:

User-Agent: *
Allow: /
Crawl-delay: 10

Pozwalamy wszystkim robotom indeksującym skanować wszystkie zasoby, ale z ograniczeniem do jednego zapytania na 10 sekund.

W przypadku sklepu opartego o WooCommerce (WordPress) warto troszkę rozbudować reguły, tak by wykluczyć skanowanie tych samych stron, tylko z różnym filtrowaniem/sortowaniem produktów:

User-Agent: *
Disallow: /*add-to-cart=*
Disallow: /?*filter*
Disallow: /?*orderby*
Allow: /
Crawl-delay: 10

Wykluczamy tu link przycisku „dodaj do koszyka”, sortowanie i filtrowanie, np.:

• http://[adres-sklepu]/?add-to-cart=007
• http://[adres-sklepu]/?orderby=title_asc
• http://[adres-sklepu]/?orderby=title_asc&filter_producent=007&query_type_producent=or

Pamiętajcie tylko, że zawartość pliku robot.txt w żaden sposób nie wymusza zachowania na robotach indeksujących, a tylko przekazuje im „naszą prośbę”. I jak to z prośbami bywa – mogą ją spełnić, lub nie… Ale i na „uparte roboty indeksujące” są metody, choć już bardziej stanowcze… ;-)

Narzędzia dla Webmasterów

Z racji tego, że Googlebot „ignoruje” dyrektywę „Crawl-delay” musimy skorzystać z narzędzi dla webmasterów, gdzie w ustawieniach znajdziecie m.in. taką pozycję:

Szybkość indeksowania:

• Pozwól Google na optymalizację na mojej stronie
• Ogranicz maksymalną szybkość indeksowania Google

W większości przypadków domyślne ustawienia są OK, choć czasem może się zdarzyć – tak jak tym razem, gdy Googlebot „analizował” 1-2 strony na sekundę, i to za pomocą „złożonych zapytań” (filtrowanie produktów) – że trzeba będzie troszkę „ograniczyć” Googleboota.