Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy “ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT. A wszystko zaczęło się od “nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały “poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…
Spis treści w artykule
Twoim przyjacielem robot… robot.txt
Najprostszą metodą na sterowanie zachowaniem robotów indeksujących są dyrektywy, które umieszczamy w pliku robot.txt znajdującym się w głównym katalogu naszej strony.
Przykładowy – najprostszy, ale i relatywnie uniwersalny – plik:
User-Agent: *
Allow: /
Crawl-delay: 10
Pozwalamy wszystkim robotom indeksującym skanować wszystkie zasoby, ale z ograniczeniem do jednego zapytania na 10 sekund.
W przypadku sklepu opartego o WooCommerce (WordPress) warto troszkę rozbudować reguły, tak by wykluczyć skanowanie tych samych stron, tylko z różnym filtrowaniem/sortowaniem produktów:
User-Agent: *
Disallow: /*add-to-cart=*
Disallow: /?*filter*
Disallow: /?*orderby*
Allow: /
Crawl-delay: 10
Wykluczamy tu link przycisku “dodaj do koszyka”, sortowanie i filtrowanie, np.:
- http://[adres-sklepu]/?add-to-cart=007
- http://[adres-sklepu]/?orderby=title_asc
- http://[adres-sklepu]/?orderby=title_asc&filter_producent=007&query_type_producent=or
Pamiętajcie tylko, że zawartość pliku robot.txt w żaden sposób nie wymusza zachowania na robotach indeksujących, a tylko przekazuje im “naszą prośbę”. I jak to z prośbami bywa – mogą ją spełnić, lub nie… Ale i na “uparte roboty indeksujące” są metody, choć już bardziej stanowcze… ;-)
Narzędzia dla Webmasterów
Z racji tego, że Googlebot “ignoruje” dyrektywę “Crawl-delay” musimy skorzystać z narzędzi dla webmasterów, gdzie w ustawieniach znajdziecie m.in. taką pozycję:
Szybkość indeksowania:
- Pozwól Google na optymalizację na mojej stronie
- Ogranicz maksymalną szybkość indeksowania Google
W większości przypadków domyślne ustawienia są OK, choć czasem może się zdarzyć – tak jak tym razem, gdy Googlebot “analizował” 1-2 strony na sekundę, i to za pomocą “złożonych zapytań” (filtrowanie produktów) – że trzeba będzie troszkę “ograniczyć” Googleboota.
- Mały dron, duże zamieszanie, czyli seria DJI Mini i zabawa w klasy (unijne klasy dla dronów) z EASA i użytkownikami - 1970-01-01
- Opcja “restore_from_flash”, czyli sposób na zapamiętywanie ustawień w ESPHome na układach ESP8266 - 1970-01-01
- Blokowe szablony powiadomień (block notice) w WooCommerce, nawet w klasycznych motywach - 1970-01-01
Witaj,
ustawienia w google Search Console nie będą obowiązywały dopiero za 90 dni lecz przez 90 dni.
Zmiany ustawien moga potrwac do 2 dni.
Pozdro
Masz rację, już koryguje :-)