Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy „ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT ;-)

Wszystko zaczęło się od „nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały „poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…

Twoim przyjacielem robot… robot.txt

Najprostszą metodą na sterowanie zachowaniem robotów indeksujących są dyrektywy które umieszczamy w pliku robot.txt znajdującym się w głównym katalogu naszej strony.

Przykładowy – najprostszy, ale i relatywnie uniwersalny – plik:

User-Agent: *
Allow: /
Crawl-delay: 10

Pozwalamy wszystkim robotom indeksującym skanować wszystkie zasoby, ale z ograniczeniem do jednego zapytania na 10 sekund.

W przypadku sklepu opartego o WooCommerce (WordPress) warto troszkę rozbudować reguły, tak by wykluczyć skanowanie tych samych stron, tylko z różnym filtrowaniem/sortowaniem produktów:

User-Agent: *
Disallow: /*add-to-cart=*
Disallow: /?*filter*
Disallow: /?*orderby*
Allow: /
Crawl-delay: 10

Wykluczamy tu link przycisku „dodaj do koszyka”, sortowanie i filtrowanie, np.:

  • http://[adres-sklepu]/?add-to-cart=007
  • http://[adres-sklepu]/?orderby=title_asc
  • http://[adres-sklepu]/?orderby=title_asc&filter_producent=007&query_type_producent=or

Pamiętajcie tylko, że zawartość pliku robot.txt w żaden sposób nie wymusza zachowania na robotach indeksujących, a tylko przekazuje im „naszą prośbę”. I jak to z prośbami bywa – mogą ją spełnić, lub nie… Ale i na „uparte roboty indeksujące” są metody, choć już bardziej stanowcze… ;-)

Narzędzia dla Webmasterów

Z racji tego, że Googlebot „ignoruje” dyrektywę „Crawl-delay” musimy skorzystać z narzędzi dla webmasterów, gdzie w ustawieniach znajdziecie m.in. taką pozycję:

google-wmt_googleboot

Szybkość indeksowania:

  • Pozwól Google na optymalizację na mojej stronie
  • Ogranicz maksymalną szybkość indeksowania Google

W większości przypadków domyślne ustawienia są OK, choć czasem może się zdarzyć – tak jak tym razem, gdy Googlebot „analizował” 1-2 strony na sekundę, i to za pomocą „złożonych zapytań” (filtrowanie produktów) – że trzeba będzie troszkę „ograniczyć” Googleboota.

Potrzebujesz profesjonalnej pomocy? Skontaktuj się z nami!
Spodobał Ci się artykuł? Zapisz się do naszego Newslettera - ZERO SPAMu, same konkrety, oraz dostęp do dodatkowych materiałów przeznaczonych dla subskrybentów!
Na podany adres e-mail otrzymasz od nas wiadomość e-mail, w której znajdziesz link do potwierdzenia subskrypcji naszego Newslettera. Dzięki temu mamy pewność, że nikt nie dodał Twojego adresu przez przypadek. Jeśli wiadomość nie przyjdzie w ciągu najbliższej godziny (zazwyczaj jest to maksymalnie kilka minut) sprawdź folder SPAM.
Monika ćwiczy przed kongresem ko..., ale dzięki motywowa Divi od Elegant Themes chyba nawet ona da radę...
WebInsider poleca księgowość wFirma
WebInsider korzysta z VPSa w HitMe.pl
WebInsider poleca VPSy DigitalOcean
WebInsider poleca serwis Vindicat
Napisz komentarz
wipl_napisz-komentarz_01Jeśli informacje zawarte na tej stronie okazały się pomocne, możesz nam podziękować zostawiając poniżej swój komentarz.

W tej formie możesz również zadać dodatkowe pytania dotyczące wpisu, na które – w miarę możliwości – spróbujemy Ci odpowiedzieć.
Linki partnerskie
Niektóre z linków na tej stronie to tzw. „linki partnerskie”, co oznacza, że jeśli klikniesz na link i dokonasz wymaganej akcji (np. zakup/rejestracja) możemy otrzymać za to prowizję. Pamiętaj, że polecamy tylko te produkty i usługi, z których sami korzystamy, i uważamy, że są tego na prawdę warte… :-)
Znaki towarowe i nazwy marek
W niektórych wpisach (oraz innych miejscach na stronie) mogą być przedstawione/użyte znaki towarowe i/lub nazwy marek, które stanowią własność intelektualną tych podmiotów, a zostały użyte wyłącznie w celach informacyjnych.
Księgowość internetowa wFirma 80% taniej dla czytelników WebInsider.pl