Envato Elements - pobierasz co chcesz, ile chcesz

Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy „ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT ;-)

Wszystko zaczęło się od „nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały „poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…

Twoim przyjacielem robot… robot.txt

Najprostszą metodą na sterowanie zachowaniem robotów indeksujących są dyrektywy które umieszczamy w pliku robot.txt znajdującym się w głównym katalogu naszej strony.

Przykładowy – najprostszy, ale i relatywnie uniwersalny – plik:

User-Agent: *
Allow: /
Crawl-delay: 10

Pozwalamy wszystkim robotom indeksującym skanować wszystkie zasoby, ale z ograniczeniem do jednego zapytania na 10 sekund.

W przypadku sklepu opartego o WooCommerce (WordPress) warto troszkę rozbudować reguły, tak by wykluczyć skanowanie tych samych stron, tylko z różnym filtrowaniem/sortowaniem produktów:

User-Agent: *
Disallow: /*add-to-cart=*
Disallow: /?*filter*
Disallow: /?*orderby*
Allow: /
Crawl-delay: 10

Wykluczamy tu link przycisku „dodaj do koszyka”, sortowanie i filtrowanie, np.:

  • http://[adres-sklepu]/?add-to-cart=007
  • http://[adres-sklepu]/?orderby=title_asc
  • http://[adres-sklepu]/?orderby=title_asc&filter_producent=007&query_type_producent=or

Pamiętajcie tylko, że zawartość pliku robot.txt w żaden sposób nie wymusza zachowania na robotach indeksujących, a tylko przekazuje im „naszą prośbę”. I jak to z prośbami bywa – mogą ją spełnić, lub nie… Ale i na „uparte roboty indeksujące” są metody, choć już bardziej stanowcze… ;-)

Narzędzia dla Webmasterów

Z racji tego, że Googlebot „ignoruje” dyrektywę „Crawl-delay” musimy skorzystać z narzędzi dla webmasterów, gdzie w ustawieniach znajdziecie m.in. taką pozycję:

google-wmt_googleboot

Szybkość indeksowania:

  • Pozwól Google na optymalizację na mojej stronie
  • Ogranicz maksymalną szybkość indeksowania Google

W większości przypadków domyślne ustawienia są OK, choć czasem może się zdarzyć – tak jak tym razem, gdy Googlebot „analizował” 1-2 strony na sekundę, i to za pomocą „złożonych zapytań” (filtrowanie produktów) – że trzeba będzie troszkę „ograniczyć” Googleboota.

(!) Zgłoś błąd na stronie
Potrzebujesz profesjonalnej pomocy? Skontaktuj się z nami!
Spodobał Ci się artykuł? Zapisz się do naszego Newslettera - ZERO SPAMu, same konkrety, oraz dostęp do dodatkowych materiałów przeznaczonych dla subskrybentów!
Na podany adres e-mail otrzymasz od nas wiadomość e-mail, w której znajdziesz link do potwierdzenia subskrypcji naszego Newslettera. Dzięki temu mamy pewność, że nikt nie dodał Twojego adresu przez przypadek. Jeśli wiadomość nie przyjdzie w ciągu najbliższej godziny (zazwyczaj jest to maksymalnie kilka minut) sprawdź folder SPAM.
Janusz i Janusz dzięki motywowi Divi od Elegant Themes koszą siano robiąc strony
WebInsider poleca księgowość wFirma
WebInsider korzysta z VPSa w HitMe.pl
WebInsider poleca VPSy DigitalOcean
WebInsider poleca serwis Vindicat
Napisz komentarz
wipl_napisz-komentarz_01Jeśli informacje zawarte na tej stronie okazały się pomocne, możesz nam podziękować zostawiając poniżej swój komentarz.

W tej formie możesz również zadać dodatkowe pytania dotyczące wpisu, na które – w miarę możliwości – spróbujemy Ci odpowiedzieć.
Linki partnerskie
Niektóre z linków na tej stronie to tzw. „linki partnerskie”, co oznacza, że jeśli klikniesz na link i dokonasz wymaganej akcji (np. zakup/rejestracja) możemy otrzymać za to prowizję. Pamiętaj, że polecamy tylko te produkty i usługi, z których sami korzystamy, i uważamy, że są tego na prawdę warte… :-)
Znaki towarowe i nazwy marek
W niektórych wpisach (oraz innych miejscach na stronie) mogą być przedstawione/użyte znaki towarowe i/lub nazwy marek, które stanowią własność intelektualną tych podmiotów, a zostały użyte wyłącznie w celach informacyjnych.
Młody Szymon powiedział tacie o promocji dla czytelników WebInsider.pl i zaoszczędzili 80% na księgowości internetowej wFirma