Wszystko o googlebot | Webinsider - Internet widziany od środka ™

Tag: googlebot

Sterowanie robotami indeksującymi za pomocą pliku robot.txt na przykładzie sklepu na WooCommerce

Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy „ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT. A wszystko zaczęło się od „nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały „poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…

Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)

Dziś będzie o kolejnym (po .htaccess) istotnym przydatnym pliku, który powinien (a na pewno nie zaszkodzi) znaleźć się w głównym katalogu naszej strony, na serwerze, czyli pliku robots.txt, który umożliwia pewnego rodzaju dialog między stroną (nami) a wyszukiwarką (robotami indeksującymi).

Loading

Pin It on Pinterest