Tag: robots.txt
Wszystkie
Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)
Bot Fight Mode i User Agent Blocking w CloudFlare, czyli sposób na odcięcie od strony m.in. niesfornych pająków internetowych
Patryk | 12.02.2021 | Wyrazy: 608, znaki: 3759 | Bezpieczeństwo, Hosting i serwery, Internet, Oprogramowanie, Poradniki, Strony internetowe (WWW), Technologia, Technologia, WordPress | 0
Można by powiedzieć, ze dzisiejszy poranek był klasyczny, czyli spacer z psami, później podgląd raportów z różnych usług, w tym serwerów, na których działają różne strony. I jak to przy takim przeglądzie bywa, zawsze trafi się jakieś zmasowane skanowanie storny – czy to w poszukiwaniu jakiejś podatności, czy też w ramach analizy zawartości. Dziś jednak raporty dotyczące akurat strony Webinsider.pl pokazywały, że ktoś skanuje stronę, i nie jest to robot żadnej z popularnych wyszukiwarek, bo te akurat szanują obostrzenia/restrykcje co do intensywności swoich działań. Tak więc nie pozostało nic innego, jak ograniczyć dostęp dla nieproszonych pajączków (nie mylić z pewnym pajączkiem z pewnego technopudelka, bo ten – jako czytelnik – zawsze mile widziany, a do tego nawet robiąc „przedruk” nie musiałby męczyć się z tłumaczeniem, tak, jak z zagranicznych serwisów ;-)).
Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)
Patryk | 29.07.2014 (aktualizacja 07.10.2023) | Wyrazy: 576, znaki: 3785 | Hosting i serwery, Internet, Poradniki, Strony internetowe (WWW), Technologia, Technologia | 0
Dziś będzie o kolejnym (po .htaccess) istotnym przydatnym pliku, który powinien (a na pewno nie zaszkodzi) znaleźć się w głównym katalogu naszej strony, na serwerze, czyli pliku robots.txt, który umożliwia pewnego rodzaju dialog między stroną (nami) a wyszukiwarką (robotami indeksującymi).
Najnowsze wpisy
Rodzaje filmów promujących biznes: które są skuteczne teraz, a które nie?
Home Assistant 2024.11, czyli „sekcje” domyślnym widokiem z opcją migracji, WebRTC oraz wirtualna kamera
Black Friday w ZUS, czyli jest jeszcze kilka dni, by złożyć wniosek RWS i skorzystać z wakacji składkowych płacąc ZUS za grudzień 2024
Wakacje składkowe ZUS a zawieszenie działalności gospodarczej, czyli uważaj, bo być może nie będziesz mógł skorzystać (w 2024)
Przykładowy kalkulator wyceny usługi druku 3D, czyli nie tylko materiał się liczy
Newslog
Matt Mullenweg (Automattic) kontra WP Engine, czyli gdy tak się zagapisz w źdźbło w oku brata swego, a belki w oku swoim nie dostrzegasz
Google Home for web (Google Home dla przeglądarek) teraz z eksperymentalną opcją pisania skryptów/automatyzacji wraz ze wsparciem AI
MerkleMap, czyli prosty i szybki sposób na poznanie (praktycznie) wszystkich subdomen dostępnych w ramach domeny
Orange dalej testuje… swoich klientów, czyli po wrześniowym zniknięciu doładowania za 5 zł, teraz przyszła pora na doładowanie za 25 zł
Strefa DRA-R wzdłuż Odry, czyli legalnie dronem nie polatasz