Tag: robots.txt
Wszystkie
Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)
Bot Fight Mode i User Agent Blocking w CloudFlare, czyli sposób na odcięcie od strony m.in. niesfornych pająków internetowych
Patryk | 12.02.2021 | Wyrazy: 608, znaki: 3759 | Bezpieczeństwo, Hosting i serwery, Internet, Oprogramowanie, Poradniki, Strony internetowe (WWW), Technologia, Technologia, WordPress | 0
Można by powiedzieć, ze dzisiejszy poranek był klasyczny, czyli spacer z psami, później podgląd raportów z różnych usług, w tym serwerów, na których działają różne strony. I jak to przy takim przeglądzie bywa, zawsze trafi się jakieś zmasowane skanowanie storny – czy to w poszukiwaniu jakiejś podatności, czy też w ramach analizy zawartości. Dziś jednak raporty dotyczące akurat strony Webinsider.pl pokazywały, że ktoś skanuje stronę, i nie jest to robot żadnej z popularnych wyszukiwarek, bo te akurat szanują obostrzenia/restrykcje co do intensywności swoich działań. Tak więc nie pozostało nic innego, jak ograniczyć dostęp dla nieproszonych pajączków (nie mylić z pewnym pajączkiem z pewnego technopudelka, bo ten – jako czytelnik – zawsze mile widziany, a do tego nawet robiąc „przedruk” nie musiałby męczyć się z tłumaczeniem, tak, jak z zagranicznych serwisów ;-)).
Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)
Patryk | 29.07.2014 (aktualizacja 07.10.2023) | Wyrazy: 576, znaki: 3785 | Hosting i serwery, Internet, Poradniki, Strony internetowe (WWW), Technologia, Technologia | 0
Dziś będzie o kolejnym (po .htaccess) istotnym przydatnym pliku, który powinien (a na pewno nie zaszkodzi) znaleźć się w głównym katalogu naszej strony, na serwerze, czyli pliku robots.txt, który umożliwia pewnego rodzaju dialog między stroną (nami) a wyszukiwarką (robotami indeksującymi).
Najnowsze wpisy
Poznaj aplikację DroneTower, czyli nowy (i teoretycznie obecnie jedyny) sposób zgłaszania lotów dronami
WordPress 6.5 i „Requires Plugins”, czyli autor wtyczki może teraz w prosty sposób określić, jakie wtyczki są niezbędne (wymagane), do działania jego wtyczki
Przegląd nowości w aktualizacji 01.03.1300 oprogramowania kontrolera DJI RC (RM330)
To właściwie koniec bezpłatnej wersji Jetpack Stats, czyli statystyk dostarczanych przez wtyczkę/usługę Jetpack do WordPressa
Krajowy System Informacji Dronowej (KSID), czyli usługi cyfrowe dla BSP w nowej odsłonie
Newslog
Od 15.04. jedynym systemem do zgłaszania lotów dronów jest aplikacja mobilna DroneTower, ale na razie nie bardzo chce działać
DJI Avata 2 z klasą C1 i gogle z kamerami nie oznaczają, że można latać tym dronem w Kategorii Otwartej bez obserwatora (w goglach)
wFirma znowu podnosi ceny swoich usług księgowości internetowej
Web Awesome od Font Awesome, czyli… się rozczarowałem
DNO, czyli wykaz numerów przeznaczonych do odbierania połączeń głosowych