Tag: user-agent
Wszystkie
Bot Fight Mode i User Agent Blocking w CloudFlare, czyli sposób na odcięcie od strony m.in. niesfornych pająków internetowych
Wykrywanie urządzeń mobilnych w języku PHP (biblioteka Mobile Detect) i w WordPressie (wbudowana funkcja)
Sterowanie robotami indeksującymi za pomocą pliku robot.txt na przykładzie sklepu na WooCommerce
Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)
Pobieranie filmów z serwisu Vider.info za pomocą narzędzi dla deweloperów i zmodyfikowanego nagłówka UA (user agent)
Patryk | 04.03.2023 (aktualizacja 13.01.2024) | Wyrazy: 576, znaki: 3443 | Android, Bezpieczeństwo, Hosting i serwery, Internet, Mobile, Multimedia, Multimedia, Oprogramowanie, Poradniki, Programy, Strony internetowe (WWW), Technologia, Technologia, Telekomunikacja | 41
Zdarza mi się – choćby w celach „naukowo-badawczych” – czasem pobierać materiały z serwisów, które takie pobieranie starają się jak nie uniemożliwić, to przynajmniej utrudnić. Czasem trzeba się nieźle nagimnastykować, czasem wystarczy skorzystać z jakiejś sztuczki. Celowo zazwyczaj nie korzystam z wyspecjalizowanych programów, a szukam „alternatywnych sposobów”, bo jak już wspomniałem – cel to nie zawsze pobranie materiału samo w sobie, a często nauka przez doświadczenie. Linki do kilku artykułów na ten temat wstawię gdzieś w treści tego artykułu, a teraz bierzemy na tapet serwis Vider.info, o który zapytała dziś koleżanka…
Bot Fight Mode i User Agent Blocking w CloudFlare, czyli sposób na odcięcie od strony m.in. niesfornych pająków internetowych
Patryk | 12.02.2021 | Wyrazy: 608, znaki: 3759 | Bezpieczeństwo, Hosting i serwery, Internet, Oprogramowanie, Poradniki, Strony internetowe (WWW), Technologia, Technologia, WordPress | 0
Można by powiedzieć, ze dzisiejszy poranek był klasyczny, czyli spacer z psami, później podgląd raportów z różnych usług, w tym serwerów, na których działają różne strony. I jak to przy takim przeglądzie bywa, zawsze trafi się jakieś zmasowane skanowanie storny – czy to w poszukiwaniu jakiejś podatności, czy też w ramach analizy zawartości. Dziś jednak raporty dotyczące akurat strony Webinsider.pl pokazywały, że ktoś skanuje stronę, i nie jest to robot żadnej z popularnych wyszukiwarek, bo te akurat szanują obostrzenia/restrykcje co do intensywności swoich działań. Tak więc nie pozostało nic innego, jak ograniczyć dostęp dla nieproszonych pajączków (nie mylić z pewnym pajączkiem z pewnego technopudelka, bo ten – jako czytelnik – zawsze mile widziany, a do tego nawet robiąc „przedruk” nie musiałby męczyć się z tłumaczeniem, tak, jak z zagranicznych serwisów ;-)).
Wykrywanie urządzeń mobilnych w języku PHP (biblioteka Mobile Detect) i w WordPressie (wbudowana funkcja)
Patryk | 12.08.2019 | Wyrazy: 651, znaki: 4000 | Internet, Mobile, Oprogramowanie, Poradniki, Programy, Strony internetowe (WWW), Technologia, Technologia, Telekomunikacja, WordPress | 0
Właśnie skończyłem prace nad jednym z modułów projektu, nad którym pracuję, a w którym to module ważna jest funkcja „wyłapywania” urządzeń mobilnych (głównie telefony, tablety z racji większego ekranu nie były już tak istotne). Operację taką w PHP można wykonać choćby za pomocą funkcji preg_match(), która może wyłapywać – po słowach kluczowych w nagłówku HTTP_USER_AGENT – przeglądarkę/system, i na bazie spróbować rozpoznać, czy mamy do czynienia z urządzeniem mobilnym. Jest to dość skuteczna metoda, tyle tylko, że wymaga ciągłego śledzenia „rynku przeglądarek mobilnych”, co w tym przypadku nie wchodzi(ło) w grę. Dlatego postanowiłem skorzystać z gotowca. A właściwie, to 2 gotowców…
Sterowanie robotami indeksującymi za pomocą pliku robot.txt na przykładzie sklepu na WooCommerce
Patryk | 26.05.2015 (aktualizacja 07.10.2023) | Wyrazy: 383, znaki: 2638 | Hosting i serwery, Internet, Poradniki, Strony internetowe (WWW), Technologia, Technologia, WooCommerce, WordPress | 2
Zwrócił się do mnie ostatnio jeden z czytelników z prośbą o pomoc przy „ogarnięciu sklepu internetowego na WooCommerce”. Zagadnień było sporo, ale chyba wszystko udało się zrobić, bo nie było protestów przy odbieraniu wystawionej faktury VAT. A wszystko zaczęło się od „nagłego spowolnienia działania strony”, i jak się okazało – powodem takiego stanu rzeczy był robot indeksujący Google, czyli Googlebot. Dlatego dziś mały „poradnik” jak w takiej sytuacji okiełznać nad aktywnego Googlebota…
Plik robots.txt, czyli dialog z robotami internetowymi (indeksującymi)
Patryk | 29.07.2014 (aktualizacja 07.10.2023) | Wyrazy: 576, znaki: 3785 | Hosting i serwery, Internet, Poradniki, Strony internetowe (WWW), Technologia, Technologia | 0
Dziś będzie o kolejnym (po .htaccess) istotnym przydatnym pliku, który powinien (a na pewno nie zaszkodzi) znaleźć się w głównym katalogu naszej strony, na serwerze, czyli pliku robots.txt, który umożliwia pewnego rodzaju dialog między stroną (nami) a wyszukiwarką (robotami indeksującymi).
Najnowsze wpisy

Home Assistant (tak jakby) porzucił „stare” wyzwalacze i warunki związane z (nie) obecnością w domu, a nowe na razie są tylko w zapowiedziach

Błąd kompilacji „redefinition of uint32_t iteration” w ESPHome 2026.4, czyli zagnieżdżonym repeat i problematyczny delay

Miksowanie kolorów filamentów w Bambu Studio za pomocą złudzenia optycznego
DJI Lito 1 i DJI Lito X1, czyli nowa seria dronów Mini, ale raczej nie zamiast Mini Pro

Zmiana „w locie” poziomu logowania w ESPHome za pomocą komponentu „select” (nie tylko z poziomu Home Assistant)
Newslog
T-Mobile zmienia regulamin, czyli pierwsze przymiarki do rozpoczęcia procesu wygaszania sieci 2G
Czy to koniec „inspirujących napisów” pod kapslami i nakrętkami Tymbarka?
Nie, Bambu Lab nie doprowadziło do zamknięcia projektu OrcaSlicer, a „pośrednio” do jednego z wielu forków, a konkretnie OrcaSlicer BambuLab
Netflix dziękuje za wspólne 10 lat i w ramach podziękowania… znowu podnosi (nie tylko) mi abonament
Linux Kernel 7.1 ze wsparciem dla dysków z systemem plików NTFS (Windows)

