O problemach 2be (Adweb), a konkretnie ich klientów (około 1 500 kont hostingowych, ponad 10 000 domen) miałem nie pisać, gdyż uznałem, że w internecie już wystarczająco im dokopano, a o całej sytuacji chyba nie da się napisać inaczej, czyli pozytywnie – chyba że jako przykład czego i jak nie robić prowadząc firmę hostingową. Ale, że człowiek zmienny jest, to i ja zmieniłem zdanie…

2be or not 2be

Pierwszy raz zawahałem się po informacji na stronie 2be, że firma być może odzyska dane z kopii zapasowych, z tym, że będą to prawdopodobnie kopie z 15 czerwca 2015 (przypominam, że mamy marzec 2016):

Najważniejszy problem to Państwa strony www. Na tym etapie jesteśmy niemal pewni, że nie uda nam się odzyskać backupów aktualnych stron www. Najbardziej prawdopodobne są stany z czerwca 201 5 roku.

I nie, wszystko wskazuje na to, że niestety nie jest to żart Bartka Juszczyka (CEO Adweb, od razu dodam, że to nie moje określenie, a chyba samego bosa ;-)), tak samo jak – chyba już kultowy – lutowy „wpis rekrutacyjny” na Facebooku (wpis już wykasowany, ale w Google zachowała się jego kopia):

HELP!!!!!!!!!!!!!!
Ludzie z Wawy. Potrzebuje pomocy administratora IT który podjedzie za hajjs dziś/jutro na ul. Piękna cos tam zrobić z serwerami. HELP!!!! Priv pis!!! PLSSSSSSSSSS!

Teraz to (już) niewiele da się (samemu) zrobić

Materiały/informacje (na wszelki wypadek) zacząłem zbierać do wpisu – choć wtedy jeszcze nie było ostatecznej decyzji o tym, że będę coś pisał na ten temat – po tym, jak odezwały się do mnie pierwsze osoby z zapytaniem, czy da się coś z tym zrobić.

Niestety, ale w obecnej sytuacji, jeśli ktoś nie ma własnych kopii zapasowych, to niewiele da się zrobić – trzeba liczyć na to, że uda im się jednak jak najszybciej przywrócić dane, i to w jak najaktualniejszej wersji.

Stosunkowo w najlepszej sytuacji są właściciele/posiadacze stron o stałej/niezmiennej zawartości, czyli np. niektórych stron firmowych, oczywiście o ile strona była na serwerze przed dniem, z którego będą odzyskane dane z kopii zapasowej (na razie mowa o czerwcu 2015), to strona ma szanse powrócić… kiedyś.

Większy problem mają osoby, które stronę umieściły na serwerze po tym okresie, a nie mają własnej kopii (i ew. nie ma takiej kopii firma, która stronę przygotowywała, ale powinna mieć). W takim przypadku raczej trzeba się liczyć z koniecznością przygotowania nowej strony.

W przypadku stron o bardziej dynamicznej zawartości (blogi, portale informacyjne, sklepy internetowe) sprawa wydaje się beznadziejna, ale mam nadzieję, że zwłaszcza w takich przypadkach jednak były robione własne kopie zapasowe.

Hasło znał administrator, który odszedł w grudniu

Tym, co ostatecznie zdecydowało, że jednak taki wpis powstanie był wywiad z Bartkiem Juszczykiem (szef Adweb) jaki przeczytałem na stronie HostingNews, a który pokazał jak nie powinno podchodzić się – moim zdaniem – do prowadzenia firmy hostingowej, nawet jeśli to tylko fragment działalności (nie wiem, czy uwierzycie, ale jedna z firm/marek wchodzących w skład Adweb zajmuje się public relation/PR, w tym ponoć zarządzaniem kryzysowym ;-)).

Nie będę tu opisywał całego wywiadu, ale kilka wypowiedzi muszę zacytować i skomentować, bo jak czytałem, to myślałem, że ze zmęczenia mój umysł chyba nie działa prawidłowo, i płata mi figle, bo wydawało mi się to miejscami wręcz niemożliwe (a pisze to jako osoba z pewnym doświadczeniem, która pracowała m.in. jako administrator IT w dużych firmach/korporacjach, a od kilku lat zajmująca się stronami klientów, w tym również zarządzaniem serwerami).

HostingNews.pl: Grupa Adweb działa na polskim rynku od 2003 roku. Bartek, chcąc nie chcąc, jesteś jako marka 2be bohaterem najdłuższej awarii firmy hostingowej w Polsce. (…) W grudniu odchodzi od was wasz wieloletni administrator IT, który był z wami od początku. Dlaczego odszedł?

Bartek Juszczyk: To prawda. To była bardzo dziwna sytuacja. Chłopak od jakiegoś czasu chciał pracować zdalnie jako administrator, a także chciał znaczącą podwyżkę. (…) Warto dodać też, że dział przezeń zarządzany z 13 osób zmniejszył się w ostatnim czasie do 3 osób. (…) Kolega od razu poszedł na L4 i właściwie kontakt z nim się urwał, mimo wielu próśb o takowy.

HostingNews.pl: Ok, kiedy nastąpiło to włamanie i w jaki sposób go dokonano?

Bartek Juszczyk: Włamanie nastąpiło z piątku na sobotę w nocy 25 na 26 luty. Zrobiła to osoba, która miała dostęp do roota i znała hasło. Z tego co wiem, tylko ja znałem hasło, nasz administrator, który odszedł w grudniu, poprzedni zdalny admin, i ta właśnie firma. (…)

Tak, dobrze czytacie – administrator odchodzi w grudniu 2015, urywa się z nim kontakt, a firma z końcem lutego nadal używa tych samych danych dostępowych, a w międzyczasie w ich posiadanie weszły jeszcze dodatkowe osoby.

Jest to tak niesamowite, że właściwie na tym mógłbym zakończyć…

HostingNews.pl: Chcesz powiedzieć, że nie zmienialiście haseł, a hasła do serwera produkcyjnego jak i backupu były takie same?

Bartek Juszczyk: Tak właśnie było. Teraz to się zmieniło, ale do momentu awarii, tak właśnie to wyglądło. Liczyłem w sumie na to, iż uda się nam porozumieć z tą firmą i być może podejmiemy stałą współpracę.

Zmieni się, zaraz zobaczycie jak, ale najpierw słówko o kopiach zapasowych:

HostingNews.pl: Jaka forma backupu była stosowana przez Adweb? Jakaś zewnętrzna chmura, redundancja?

Bartek Juszczyk: Nie, mieliśmy serwer backupowy u nas, ale ten serwer także został wyczyszczony, bo ta osoba znała hasła. Nie mieliśmy zewnętrznego backupu ani chmury w tym przypadku.

HostingNews.pl: Rozumiem, ze serwer backupowy był także w Warszawie, w serwerowni w T-Mobile. Czy dodatkowo, mieliście jakiś backup wewnętrzny na swoje własne potrzeby,  np.  w biurze w Krakowie?

Bartek Juszczyk: Były także serwery lokalne w Krakowie, ale także do tych serwerów ten człowiek miał dostęp, więc także te serwery zostały wykasowane. Wyzerowano nam całe 12 lat!

HostingNews.pl: Czy istnieje szansa by odzyskać dane klientów i strony WWW? W jaki sposób zostały wykasowane te dane?

Bartek Juszczyk: Nastąpiło to przez nadpisanie zerami, także nie wiem, czy istnieje szansa na odzyskanie, szczerze. Konsultowaliśmy się z firmą OnTrack i są bardzo ostrożni w tym temacie. Światełko w tunelu, to fakt, że udało nam się ustalić, iż najprawdopodobniej dane zostały eksportowane do innej firmy hostingowej. Być może przed nadpisaniem, włamywacz zrobił jednak kopię. Sprawa jest w toku.

I stąd „prawdopodobne” kopie z czerwca 2015, choć w świetle tych informacji należy się cieszyć, że w ogóle jakieś są…

Ale najważniejsze, że z problemu została wyciągnięta nauczka… tak jakby:

HostingNews.pl: Mówisz, że teraz serwery będą zabezpieczone jak nigdy. Co konkretnie kryje się pod tym stwierdzeniem, skoro jak sam przyznajesz, nie jesteś osobą techniczną?

Bartek Juszczyk:  Tak na szybko, to na pewno hasła będzie znał tylko 1 admin. Więc zawsze będzie wiadomo, kto jest winny jeśli coś się stanie. (…)

Dokładnie, hasło będzie znał tylko jeden administrator, a więc… Nie, na pewno nie pójdzie np. na L4 i na pewno nie urwie się z nim kontakt, a firma nie zostanie (znowu) z ręką w nocniku… Nie, to niemożliwe… ;-)

Cała nadzieja (dla przyszłych klientów), że całość zostanie skonsultowana z zewnętrzną firmą, która skutecznie wybije z głowy tego typu absurdalny pomysły.

Firma hostingowa robi kopie zapasowe? Fajnie, ale róbcie też własne

I jeszcze jeden cytat z wywiadu, ale tym razem będzie to dla odmiany chyba jedyne zdanie, z którym zgadzam się w 100%:

HostingNews.pl: Co chciałbyś przekazać swoim klientom na koniec tego wywiadu?

Bartek Juszczyk: Róbcie samodzielnie backupy! To się może zdarzyć w każdej firmie hostingowej.

Nawet jeśli firma hostingowa, w której macie stronę robi kopie zapasowe (niezależnie, czy robi to raz na jakiś czas kopię wszystkich danych, czy wykupiliście dodatkową usługę tego typu) róbcie je też samodzielnie.

W przypadku stron o statycznej zawartości tak naprawdę wystarczy jedna kopia, choć ja nawet w takich przypadkach robię kopie raz na jakiś czas (minimum co kilka dni), by wyeliminować ryzyko, że w razie awaryjnej sytuacji jedyne archiwum również jest uszkodzone.

W przypadku stron o bardziej dynamicznej zawartości staram się odpowiednio dobrać częstotliwość kopii, tak by zapewnić, jak najaktualniejsze dane, a zrazem niepotrzebnie nie obciążać serwera/łączy, czy zapychać dysków.

Zazwyczaj kopia (BackUp) każdej strony wykonywana jest 1-2 razy dziennie, a w przypadku stron typu Webinsider.pl, gdzie co chwile pojawiają się jakieś zmiany, kopia jest nawet kilka razy na dobę (częściej baza danych, rzadziej pliki).

Jeszcze częściej wykonywane są kopie zapasowe np. sklepów internetowych, gdzie ew. straty/problemy w przypadku awarii będą najbardziej odczuwalne. W niektórych przypadkach kopia plików odbywa się właściwie w czasie rzeczywistym, również z replikacją bazy danych, tak by w każdej chwili można było odtworzyć, jak najnowszą wersję, czy nawet przełączyć domenę na inny serwer (choć oczywiście wiąże się to z dodatkowymi wydatkami, ale coś za coś).

Oczywiście oprócz samych stron należy pamiętać o kopii zapasowej samego serwera lub konta hostingowego.

Kilak dobrych rad na koniec

Kopie zapasowe powinny być wykonywane nie tylko na inną maszynę, ale i do innej lokalizacji, a w przypadku np. sklepów internetowych nawet do kilku różnych lokalizacji (warto dodatkowo rozważyć synchronizację jednokierunkową, czyli taką, gdzie danych po wysłaniu nie można skasować, korzystając z tych samych danych autoryzujących).

Można np. kopie wykonywać lokalnie, po czym kopiować je na usługę typu S3, a stamtąd co jakiś czas jeszcze na dedykowany do tego serwer (może nim być choćby Raspberry Pi z podpiętym dyskiem, w biurze czy nawet domu).

Staram się też nigdy nie trzymać domeny i stron (serwery VPS, hosting współdzielony) w tej samej firmie, dzięki czemu w przypadku awarii po stronie firmy hostingowej mam możliwość skierowania domeny na inny serwer/hosting.

W takiej sytuacji pomagają też szybkie DNSy, z tym że pisząc szybkie, mam na myśli czas potrzebny na aktualizację strefy. Dobrym przykładem może być usługa Cloudflare, gdzie wszelkie tego typu zmiany wchodzą w życie właściwie natychmiast, a dodatkowo – w przypadku awarii firmy, w której mam domenę – mam cały czas dostęp do zarządzania rekordami DNS dla domeny.

Kolejnym ważnym elementem jest poczta e-mail, która powinna umożliwić nam kontakt z klientami/partnerami, nawet w sytuacji, gdy nasza strona nie działa. Dlatego zazwyczaj pocztę staram się trzymać na innym serwerze, najlepiej w wyspecjalizowanych w tego typu usługach serwisach/firmach, i do tego też – zazwyczaj skutecznie – namawiam swoich klientów/partnerów.

I choć do takiej awaryjnej komunikacji można wykorzystać również profil w mediach społecznościowych, to jednak warto, by poczta e-mail również działała (nie każdy korzysta z mediów społecznościowych).

Na koniec ostatnia rada – zastanówcie się co może pójść nie tak, i postarajcie się zawczasu przygotować plan działania w takich sytuacjach, a najlepiej jeszcze gorszych… No i testujcie Wasze rozwiązania awaryjne, by w razie czego, nie okazało się, że kopie zapasowe wprawdzie są, ale nie da się z nimi nic zrobić…