Jednym z najważniejszych elementów biznesu jest komunikacja, i to nie tylko z potencjalnym klientem. W przypadku komunikacji w internecie możliwości mamy wiele, ale niewątpliwie cały czas królem jest poczciwa, stara poczta e-mail (jak ktoś Ci sugeruje inaczej, to sugeruję zmienić doradcę ;-)). Czy to w kontekście działań marketingowych (np. newsletter), czy też w kontekście tzw. wiadomości transakcyjnych, czyli wszelkiej maści wiadomości e-mail wysyłanych z naszej strony, niebędących – przynjamniej wprost – działaniem marketingowym. Choć pod to określenie podpadają również wiadomości z formularza kontaktowego umieszczonego na stronie, to w większości dotyczy to wiadomości ze sklepów internetowych (eCommerce), platform społecznościowych, platform edukacyjnych i kursowych, wysyłanych w ramach obsługi zamówień i ogólnego funkcjonowania kont użytkowników. I o ile w przypadku newsletterów dostarczalność wiadomości jest istotna, to w przypadku wiadomości transakcyjnych jest wręcz kluczowa.

Amazon SES, czyli (nie taki) mały test SMTP SaaS

Dlatego większość stron, które wdrażam, którymi się opiekuje, czy choćby konsultuje, zwłaszcza tych z szeroko rozumianego eCommerce, do wysyłania wiadomości e-mail korzysta z dedykowanych serwisów, które jako usługę zapewniają właśnie wysyłanie wiadomości e-mail w naszym imieniu, czyli również w ramach np. naszej domeny (taki serwer SMTP SaaS).

Oczywiście wymaga to drobnych modyfikacji rekordów DNS dla domeny, ale nie jest to nic specjalnie trudnego, a zdecydowanie warto. Zwłaszcza że tego typu działanie nie tylko umożliwia korzystanie z opisywanych usług, ale również wpływa bezpośrednio na dostarczalność wiadomości e-mail, również tych wysyłanych w ramach zwykłego konta e-mail.

A skoro dostarczalność wiadomości jest tak ważna, skoro korzystamy z zewnętrznych usług SMTP, by ją podnieść, to aż się prosi o mały test. I choć wachlarz dostawców tego typu usług jest szeroki, to do pierwszego testu wybrałem usługę Amazon SES (Amazon Simple Email Service), z której już od dość dawna sam najczęściej korzystam.

Przygotowania do testu SMTP SaaS

Gdy już miałem temat, miałem głównego bohatera (Amazon SES), mogłem przystąpić do określenia założeń testu. I choć może wydawać się to banalne, bo potencjalnie wystarczyłoby pewnie kilka kont pocztowych i prosty skrypt, który wysłałaby na nie wiadomości, które później wystarczyłoby zliczyć. Ale nie o taki test mi chodziło.

Uznałem, że najlepiej będzie przygotować jak najbardziej różnorodną pulę adres e-mail. Różnorodną nie tylko pod względem dostawców (ESP, czyli Email Service Provider), ale i pod względem aktywności, czy też typu. Stąd do testów postanowiłem przygotować następujące grupy adresów e-mail:

• Adresy założone specjalnie na potrzeby testu (swoją drogą, niezła to męczarnia była ;-))
• Archiwalne adresy e-mail, z których korzystam w przeszłości „w takim, czy innym celu”
• Adresy e-mail znajomych, którzy zadeklarowali chęć udziału w teście
• Adresy osób z naszego Newslettera, które zadeklarowali chęć udziału w teście (jeszcze raz dziękuje :-))
• Adresy działające w ramach tzw. adresów tymczasowych (temp-mail)

Główny ciężar testu wstępnie postanowiłem położyć na pierwsze 3 grupy, z tego względu, że w ich przypadku miałem pośredni lub bezpośredni dostęp do skrzynki, więc nie tylko mogłem się upewnić czy wiadomości dotarły, ale też gdzie trafiły (skrzynka odbiorcza, oferty, SPAM).

Stąd pierwszym krokiem było przygotowanie nowych adresów u ogólnodostępnych operatorów tej usługi (ESP). Przyznam, że był to chyba najtrudniejszy pod względem wykonania krok, bo w wielu przypadkach założenie adresu e-mail to nie tylko rozbudowany formularz do przejścia, ale i np. weryfikacja numeru telefonu, co niekoniecznie mi pasowało.

W drugim kroku postanowiłem zaproszenie do udziału w teście wysłać do wybranych osób z naszego Newslettera. Nie chciałem wysyłać zaproszenia do wszystkich, bo z racji tego, że miał to być test dostarczalności wiadomości e-mail, to zależało mi na wybraniu osób, które w jakimś sensie gwarantują, że po zapisaniu się do testu faktycznie wezmą w nim udział. Co cieszy, z wytypowanej grupy odzew był całkiem pozytywny. Ba, zdarzało się, że już na tym etapie (zaproszenia do udziału w teście) dostawałem informację zwrotną… :-)

Ostatnią grupą adresów, które postanowiłem włączyć do testów były tzw. tymczasowe adresy e-mail. I choć potencjalnie można by uznać to za ruch kontrowersyjny, to dla mnie ta grupa adresów miała kilka zalet:

• Są to adresy zewnętrzne, ale jednocześnie – w pewnym sensie – będące pod moją kontrolą
• Najczęściej z wyłączonymi filtrami SPAMowymi (testujemy w końcu dostarczalność, a nie…)
• Szybkość i łatwość tworzenia adresów, co po przygodzie z niektórymi ESP miało dla mnie duże znaczenie

Wstępnie zakładałem, że test zostanie przeprowadzony na maksymalnie 20-30 adresach e-mail, ostatecznie przekroczyliśmy setkę.

Uznałem również, że w ramach testu zostaną wysłane 4 wiadomości testowe – 2 w ramach testu (Amazon SES), i do tego dołożyłem jeszcze kolejne 2 nawet nie tyle jako punkt odniesienia, ile kontrolnie, że wszystko działa prawidłowo:

Wiadomości miały tematy:

• Dla testu Amazon SES 01: Pierwsza wiadomość testowa w ramach mini testu SMTP SaaS
• Wiadomość kontrolna: Druga wiadomość testowa w ramach mini testu SMTP SaaS
• Dla testu Amazon SES 02: Trzecia wiadomość testowa w ramach mini testu SMTP SaaS
• Wiadomość kontrolna: Czwarta wiadomość testowa w ramach mini testu SMTP SaaS

Treść również była zbliżona:

Cześć.

Dzięki za zgłoszenie chęci udziału w naszym małym teście. Ale by miało to sens, bo w końcu sprawdzamy nie to, czy piszemy zachęcające do kliknięcia wiadomości marketingowe, tylko to, czy dany dostawca usługi wysyłania wiadomości e-mail jest skuteczny, czyli potrafi dostarczyć wiadomość e-mail m.in. do Twojej skrzynki, najważniejszy krok – w sumie X z 4, bo tyle łącznie będzie wiadomości w  ramach testu – kliknij w znajdujący się poniżej link, tak by system mógł zarejestrować dostarczenie wiadomości do Twojej skrzynki:

LINK

Z góry dziękuję, i do kolejnej wiadomości :-)

Pozdrawiam, Patryk

Największa różnica była w sposobie prezentowania linku. W przypadku testu pierwszego (Amazon SES 01) link był prezentowany w formie adresu URL, np.:

https://webinsider.pl/*/?id=1234567890

W przypadku testu drugiego (Amazon SES 02) link był prezentowany w formie tekstu „kliknij w ten link”.

Piszę o tym dlatego, że kliknięcie link było monitorowane m.in. za pomocą przekierowania (dynamicznie tworzony adres URL, który później kierował na faktyczny adres docelowy), a cześć dostawców poczty, jak i programów pocztowych w takich sytuacjach – gdy URL wyświetlany jest inny niż docelowy – albo kieruje na link wyświetlany zamiast realnego, albo na link realny, a nie wyświetlany, a jeszcze inne pozwalają wybrać.

I choć w przypadku tego testu nie miało to znaczenia, bo zabezpieczyłem się również na taką możliwość, to piszę o tym bardziej jako o pewnego rodzaju ciekawostce, bo czasem jednak może mieć to znaczenie.

Mautic i skrypt PHP na służbie

Kolejnym ważnym, a w pewnym sensie najważniejszym elementem całej procedury testowej, była obsługa całego procesu. Nie tylko od strony samych wysyłek, ale również monitorowania kliknięć w znajdujący się w każdej wiadomości link. W każdej z 4 wiadomości link kierował na specjalnie napisany w tym celu skrypt PHP, który m.in. na podstawie zawartych w adresie URL informacji dokonywał zapisu rekordu do bazy. I choć na takim skrypcie pewnie można by oprzeć cały test, to dla mnie było to zdecydowanie za mało, i skrypt ten służył głównie weryfikacji wyników z głównego narzędzia.

A w tej roli – głównego narzędzia – obsadziłem oprogramowanie Mautic w najnowszej wersji (Mautic 3). Nie tylko wysyłałem z niego wszystkie wiadomości (łącznie z zaproszeniem do udziału w teście), ale też za jego pomocą monitorowałem kto, kiedy i w jaki link (w której wiadomości) kliknął. Na tej podstawie adres e-mail (pełniący role identyfikatora uczestnika testu) był automatycznie przypisywany do odpowiedniego segmentu (Amazon SES 01, Amazon SES 02, grupa kontrolna 01, grupa kontrolna 02). Przy tej okazji Mautic wykonywał jeszcze kilka innych operacji, takich jak np. przypisywanie punktów za aktywność, tak by łatwiej było później wyniki przenieść do Excela, i zamienić na wykresy. Ale o tym więcej będzie przy omawianiu wyników testu.

Czemu nie kliknąłeś we wszystkie linki? ;-)

Na koniec, po odczekaniu kilku dni od wysyłki testowych wiadomości, skontaktowałem się ze wszystkimi, którzy nie potwierdzili otrzymania wszystkich wiadomości, by dopytać o powody. Uzyskane z tego „wywiadu pogłębionego” informacje znajdą się w podsumowaniu testu. W dwóch przypadkach wiadomość z pytaniem o brak reakcji zadziałała też motywująco. Na tyle, że nie było przypadku (adresu e-mail), który nie zdobyłby przynajmniej jednego punktu, a więc jego użytkownik nie kliknąłby w link w przynajmniej jednej wiadomości testowej (Amazon SES lub kontrolne).

Raporty DMARC i odbicia

Choć sam dla większości domen mam skonfigurowany również rekord DMARC (Domain-based Message Authentication), w tym również dla domeny, z której były wysyłane wiadomości w ramach testu (Webinsider.pl) to w wynikach testu z góry postanowiłem pominąć raporty, jakie w ramach tego mechanizmu przychodzą. Dlatego, że taki raport – pomijajac brak wskazania w rekordzie w DNSach – zazwyczaj przychodzi, ale nie musi przyjść (nie musi zostać wysłany). Dlatego, że takie raport trzeba każdorazowo przetwarzać, bo sam z siebie jest mało czytelny. Również dlatego, że wykorzystane w ramach testu adresy były świeżo zweryfikowane (albo moje, albo osób, które dopiero co się do testu zapisały, przy okazji weryfikując swój adres e-mail). Dodatkowo by raport został wysłany, wiadomość musi wcześniej zostać dostarczona do serwera pocztowego obsługującego dany adres e-mail, co w pewnym sensie wykluczało się z celem testu…

Z tych samych powodów w teście nie uwzględniałem mechanizmu monitorowania odbić, jakie oferuje większość operatorów usług typu SMTP.

Wyniki pierwszego mini testu SMTP SaaS

Skoro założenia testu mamy już za sobą, możemy (w końcu ;-)) przejść do wyników testu. Bo choć założenia mogą być dla niektórych ciekawsze niż same wyniki, to pewnie większość osób jednak właśnie na wyniki czeka (i ew. wnioski ;-)).

Na początek Amazon SES w grupie ogólnej, czyli wszystkie adresy e-mail biorące udział w teście:

W tym wariancie Amazon SES w grupie ogólnej potwierdzenia, czyli kliknięcia w link w odpowiedniej wiadomości mamy na poziomie 98,02 i 99,01%.

W grupie adresów będących pod moją kontrolą (bezpośrednia lub pośrednią) Amazon SES w obu przypadkach uzyskał 100% skuteczności:

Powyższy wynik dotyczy zarówno klasycznych adres e-mail, jak i adresów tymczasowych.

Zbiorcze zestawienie wyników pierwszego mini testu SMTP SaaS

Tak więc wynik dla grupy ogólnej (wszystkie adres e-mail) wygląda następująco:

1. miejsce: Amazon SES 02 z wynikiem 99,01%
2. miejsce: Amazon SES 01 z wynikiem 98,02%

Wynik dla adresów e-mail będących pod moją kontrolą wygląda następująco:

1. miejsce ex aequo: Amazon SES 01 i 02 z wynikiem 100%

Dla adresów tymczasowych nie będę powtarzał wykresu, bo jak już pisałem, w obu przypadkach mamy 100%, jeśli chodzi o dostarczalność.

Na koniec – przynajmniej części z wykresami –  jeszcze podsumowanie udziału/aktywności w teście:

To, co cieszy, to 100% udział, czyli na każdym adresie e-mail, który trafił do testowej puli, wykonano przynajmniej jedną akcję, czyli kliknięto przynajmniej w jeden testowy link. Za co dziękuję zwłaszcza subskrybentom naszego Newslettera, którzy zgłosili się do testu.

Jeśli chodzi o liczbę interakcji, to 97,05% adresów (przepraszam, że tak bezosobowo, ale w przypadku tego testu to właśnie adres e-mail jest punktem odniesienia) uzyskało 2 punkty, jeśli chodzi o Amazon SES, czyli potwierdziło otrzymanie obu wiadomości.

A już jako ciekawostkę dodam, jeśli chodzi o całkowitą liczbę interakcji na wszystkich 4 wiadomościach, to 95,05% adresów uzyskało 4 punkty, czyli maksymalny wynik (1 punkt za każdy potwierdzony e-mail/link). Dalej mamy 0,99% adresów z 3 punktami, 2,97% z dwoma, i 0,99% z 1 punktem.

Odbiorcza, oferty, a nawet i SPAM

Cyferki cyferkami, liczby liczbami, procenty procentami, ale bez dodatkowego kontekstu wiele można stracić. Dlatego przy okazji tego testu i o to postarałem się zadbać. Stąd cześć adresów „musiała być” pod moją kontrolą, a każdego, kto nie odhaczył całej czwórki, dopytywałem o powody.

Bo jak już pisałem, wiadomości obecnie mogą trafić nie tylko do skrzynki odbiorczej lub SPAMu, ale też i do różnej maści „inteligentnych folderów”, takich jak np. „oferty”, gdzie z doświadczenia wiem, nie każdy zagląda. I choć wiadomość przeszła przez filtr SPAMu, to użytkownik jej nie widzi, bo zamiast do skrzynki głównej trafiła do ofert. A patrząc na rynek skrzynek e-mail, można raczej uznać za pewnik, że tego typu „filtrowania” będzie tylko więcej.

I tak dla przykładu w skrzynkach pocztowych u takich dostawców, jak Yandex, ProtonMail, Microsoftu (Outlook.com, HotMail) i Gmail wszystkie wiadomości trafiły bezpośrednio do skrzynek odbiorczych (przynajmniej wg informacji, które posiadam).

W przypadku Onetu, Gazeta.pl, Interii (i ich „eksperymentalnej odnogi” int.pl), oraz WP i o2 (obecnie to jedno i to samo) wiadomości często trafiały do SPAMu (przynajmniej wg informacji, które posiadam).

Jak widać z powyższego, uzyskana w ramach testu dość wysoka (i potwierdzona) dostarczalność w dużej mierze wynikała z determinacji uczestników testu, którzy w poszukiwaniu ważnych wiadomości zaglądali również do katalogu SPAM.

I to pomimo tego, że – jak widać na powyższej grafice – wiadomości wysyłane w ramach testu uzyskują wynik 10 na 10 w teście Maile Tester.