Quanda talks #7: A/B testovanie e-mailových kampaní

A/B testovanie e-mailu, niekedy nazývané split test, je odoslanie dvoch verzií jedného e-mailu dvom skupinám príjemcov, aby ste zistili, ktorá verzia má viac otvorení alebo preklikov. V Quande je to samostatný typ e-mailovej kampane, ktorý víťaznú verziu po vyhodnotení sám pošle zvyšku príjemcov. V siedmej epizóde videoseriálu Quanda talks o ňom Honza (Jan Spáčil, CEO Quandy) hovorí s Evou Jordánovou, obchodnou riaditeľkou Quandy: nakoľko sa majú verzie líšiť, ako test nastaviť, ako spoznať víťaza a prečo nahradiť „myslím si“ za „viem“. Video má 12:59 a pod ním je celý prepis.

V kocke

1. Verzie A a B sa majú líšiť len jednou vecou, napríklad predmetom. Inak nespoznáte, čo výsledok spôsobilo.
2. Verziu B vytvoríte jedným klikom ako kópiu verzie A, test je oproti jednoduchej kampani len pár krokov navyše.
3. Príklad z videa: z 1 000 príjemcov dostane 100 verziu A, 100 verziu B a zvyšných 800 automaticky víťaza.
4. Vyhodnotenie nastavíte na 1 hodinu až 7 dní, Quanda odporúča 1 deň.
5. Výsledky ukážu štyri štatistiky: verzia A, verzia B, ich porovnanie a celok.
6. Keď posielate 10 000 ľuďom, aj o 5 % lepší výsledok sa prejaví v dopytoch a objednávkach.

Stručne

• Čo to je: siedma epizóda Quanda talks, videorozhovor s prepisom.
• Kto hovorí: Jan Spáčil, CEO Quandy, a Eva Jordánová, obchodná riaditeľka Quandy.
• Pre koho: pre každého, kto posiela e-mailové kampane a chce vedieť, nie odhadovať, čo jeho príjemcovia otvárajú a na čo klikajú.
• Čo je potrebné: tarif Professional alebo Enterprise a zoznam príjemcov, technicky aspoň 11 kontaktov, pre spoľahlivý výsledok skôr stovky.
• Koľko stojí: vo variante Len e-maily tarif Professional od 3 € mesačne bez DPH pri ročnej platbe, nový účet má 14 dní zadarmo s plnou funkčnosťou. Cenu pre váš počet kontaktov vypočíta cenník.

Dĺžka videa: 12:59

Kapitoly videa

Kliknutím na kapitolu spustíte video od daného miesta.

1. 00:00
   Úvod
2. 00:27
   Čo je to e-mailová kampaň s A/B testovaním? Ako to funguje?
3. 01:13
   Nakoľko majú byť e-maily A a B iné? Tipy na tvorbu e-mailu na A/B testovanie
4. 02:49
   Ako postupovať pri tvorbe kampane?
5. 04:51
   Ako nastaviť podmienky testovania?
6. 06:04
   Ako spoznám, čo fungovalo lepšie?
7. 06:55
   Čo všetko môžem v e-mailoch testovať?
8. 07:35
   Oplatí sa testovať e-maily opakovane?
9. 10:03
   Na čo má vplyv A/B testovanie e-mailov?
10. 11:43
    V ktorom tarife je tento typ kampaní dostupný?

Záznam rozhovoru v textovej podobe si môžete prečítať nižšie.

Čo je A/B testovanie e-mailu

Je to e-mailová kampaň, v ktorej vybraným príjemcom posielate súčasne dve verzie e-mailu, A a B. Quanda zmeria, ktorá verzia mala viac otvorení alebo preklikov, a dá vám tak spätnú väzbu, čo u vašich príjemcov funguje lepšie.

Eva

Tak, ahoj Honzo.

Honza

Ahoj Evi.

Eva

Dnešná téma je A/B testovanie. Myslím si, že veľa klientov ani nevie, čo to vlastne je a čo si pod tým predstaviť. Tak nám na začiatok povedz, čo to je a na čo sa to dá použiť.

Honza

Dobre. A/B testovanie je jeden z druhov e-mailových kampaní, hovoríme tomu e-mailová kampaň s A/B testovaním. V rámci tejto kampane posielam vybraným príjemcom, ktorých chcem osloviť, rovno súčasne dve verzie e-mailu. A tento typ kampane mi pomôže vyhodnotiť, ktorá verzia funguje lepšie.

Pretože sú to dva e-maily, hovorí sa tomu A/B testovanie: je to e-mail verzie A a e-mail verzie B a posielajú sa súčasne. Vyhodnotí sa to tak, aby som potom vedel, ktorý e-mail zafungoval lepšie. Či už z hľadiska otvorenia, prekliku alebo toho, čo práve v rámci testovania skúmam.

Nakoľko sa majú verzie A a B líšiť

Len jednou vecou. Keď verzie zmeníte v ôsmich bodoch naraz, dozviete sa, ktorá vyhrala, ale nie prečo. Honza preto odporúča testovať častejšie a zakaždým inú vec: raz predmet, druhýkrát obrázky, tretíkrát tlačidlá.

Eva

Čiže si pod jednou kampaňou vytvorím dva rôzne e-maily. Nakoľko rôzne? To je na mne?

Honza

Jasné, môžeš ich urobiť úplne rôzne. Je to však nepraktické. Keď e-maily urobíš veľmi iné, majú iný predmet, iný obsah, úplne iný vzhľad, jeden má obrázky a druhý nie, systém ti v štatistikách ukáže: áno, lepšie fungoval prvý e-mail, napríklad Áčko. Lenže ty teraz nevieš, čo vlastne spôsobilo, že funguje lepšie. Či to bol iný predmet alebo iný obsah.

Preto zákazníkom väčšinou odporúčam, aby robili zmien čo najmenej a A/B testovanie robili častejšie, ale zakaždým ho zacielili na niečo iné:

• Úplne rovnaký e-mail, ktorý sa líši len predmetom.
• Rovnaký predmet, ale jeden e-mail má obrázky a druhý nie.
• Jeden e-mail má odkazy ako tlačidlá, druhý ako textové odkazy.
• Jeden e-mail je grafický, s obrázkami, farbami a pozadím, a druhý vyzerá ako obyčajný textový e-mail v Outlooku.

Honza

Tú zmenu teda urobiť takú, aby som jednoducho spoznal, čo fungovalo lepšie a čo horšie, a bol schopný povedať, čo presne to bolo. Pretože keď zmením osem vecí, ťažko sa to potom spozná.

Eva

Takže potom spoznám, podľa čoho to je.

Honza

Áno.

Ako na to dnes: chcete viac otvorení, nechajte obsah bez zmeny a meňte len predmet a titulok. Chcete viac preklikov, nechajte predmet a meňte počet, farbu alebo text tlačidiel a odkazov. Ako napísať predmety, ktoré stoja za test, radí článok Ako napísať predmet e-mailu, námety na test preklikov nájdete v článku Miera prekliku e-mailu.

Ako vytvoriť kampaň s A/B testovaním v Quande

Rovnako ako jednoduchú kampaň, len s niekoľkými krokmi navyše. Vyberiete príjemcov, vytvoríte e-mail verzie A, tlačidlom ho skopírujete do verzie B, v ktorej zmeníte jednu vec, a na strane Odoslanie nastavíte podmienky testu.

1. V časti E-mailové kampane zvoľte Vytvoriť novú kampaň a v časti A / B testovanie kliknite na Vytvoriť.
2. Vyberte príjemcov rovnako ako v jednoduchej kampani, štítkami alebo filtrom.
3. Vytvorte e-mail verzie A vrátane predmetu a skontrolujte obsah aj odkazy.
4. Kliknite na Uložiť a vytvoriť verziu B. Quanda e-mail skopíruje.
5. Vo verzii B zmeňte jednu vec, napríklad predmet.
6. Na strane Odoslanie spustite test na spam, nastavte podmienky A/B testovania a pošlite si testovacie e-maily oboch verzií.
7. Kampaň odošlite hneď alebo naplánujte.

Eva

Dobre, mám dva vytvorené e-maily. Pošlú sa súčasne všetkým klientom alebo časti klientov? Ako to funguje?

Honza

Dopredu si vyberiem príjemcov, rovnako ako v jednoduchej e-mailovej kampani: zákazníkov alebo skupinu kontaktov, ktorú chcem osloviť. A je zaujímavé, že keď som spomenul jednoduchú e-mailovú kampaň, A/B testovanie je oproti nej asi šesť klikov navyše. Nie je to žiadny zložitý systém, pretože e-mail, ktorý chcem poslať, musím vytvoriť aj tak.

Vyberiem si teda kontakty, ktoré chcem osloviť, úplne rovnako, ako keď posielam hromadný e-mail v jednoduchej kampani. Vytvorím e-mail, ktorý chcem poslať. Povedzme, že chcem otestovať otváranosť, teda ktorý predmet zafungoval lepšie. Vytvorím e-mail vrátane predmetu tak, ako ho chcem poslať, otestujem ho na spam a celý skontrolujem, aby bol v poriadku z hľadiska obsahu a odkazov.

V Quande je potom tlačidlo na vytvorenie kópie. To, čo mám, je verzia A. Kliknem na uložiť a vytvoriť kópiu a Quanda mi rovnaký e-mail skopíruje a vloží do tej jednej kampane ako verziu B. Jedným klikom mám pôvodný e-mail a z neho hneď kópiu.

V kópii vymením predmet, doplním napríklad slovo „novinky“, proste predmet nejako zmením. Alebo sa stavím s kolegom pri stole: on vymyslí jeden predmet, ja druhý, a stavíme sa o pivo, kto vyhrá. Takže z toho je taká vnútrofiremná hra. V každom prípade vymením len predmety, e-maily nechám úplne rovnaké, takže na nich už nič netvorím ani netestujem.

Ako to dnes funguje v Quande: tlačidlo sa volá Uložiť a vytvoriť verziu B. Jednotlivé kroky popisuje pomoc E-mail editor v kampani A/B testovanie a Filtrovanie kontaktov a výber príjemcov v kampani A/B testovanie. Kedy použiť A/B test a kedy seriál alebo logickú kampaň, vysvetľuje online kurz zadarmo Pokročilé kampane v Quande.

Ako nastaviť podmienky A/B testovania

Na strane Odoslanie v sekcii Nastavenie A / B testovania zvolíte tri veci: aká veľká časť príjemcov dostane testovacie verzie, podľa čoho sa vyberie víťaz a za ako dlho. Po uplynutí času Quanda víťaznú verziu automaticky pošle všetkým ostatným príjemcom.

Honza

Strana odoslania sa od jednoduchej kampane líši jednou sekciou, a to je nastavenie testovania. Nastavím si, koľkým ľuďom chcem poslať Áčko a koľkým Béčko. Kampaň potom funguje tak, že časti príjemcov sa pošle Áčko a časti Béčko.

Nastavím si napríklad, že na test chcem použiť 20 % vybraných príjemcov. Mám ich napríklad tisícku, aby sa to dobre počítalo. 20 % je 200, takže 100 ľudí dostane Áčko a 100 ľudí Béčko. Majú iné predmety a Quanda zbiera štatistiky ako pri všetkých odoslaných e-mailoch. Plus si nastavím, za ako dlho od odoslania tých dvoch e-mailov sa má vyhodnotiť víťazná varianta.

Kampaň potom víťaznú variantu automaticky dopošle všetkým zvyšným príjemcom. Na 200 ľuďoch to otestujem, 100 Áčko, 100 Béčko, a 800 príjemcov čaká, ktorá z variantov vyhrá. Po čase, ktorý si zvolím, dostane tých 800 ľudí automaticky víťaznú variantu. Nielenže mi to dá spätnú väzbu, čo funguje lepšie, ale to, čo funguje lepšie, rovno pošle väčšine príjemcov v kampani.

Z našej praxe: pri vlastných testoch v Quande nepoužívame kratší interval ako 24 hodín, pretože za hodinu alebo dve väčšina ľudí e-mail ešte neotvorí a výsledok skreslí náhoda. Jeden náš klient testoval meno odosielateľa a zistil, že e-maily od „Katarína z“ a názvu firmy ľudia otvárajú častejšie ako e-maily len s názvom firmy alebo len s e-mailovou adresou. Ďalšie tipy z praxe nájdete v zázname webinára Ako na pokročilé kampane v Quande.

Ako dlho nechať test bežať: Quanda odporúča 1 deň, po 24 hodinách sú výsledky najspoľahlivejšie. Mailchimp na takmer 500 000 A/B testoch zistil, že pri testoch podľa otvorení určia dve hodiny dlhodobého víťaza vo viac ako 80 % prípadov a dvanásť hodín vo viac ako 90 %. Postup nastavenia popisuje pomoc Nastavenie odoslania v kampani A/B testovanie.

Ako spoznať, ktorá verzia vyhrala

Zo štatistík kampane. Kampaň s A/B testovaním ich má štyri: zvlášť pre verziu A, zvlášť pre verziu B, porovnanie oboch verzií v grafoch a celkové výsledky, ktoré sčítajú testovacie skupiny aj rozoslanie víťaza.

Eva

A ako potom spoznám, kto to pivo vyhral? Čo spoznám zo štatistík?

Honza

Štatistiky sú oproti jednoduchej e-mailovej kampani rozšírené. Mám tam štyri záložky: verziu A, verziu B, porovnanie A a B a celkové štatistiky za celú kampaň, teda súčet testovacích e-mailov a doposlania víťaza. Presne vidím, ako ľudia reagovali na Áčko a ako na Béčko. Potom mám samostatnú stránku s porovnaním otváranosti a preklikov v grafoch, kde sú pre každú hodnotu vždy dva pruhy vedľa seba. A celková štatistika mi všetko sčíta, aby som videl celkové výsledky kampane.

Ako to dnes funguje v Quande: na strane s porovnaním nájdete aj to, ktorá verzia vyhrala, s akým predmetom a aký bol interval na výber víťaza, a tiež porovnanie preklikov na jednotlivé odkazy. Štatistiky exportujete do Excelu. Čo znamenajú jednotlivé hodnoty, popisuje pomoc Štatistiky v kampani A/B testovanie. Quanda pri otváranosti odfiltruje viac ako 80 % automatických otvorení, napríklad z Apple Mail, takže porovnanie verzií podľa otvorení má vypovedaciu hodnotu.

Čo všetko môžete v e-maile testovať

Predmet, poradie prvkov, farbu a podobu tlačidiel, dĺžku predmetu aj textu, obrázky proti textu. Predmet testujete podľa otvorení, všetko vnútri e-mailu podľa preklikov na stránku, kam ľudí posielate.

Honza

Je to pár klikov navyše a používateľ získa skvelý nástroj. Jednak ako sa stávkovať s kolegami, ale hlavne ako zvýšiť efektivitu mailingu. Môžem testovať predmet, ale aj prekliky z kampane. Môžem otestovať, či funguje lepšie, keď dám do e-mailu najprv nadpis, podnadpis, tlačidlo a potom obrázok. Alebo keď to celé prehodím. Alebo či zelené tlačidlá fungujú lepšie ako červené, či krátky predmet funguje lepšie ako dlhý a podobne. Mám nástroj, ktorý mi dáva okamžitú spätnú väzbu na to, na čo moji príjemcovia reagujú lepšie, čo s nimi viac rezonuje a čo prináša lepšie výsledky.

Prečo A/B testovanie opakovať

Pretože jedna z najčastejších chýb marketingu je myslieť si, čo si myslia zákazníci. Opakované testy nahrádzajú „myslím si“ za „viem“ a ukážu, že na dlhoročných zákazníkov môže fungovať iná komunikácia ako na nových. Malá zmena v predmete pritom môže zmeniť výsledok pokojne o 10 %.

Eva

Skoro sa to javí tak, že to nepoužiť raz, ale používať to určite častejšie. Často vidíme niečo a povieme si: toto je super, to je pekné, to bude fungovať. A nenapadlo by nás, že keď namiesto obrázkov dáme text, zafunguje to neraz lepšie.

Honza

Presne, je to ako s akoukoľvek inou reklamou. Môžem si myslieť, čo na zákazníkov bude fungovať, ale to, čo si myslím, nemusí byť vždy to, čo funguje. Často hovorím svojim zákazníkom, že jednou z najčastejších chýb marketingu je myslieť si, čo si myslia zákazníci. A keď mám nástroje, ako to myslenie dať preč a nahradiť ho vedením, teda namiesto „myslieť“ „vedieť“, je to vždy lepšie. Môžem si myslieť, že zákazníci odo mňa čakajú e-mail v nejakej podobe, lenže keď sú to úplne iní ľudia ako ja, moja predstava môže byť úplne chybná.

Honza

Oni čakajú krátky, stručný, výstižný e-mail, a ja som presvedčený, že keď tam napíšem všetko, bude to najlepšie. Alebo si myslím, že čím viac obrázkov a čím viac toho z produktu ukážem, tým viac bude reakcií. Môže to byť pravda a nemusí. A/B test mi dá skutočnú spätnú väzbu, či stručný e-mail bude mať viac preklikov ako dlhý, kde všetko vysvetlím. Nikde nie je povedané, že funguje prvá alebo druhá varianta. Keď to otestujem, mám reálne čísla a viem, čo na konkrétny segment príjemcov fungovalo.

Môžem tam mať zákazníkov, ktorí so mnou spolupracujú päť rokov, a na nich môže fungovať iný typ komunikácie ako na úplne nových zákazníkov. A ešte inak to bude fungovať na tých, ktorí ešte vôbec nekúpili. Keď firmu prevádzkujem 20 rokov a myslím si, že o tom všetko viem, zo skúsenosti to samozrejme môžem trafiť. Napríklad perfektne trafím komunikáciu pre zákazníkov, ktorí od nás kupujú desať rokov, ale už nie pre tých nových. Tí sú o desať rokov mladší, môžu inak premýšľať a byť zvyknutí prijímať komunikáciu úplne inak.

Eva

Hlavne sa tým logicky zvyšuje otváranosť e-mailov, že?

Honza

Otváranosť, prekliky. Idem po výsledku a nerobím stále dookola to isté s očakávaním, že to bude mať iné výsledky. To však neznamená, že to, čo robím dookola, nemôže byť tá najlepšia varianta. Zase je to o tom, či si to myslím alebo to viem. A/B testovanie ma viac priblíži do roviny vedenia: viem, že toto funguje, tak to používam.

Sú ľudia, o ktorých hovorím, že vidia za roh. Povedia: nie, bude to fungovať takto, urobia to a naozaj to funguje. Ja som také šťastie nikdy nemal a vždy som sa viac spoliehal na dáta, prieskumy a výsledky. Buď mi potvrdili moje domnienky a povedal som si: myslím si to dobre. Alebo mi povedali: hele, je to tesne vedľa. Väčšinou to nie je o tom, že by to bolo o 180 stupňov inak. Ale niekedy vymením slovo v predmete, trošku inak urobím štruktúru, dlhé skrátim alebo naopak, a zrazu mám o 10 % iné výsledky.

Tip: A/B test má cenu ako zvyk. Výsledky si zapisujte do zdieľanej tabuľky: čo ste testovali, čo ste čakali, veľkosť skupín a výsledok. Po pol roku máte vlastný zoznam toho, čo pri vašej databáze funguje. Ako testovanie zapadá do pravidelného ladenia kampaní, popisuje diel Quanda talks #12: Prečo posielať e-maily.

Na čo má A/B testovanie vplyv

Na otváranosť, prekliky a v dôsledku na dopyty a objednávky. Keď kampaň ide 10 000 ľuďom a lepšia verzia má o 5 % lepšie výsledky, prejaví sa to v následných konverziách. Niektorí zákazníci Quandy preto nahradili A/B testom 90 % jednoduchých kampaní.

Honza

Keď potom kampaň posielam na 10 000 ľudí a mám o 5 % iné výsledky, prejaví sa to v následných konverziách, dopytoch, objednávkach a podobne. Je to nástroj, ktorý mi na pár klikov pomôže túto kampaň vytvoriť. A musím povedať, že máme zákazníkov, ktorí keď objavili potenciál tejto veci, nahradili 90 % jednoduchých kampaní A/B testovaním. Skoro už neposielajú jednoduché e-mailové kampane, vždy je to A/B test, pretože tým rovno získavajú lepšie výsledky.

Súvisiaci diel: ako zvýšiť otváranosť odosielateľom, predmetom a titulkom, rozoberá Quanda talks #11: Ako zvýšiť otváranosť e-mailov. Aká miera prekliku je normálna a ako ju vypočítať, nájdete v článku Miera prekliku e-mailu.

V ktorom tarife je A/B testovanie

V tarifoch Professional a Enterprise, rovnako ako e-mailové seriály. Vo variante Len e-maily stojí tarif Professional od 3 € mesačne bez DPH pri ročnej platbe. V tarife Standard A/B testovanie nie je.

Eva

Posledná vec, ktorou by som to uzavrela: je A/B testovanie dostupné v akomkoľvek tarife? Alebo je potrebné ísť do vyššieho tarifu?

Honza

V e-mailových kampaniach máme tarify Basic, Standard, Professional a Enterprise a A/B testovanie je rovnako ako e-mailové seriály dostupné od tarifu Professional. Pre tarify Professional a Enterprise je dostupné, pre nižšie nie. Ak je niekto v Standarde a chcel by A/B testovanie alebo e-mailové seriály vyskúšať, je potrebné prejsť na tarif Professional.

Môžem asi prezradiť, že chystáme funkciu skúšobného obdobia aj pre toto rozšírenie. Ak by to chcel niekto skúsiť, stačí napísať na podporu alebo zavolať na naše telefónne číslo zákazníckej podpory a my mu tarif môžeme na skúšku aktivovať. Aby si mohol vyskúšať, či pre neho tá vec má prínos, a až potom ju ďalej používal.

Eva

Super, tak fajn. Ďakujem za tvoj čas.

Honza

Aj ja ďakujem. Uvidíme sa.

Eva

Tak dobre, ahoj.

Poznámka k aktualizácii: rozhovor je z roku 2022. Tarif Basic dnes už nie je, Quanda ponúka tarify Standard, Professional a Enterprise a A/B testovanie je rovnako ako e-mailové seriály v tarifoch Professional a Enterprise. Každý nový účet má 14 dní zadarmo s plnou funkčnosťou, A/B test si teda vyskúšate bez platenia. Ceny pre váš počet kontaktov vypočíta cenník, s výberom tarifu poradíme na konzultácii zadarmo.

Chcete to mať spísané? Celý postup od príjemcov po odoslanie popisuje pomoc Ako vytvoriť a nastaviť e-mailovú kampaň s A/B testovaním. Lekciu o A/B testovaní s tipmi, ako test nastaviť, aby jeho výsledok niečo znamenal, nájdete v online kurze zadarmo Pokročilé kampane v Quande.

Ďalšie diely nájdete v prehľade epizód Quanda talks.