Affiliate – Splittesting af CTA-knapper

Call To Action knap testDette er et gæsteblog-indlæg af Thomas Frost fra http://SEO-mand.dk. Thomas bor i Indonesien og driver sine forretninger derfra.

Over det seneste år har jeg lagt ekstra mærke til ham, da han har været meget aktiv på Google+.

Så da jeg fik en mail om jeg var interesseret i et gæsteindlæg omkring splittest af Call-To-Action knapper på en affiliate side, så sagde jeg naturligvis “ja tak”.

- Mikael

Opgave: Optimering af CTR på http://mobilabonnementpriser.dk

Om siden: Finder billigste mobilabonnement, ud fra søgekriterier som taletid, SMS-forbrug og datatrafik, blandt de operatører, der benytter sig af affiliate marketing.

Testsoftware: http://visualwebsiteoptimizer.com/ – split URL test

Indledning – Hvad skal vi teste?

Splittesting er enormt interessant, og den største udfordring er at begrænse sig.

Splittesting kræver ganske mange visninger og konverteringer, før man har et resultat man statistisk set kan stole på. Derfor gælder det om at plukke de lavest hængende frugter først, og når vi taler affiliate, er call-to-action knapper, et rigtigt godt sted at starte.

Det er både nemt og tager kun ganske kort tid at sætte op.

Efter nogle gode indspark fra bl.a. Mikael Rieck her fra antphilosophy.com, Anders Saugstrup og Michael Aagaard, blev det besluttet, at første test skulle være på knappen ”Bestil her”, som vises ud for hvert mobilabonnement.

Denne skulle testes i forhold til ”Mere info”, hvor farven er den samme og kun teksten er ændret.

Tanken er at ”Bestil her” måske er for aggressivt i forhold til, at mange måske endnu ikke er klar til at bestille, men blot søger yderligere information, før de bestiller.

Dermed kan en del interesserede muligvis blive skræmt fra at klikke på knappen, eller ikke finde det interessant, da de dybest set søger flere informationer, før de beslutter sig for at bestille.

Hvilken variation scorer højest?

De to knapper, der er testet, ser således ud:

vs.

Resultat: ~17 % højere CTR på variationen ”Mere info”

Konvertering for hele testen kan ses her:

Grunden til jeg kun oplyser den procentuelle stigning i CTR, og ikke CTR´en totalt, er at kollegaer i affiliatebranchen kan bruge dette tal og sammeligne med deres sider om samme emne, så hellere lade dem gætte lidt ;)

Som man kan se, lå variationen (den lilla) bedst fra start til slut.

For at få et resultat, der er statistisk sikkert nok, har testen kørt indtil vi havde over 900 kliks. Testen kunne sagtens have kørt længere, så vi havde større sikkerhed for om forbedringen er 17 % eller +- nogle procent, men det vigtigste var at finde frem til en forbedring, så vi kan komme videre med flere tests.

I den forbindelse vil jeg dog advare imod at stoppe splittests for hurtigt. Denne test er statistisk valid, selvom den kunne være mere sikker, men man skal ikke stoppe sine tests, før man har et resultat, som man med stor sikkerhed kan stole på.

Brug denne A/B Split Test Significance Calculator for at verificere, at din test har kørt med tilstrækkeligt antal visninger og konverteringer, til at du kan regne med resultatet.

A/B Split Test Significance Calculator

Derfor er den endelige konvertering lavere, end den forøgede CTR

Når man skal vurdere den samlede succes for denne splittest, skal man huske, at se på budskabet på knapperne.

Havde det været en test imellem to knapper med samme tekst, f.eks. ”Bestil her”, hvor man havde ændret farven, ville en øgning på CTR på 17 %, med stor sandsynlighed give udslag i 17 % flere signups i sidste ende.

I dette tilfælde, har vi ændret teksten og budskabet fra at være købs-fokuseret, til at være informations-fokuseret. Så en del af de ekstra brugere, vi sender videre, er måske kun interesseret i information og ikke i køb.

Hvorom alting er, så er en stigning på 17 % i CTR dog bestemt noget, der nok skal slå igennem i et eller andet omfang i sidste ende.

Konklusion

Vi har opnået en øget CTR på 17 %, men vi ved faktisk ikke præcist, hvor meget ekstra salg de giver i sidste ende.

Vi kunne faktisk godt måle dette ved at oprette dobbelte affiliate konti og sætte databasen op med de to versioner af alt.

Dette ville være langt mere tidskrævende, end at opsætte en enkelt knaptest på det eksisterende site. Vi valgte derfor den nemme løsning, da målet i første omgang er at øge CTR gradvist.

Vi er sikre på, vi nok skal få udbytte at øgningen i sidste ende, selvom vi ikke måler det præcist.

Kommentarer

  1. Kristian Konradsen skriver

    Interessant indlæg og jeg står selv og skal igang med at splitteste mine knapper.

    Alt efter, hvilken side man har og hvor meget information man leverer til de besøgende, tror jeg, at der er forskel i den tekst man skal have på knapperne.

    Jeg har “læs mere” på mine knapper, men da jeg jo har alt den information brugerne skal vide, tror jeg, at teksten “bestil her” eller “køb nu” vil virke bedre på min side – men det vil testen jo vise.

    Når resultatet er signifikant vil der nok komme et lille indlæg ud af det.

    Derudover sætter jeg testen op med flere affiliate id’s så jeg kan se om indtjeningen følger med den øget CTR.

  2. skriver

    En mulighed ved split-testing af knapper, er også at ændre lidt på URL’en således knap A og B sender noget ekstra data med i form af fx et variant-navn.
    Normalt kan man jo smide nogle ekstra parametre med i ens affiliate link, som på den måde giver mulighed for at skelne salg, uden at skulle rode med forskellige affiliate IDs.

  3. skriver

    Det er et rigtigt godt forslag som Lars kommer med.

    De fleste netværk giver mulighed for at medsende en ekstra variabel i klikket (hos os hedder den uid)

    Det gør nemlig at du kan se hvilken test der genererer hvilke salg, og dermed kan du beregne indtjeningen.

    Det kunne være interessant at høre fra Thomas om stigningen på de 17% gav flere salg (med hensyntagen til cookieperioder). Mit gæt er ja, da 17% er meget.

  4. skriver

    Det er altid spændende med splittests.

    Det jeg synes er interessant ved denne er at den mindre forpligtigende knap konverterer højere. Det er måske meget naturligt fordi folks mindset i dette tilfælde er et helt andet sted (informationsmode i stedet for købsmode). Det understøtter blot at man i høj grad skal tænke købsprocessen ind når der testet på knapper og dets lige.

    Og ja – det ville være spændende, hvis du kunne gøre som Lars skriver og sende ekstra data parametre med.

  5. skriver

    Tak for kommentarerne, det ser ud til vi muligvis skal køre testen igen, hvis de forskellige udbydere alle giver mulighed for at sende ekstra id med, hvilket jeg ikke var klar over.

    @Ken

    Jeg kender ikke den ekstra omsætning, da min jeg blot fik til opgave at optimere CTR, men med 17 % flere der går videre, skal der nok være nogle ekstra salg i sidste ende. Men jeg håber mobilabonnementpriser er med på at lave testen igen med den sporing der er mulighed for. Problemet er at vi også har andre tests vi gerne vil have kørt, men så kan vi jo spore på dem fremover.

  6. skriver

    Spændende illustration af splittest, som jeg selv kunne tænke mig at udføre lidt mere videnskabeligt. Men som du selv er inde på skal der vel altid testes på konverteringer og ikke klik?

  7. skriver

    @Erik

    Det ideele er at teste på konverteringer, eftersom det er det der giver penge i kassen. Jeg er dog ret sikker på at det giver flere penge i kassen at sende 17 % flere videre, men jeg er helt enig i at det videnskabeligt kunne være interessant at vide præcist. Men vi har fået nogle gode råd i denne tråd til hvordan vi kan teste det, så det gør vi ved kommende tests.

    Hvorom alting er, er det brandinteressant at den forholdsvis lille ændring kan skabe så stor en ændring i CTR, og jeg håber mest bare denne forholdsvis hurtige lille test kan inspirere til at andre får gang i at splitteste, og husker at dele ud af deres erfaringer.

  8. skriver

    Først og fremmest super fedt at der i den grad er kommet så fede gæsteindlæg på det sidste…

    Det viser jo hvor vigtigt det er altid at tænke på din kundes mindset, fremfor at tænke i hvad vi selv ønsker at kunden skal gøre…
    Altså, vi vil gerne have dem til at bestille abonnementer, men kunden er jo lige et trin bagefter vores ønske…
    kunne være rigtig interessant at se en måling på hvilken version der så i sidste ende genererer størst indtjening :)

  9. skriver

    En rigtig fin gennemgang! Jeg er meget nysgerrig efter en opfølgning med data, der viser, hvad der skete med den endelige konvertering. Psykisk er der ganske stor forskel på, om et menneske vil “Bestille her” eller have “Mere information”. Lad os endelig høre!

  10. Mikael skriver

    Vil gerne slutte mig til kredsen af mennesker der gerne vil høre omfølgningen på testen. 17% er nemlig rigtig flot og selvom det “kun” betyder 5% mere salg, så er det stadig fantastisk blot ved at skifte lidt tekst på en knap.

  11. Adrian Kaule skriver

    Jeg må også tilslutte mig dem som ønsker at se noget konverteringsdata.
    Et tænkt eksempel kunne være at man havde testet med frasen
    “vind en gratis iphone” der formentlig havde performet endnu bedre,
    Men ej skaffet flere salg til kunden.

    Jeg har set eksempler på flotte løft i CTR fra produktside til basket,
    Som ikke har resulteret i en højere slut konvertering. Ergo er flere bare faldet fra igen.
    “du kan trække et æsel til truget, men ej tvinge det til at drikke” :)

  12. skriver

    Hej Thomas.
    Et rigtig godt indlæg, synes jeg.
    …og som rosenstand også nævner, kunne det være spænende at høre om konverteringen så var meget mindre end de 17% forøgelse af clicks, men det er vel noget vi selv må teste. :)

  13. skriver

    Hej Thomas
    Det er et rigtig godt indlæg og som du siger er 17% noget man skal gøre noget ved. Jeg plejer dog hver gang jeg laver en test at sætte to mål op. Både Engagement, som er standard i Optimizely.com, som jeg bruger og så et mål der er selve konverteringen.

    Jeg har nemlig som dig oplevet at Engagement steg med 23%, men at ordrene faldt med 3% og det har man jo ikke lyst til :-) Testen havde i øvrigt en validitet på 97,6%.

    Du kan se mit indlæg på min blog om samme emne, dog skrevet som en guide til dem der gerne vil teste på Golden Planets shop løsning. I bunden kan du blandt andet se noget fra en af mine test med begge mål sat op. Tjek den her http://www.sitepoint.dk/ab-splittest-pa-goldenplanets-shop-ab-split-test-opnbizbox/

  14. skriver

    @Lennart Øster

    Hvor mange ordrer testede du på da du fik negativt resultat?

    Da vi i første omgang testede CTR og fandt forøgelsen på 17 %, skulle vi bruge nogle tusinde visninger, men vi skal jo bruge langt flere hvis vi skal have et statistik sikkert resultat når vi også måler konverteringerne til salg i sidste ende.

    I hvert led der måles på kan der jo være store statistiske udsving, og hvis man ønsker at sikkert resultat i sidste led også, skal der jo være nogle tusinde kliks og tilsvarende mange salg.

    Er du sikker på din test tager højde for den statistiske sikkerhed i sidste led og man derfor med rimelig sikkerhed kan regne med faldet på 3 %?

    @Alle andre

    Sidens ejer er i gang med at snakke med sine udviklere, så jeg håber vi snarest kan sætte en test op med sporing hele vejen. Den kommer dog til at skulle køre i rimelig lang tid, da antal kliks vs antal salg også skal være statistik sikkert (eller komme meget tæt på).

  15. skriver

    Det er faktisk muligt at måle salget direkte på samme tid med splittesten.

    Det kræver desværre bare, en lidt voldsom opsætning med egen server og timestamp.
    Jakob fra action caller kan finde ud af det -og det er på alt organisk trafik, ikke noget pixel tracking halløj.

    Det er jo desværre det tilbagevendende irriterende ved affiliate – målingen på det faktiske salg er svært.

    Om ikke andet, kunne det være interessant at sætte testen på igen og kører med pixeltracking – så kunne adwords trafikken måles kontra direkte salg -så er vi da tæt på.

  16. skriver

    @Thomas

    Jeg så mit svar ikke var blevet registreret. Du spurtgte hvor mange ordre vi testede på. Jeg tester altid som monimum en uge og i denne her situation var det på 125 ordre. Så jeg synes at tested a meget valid.
    Jeg giver dig dog ret i at der skal en vis mængde ordre til og har man som shopejer ikke mere end et par stykker om dagen er det en svær test.

  17. Nina skriver

    Hej Thomas,

    Hvad er forskellen på den Significance calculator du henviser til, og så VWOs anden udregning, der kommer og fortæller dig hvornår en test er valid?

    Jeg spørger fordi jeg har haft nogle meget underlige resultater, hvor version B i Test 1 klart vandt over version A (signifikant både i følge VWOs normale udregning, og også i følge den significance udregner du har vist P = 0.009).

    I Test 2 testede jeg videre med version B, som nu tabte stort til version C og D, hvilket er ok. Men Version B i sig selv konverterede nu 7% mod 13% i den første test – signifikant med p = 0,026)

    Så jeg er meget i tvivl om hvornår jeg kan stole på de resultater der kommer i VWO – selv når den siger det er signifikant.

    Nogen råd?

  18. skriver

    Som Nikolaj mener jeg også at det der er interessant her er at den mindre forpligtigende knap har en højere CTR – om det så også salgsmæssigt konverterer højere kan vi jo så have en formodning om.
    Men er der ikke en 3. løsning som ikke nævnes – hvorfor ikke både tage moren og datteren, læs at benytte såvel “bestil her” OG “mere info.
    Og skal det så være:
    “bestil her” eller “køb”, “køb her”, “læg i kurv” osv.
    “mere info” eller “info”, “se varen”, “læs mere” os.

    Split test er interessant – ja bestemt – men de fortæller jo kun om den skal være sort eller hvid og virkeligheden er jo at langt mere farverig.

    Hertil kommer at mange test rent statistisk ikke er valide, fordi få virkelig har den fornødne viden herom. Det kunne være super interessant hvis “man” fik koblet en Master Black Belt på området så vi rent statistisk ikke bare fik split test men en dybdegående statisk valid info om de mange muligheder på tværs af sites.

    Omvendt – ja tendensen er vist klar – er forstået og jeg skal vist selv have kigget på mit eget site :)
    Så tak for en god artikel – ganske brugbar.

  19. skriver

    Fedt indlæg og yderst relevant!

    Ved at smide forskellige sub_id på de 2 knapper, ville man nemt kunne spore hvilken knap der resulterede i en konvertering – uden at skulle have flere konti.
    Jeg er imponeret over at det giver 17% bare at ændre teksten – Jeg troede det var den kradse grønne farve der stjal fokuset :D

  20. Matias Aabye skriver

    Super spændende indlæg.
    Skal selv i gang med Split testning på vores side.
    Og den er svær, fordi hvis man bruger f.eks. “Køb Her” / “Bestil Her”, så tror jeg også at flere folk bliver lidt bange ved at klikke på linket, da de måske tror at de bestiller MED det samme de klikker på knappen.
    Hvor omvendt “Mere Info”, er måske lidt mere trygt at klikke på, da man så ikke “Tvinger” folk til at bestille. Men omvendt mister man måske også dem som er klar med det samme til at bestille.
    Må lave noget split testning snarest på mit egen side! :)

  21. Eva jensen skriver

    Et super indlæg der virkelig har åbnet mine øjne op for hvor meget der kan være at hente ved at teste forskellige varianter. Personligt har jeg ikke rigtigt kørt nogle split-tests endnu, men den her artikel har helt sikkert gjort at spilt-testing er rykket højere op på min to-do liste. Tak.

Skriv et svar

Din e-mailadresse vil ikke blive offentliggjort. Krævede felter er markeret med *

Send en mail til mig, når der kommer nye kommentarer.