English
Datart, der er medlem af HP TRONIC-gruppens portefølje, er en af de førende aktører inden for detailsalg af forbrugerelektronik i Tjekkiet og Slovakiet. Uanset om det er i fysiske butikker eller salg via webshops, har Datart været med os i 32 år. Det har modtaget priserne Mastercard Merchant of the Year 2021 i kategorien elektroteknik samt Most Trusted Brand 2020 og 2021. I 2022 øgede HP TRONIC-gruppen, herunder DATART, sin omsætning med 5 % til 25,3 milliarder CZK. EBITDA-resultat på 942 millioner CZK.
I denne artikel vil du lære, at:
- der altid er en grund til at teste
- implementeringen af testen skal være perfekt
- en A/B-test kan være en god start
- det er muligt at arbejde sig frem til signifikante resultater på relativt kort tid
- lejlighedsvis testning kan overraske
Var det analysen, nysgerrigheden eller intuitionen i begyndelsen?
Flere profilerede kunder startede med Luigi’s Box samme sted som Datart. I begyndelsen implementerede de Luigi’s Box Analytics på deres webshop. Da analysen allerede gav mange oplysninger, var spørgsmålet, om Luigi’s Box kunne være en lige så pålidelig partner inden for søgning eller autofuldførelse ved brug af Luigi’s Box Search, som den var med analysen.
Datart indser, hvor vigtig søgning er for deres webshops, og hvad der kan påvirke dens korrekte eller forkerte indstilling. Udover omkostninger er der også andre vigtige parametre, såsom genereret omsætning, konverteringsrate og antal gennemførte køb. En ansvarlig tilgang inkluderer bestemt test og verificering af hypoteser. Datart innoverer, hvilket kan ses på flere områder. De gør deres bedste for at forbedre brugeroplevelsen, og det er fuldt ud forståeligt, at de leder efter bedre løsninger, der hjælper brugerne og øger overskuddet på samme tid.
De udviklede deres søgemaskine internt, og på et tidspunkt var det nødvendigt at verificere, om en ekstern søgemaskine kunne være lige så god, hvis ikke bedre, end den interne.
At udrulle en test er ikke kun et par klik væk
Uanset hvad vi ønsker at teste, er det afgørende at have gennemtænkt alt på forhånd. For eksempel metodologi, sammenlignede værdier, testens gennemførlighed eller evalueringsmetode. På den anden side teknisk implementering, sværhedsgrad og krav til udviklere eller eventuelle tekniske specialiseringer eller specifikationer. Testen kan køre på både frontend- og backend-integration. I Datarts tilfælde var det den mere komplicerede og komplekse backend-integration. De fleste kunder er professionelt og personligt forberedt på lignende testning, så håndteringen af sådanne opgaver giver normalt ingen komplikationer.
Heldigvis har Datart et team af specialister, som ikke undervurderede nogen aspekter, leverede trin-for-trin information og specifikationer samt justerede de nødvendige værdier for at kommunikere korrekt med vores system via API’en.
Allerede før man kører en A/B-test, er der brug for en række test for at eliminere mulige fejl, som i væsentlig grad kunne påvirke resultatet af en sådan test.
Hvorfor en A/B-test?
Der er mange måder at prøve eller teste noget på. Den første mulighed er at erstatte én løsning med en anden og undersøge, om den nye løsning er mere effektiv. Her opstår der dog en grundlæggende risiko.
Med en kundestørrelse som Datart kan selv en lille afvigelse i lave procentenheder manifestere sig som et betydeligt fald i overskuddet, hvilket er uacceptabelt for enhver virksomhed.
Men en mere sikker mulighed er først at bruge en såkaldt offline A/B-test. Eksisterende søgeresultater, f.eks. over en periode, sammenlignes med de resultater, som det testede værktøj tilbyder. Vi har udviklet denne testmetode og har brugt den i lang tid, hvilket betyder, at vi grundlæggende eliminerer risikoen for, at en ny søgning på visse fraser vil vise dårligere eller ingen resultater. Dette gør testning mere sikker, selv for mere prominente kunder, hvor en selv lille afvigelse kan have en betydelig indvirkning på grund af antallet af søgninger på de enkelte fraser.
Efter en offline A/B-test overgår kunderne problemfrit til en “live” online A/B-test. Grundlaget er en metodologi, hvor nogle besøgende tildeles én version og andre en anden. Visningsforholdet mellem den ene og den anden løsning vælges, hvilket kan være 50:50. I begyndelsen kan det dog f.eks. være 80:20, så kunden kan sikre sig, at den testede variant er bedre end eller lig med den oprindelige variant. Til sidst sammenlignes begge resultater relativt, og hvis inputværdierne, f.eks. antallet af sessioner, var signifikante, kan vi gå videre til evalueringen.
Resultatet på under to uger
Hvis vi skulle teste specifikke tilfælde, eller hvis vi havde en webshop med lav trafik, ville testen tage for lang tid, fordi det lave antal besøg ikke ville være signifikant nok. Det ville simpelthen ikke være muligt at afgøre, hvilken af de sammenlignede løsninger der er testens vinder.
Nogle kunder tester i en uge, andre i måneder. Når vi tager trafikmængden og antallet af konverteringer i betragtning, kan vi estimere, hvor lang tid testen vil tage. Efterfølgende vil vi kontrollere resultatet via statistisk signifikans for at mindske risikoen for et uventet resultat. Alt er altid defineret på forhånd. Således at testens start og slutning, såvel som de sammenlignede parametre og evalueringsmetoden, er klare. Reglerne må ikke ændres “undervejs i spillet”.
I dette tilfælde havde vi nok inputdata, god timing og en præcis evaluering af testen. Testen hos Datart fandt sted fra 1. til 12. september 2022. På under to uger blev de nødvendige data indsamlet – og det var muligt at evaluere testen og udpege vinderen.
Luigi’s Box som vinder af A/B-testen
Den sammenlignende A/B-test blev implementeret på den tjekkiske og slovakiske version af webshoppen. Begge test adskiller sig på visse værdier, da hvert marked i hvert land fungerer forskelligt ved søgning.
På begge de testede webshops var fordelingen 50:50. Hvor 50 % af brugerne fik den oprindelige version af søgningen, og 50 % fik versionen med Luigi’s Box Search.
Resultaterne af begge test var signifikante i henhold til den valgte metodologi.
Den primære sammenligningsparameter var “Konverteringsrate” – konverteringsraten for brugere, der søger.
Efter at have evalueret testene fandt vi ud af, at Luigi’s Box Search sammenlignet med den oprindelige søgeversion beviseligt var bedre på begge sprogversioner af webshoppen.
En anden interessant oplysning er, at vores løsning eliminerede forkerte resultater og søgninger uden resultater for visse kategorier. Luigi’s Box kan være det pålidelige svar, hvis du står over for et lignende problem med relevans.
Konklusion
De valgte parametre viste, at den kunstige intelligens og maskinlæring, som Luigi’s Box anvender, kunne øge konverteringsraten, i dette tilfælde med 14-19 %. Afhængigt af segmentet og søgestatussen kan forskellen i konverteringsrate være endnu højere. Sideløbende med stigningen i konverteringsraten steg salget naturligvis også – hvilket er den ønskede tilstand. Efter sådanne testresultater er det ikke overraskende, at Datart vil bruge Luigi’s Box Search som sit søge- og autofuldførelsesværktøj på begge testede webshops.
Dette eksempel viser tydeligt, at de mange års forskning og udvikling af vores værktøj har en høj merværdi for kunden.
