A/B Testing nell'eCommerce

C'è una frase che sento ripetere con una regolarità quasi liturgica nelle call con colleghi, nelle presentazioni ai clienti, nei post LinkedIn di mezzo settore: "Il nostro approccio è data-driven."

Traduzione reale, nella maggior parte dei casi: abbiamo cambiato il colore di un bottone, aspettato tre giorni, guardato un numero che saliva o scendeva, e dichiarato un vincitore. Data-driven.

Lavoro con eCommerce e sistemi di marketing automation da anni, e ho visto fare A/B test su qualsiasi cosa: la dimensione di un'icona, la posizione di una virgola nell'oggetto di un'eMail, la sfumatura di verde di un pulsante "Aggiungi al carrello". Quasi sempre con la stessa convinzione, cioè che si stesse ottimizzando e che i dati stessero parlando.

Nella stragrande maggioranza dei casi, però, quei dati non dicono niente. Fanno rumore, e noi lo scambiamo per un segnale.

Il mito della variabile isolata

L'A/B testing si basa su un presupposto teorico preciso: cambi una variabile, tieni tutto il resto costante, misuri la differenza. Funziona benissimo... in laboratorio.

Una pagina prodotto non ha una variabile indipendente e una dipendente. Un eCommerce è un sistema in cui ogni elemento influenza gli altri, in modi che non puoi prevedere e che il test non è progettato per misurare.

Cambi l'hero image della homepage e il conversion rate sale del 12%. Vittoria? Forse. O forse il nuovo layout ha spostato l'attenzione su un copy che prima nessuno leggeva. O forse il banner in basso (quello che non hai toccato) adesso ha un contrasto diverso con l'immagine nuova e attira più clic. O forse è semplicemente giovedì, il tuo pubblico compra di più a fine settimana e il campione non era abbastanza grande per filtrare quella variabile.

Non lo sai, e il test non te lo dice. Ti dice che la variante B ha performato meglio della A in quel periodo, con quel traffico, in quel contesto. Non ti dice perché, né se è replicabile, e soprattutto non ti dice se la prossima modifica annullerà quel vantaggio: stai mettendo le mani su un sistema in cui tutto è collegato.

La dipendenza da test: quando ottimizzare diventa un tic

C'è un pattern che ormai riconosco a distanza. Un team inizia a fare A/B testing con le migliori intenzioni, i primi test danno risultati visibili, arriva l'entusiasmo. E da lì si comincia a testare tutto, in modo compulsivo, senza un'ipotesi strategica a monte e senza chiedersi "perché sto testando questo?" (che dovrebbe essere la prima domanda, prima di qualsiasi azione).

Il colore del bottone, il font della CTA, l'ordine delle immagini nel carosello, l'emoji nell'oggetto dell'eMail, l'angolo della foto prodotto. Ogni test produce un "vincitore" che entra nel patrimonio di certezze del team, e quel patrimonio poggia su fondamenta fragilissime: campioni troppo piccoli, test chiusi troppo presto, correlazioni scambiate per causalità. Più di tutto, un baseline che si è spostato n volte da quando hai iniziato a testare, senza che nessuno lo aggiornasse.

Dopo sei mesi di test settimanali il team è convinto di avere un eCommerce "ottimizzato sui dati". Quello che ha davvero è il risultato di decine di micro-decisioni prese su dati statisticamente insignificanti, in un sistema dove ogni decisione ha alterato il contesto di tutte quelle successive. A me ricorda più una slot machine con i grafici.

Il caso dell'eMail marketing: l'illusione dell'oggetto vincente

C'è un contesto in cui questa dinamica si vede benissimo, ed è quello in cui lavoro ogni giorno: l'eMail marketing, e in particolare Klaviyo.

Klaviyo permette di fare A/B test sugli oggetti delle eMail, sia nelle campagne che nei flussi. La funzionalità è ottima; il modo in cui viene usata quasi sempre, secondo me, è sbagliato.

Lo scenario tipico: un brand crea un flusso di abandoned checkout e imposta un A/B test sull'oggetto dell'eMail. Variante A: "Hai dimenticato qualcosa nel carrello?". Variante B: "Il tuo ordine ti aspetta - completa l'acquisto.". Dopo qualche settimana la A ha un open rate del 47%, la B del 43%. La A viene dichiarata vincitrice, la B eliminata, e il flusso gira con un solo oggetto. Ottimizzazione completata.

Solo che quel flusso non viene ricevuto una volta sola. Un utente attivo può rientrarci due, tre, quattro volte in sei mesi, ogni volta che abbandona un carrello, e ogni volta si trova davanti lo stesso identico oggetto: "Hai dimenticato qualcosa nel carrello?"

La prima volta funziona, la seconda forse. Alla terza l'utente non la apre nemmeno: riconosce il pattern, la cataloga mentalmente come "la solita eMail automatica" e scorre oltre. Il tuo oggetto "vincente" è diventato rumore di fondo.

Usare le varianti per variare

Qui ribalto la prospettiva. La possibilità di avere due, tre, quattro oggetti diversi per la stessa eMail di un flusso io la uso come strumento creativo, molto prima che come strumento di test.

L'obiettivo è che un utente che riceve quell'eMail per la terza volta in quattro mesi non si trovi davanti la stessa frase. In questo scenario conta poco quale oggetto performi meglio: conta creare varianza.

In Klaviyo significa configurare il flusso con più varianti dell'oggetto distribuite in modo equo, senza un A/B test attivo che cerca un vincitore. Primo passaggio nel flusso: "Hai lasciato qualcosa nel carrello." Secondo passaggio, tre mesi dopo: "Ci siamo accorti che non hai completato l'ordine." Terzo passaggio: "Questi articoli stanno andando a ruba, li teniamo per te?"

Ogni variante parla allo stesso utente in un momento diverso, con un angolo e un tono diversi, e il flusso evita di diventare invisibile.

Vale per il recupero carrello, ma anche per i flussi di post-acquisto, per le winback, per i browse abandonment: per qualsiasi flusso in cui lo stesso utente può entrare più volte e la ripetizione è il nemico naturale dell'efficacia.

Quando ha davvero senso fare A/B testing?

L'A/B testing resta uno strumento utile, a patto di usarlo nel contesto giusto, per rispondere alla domanda giusta e con abbastanza dati per ottenere una risposta significativa.

Ha senso quando stai prendendo una decisione strategica che non puoi invertire facilmente. Cambiare l'intera struttura della pagina prodotto. Spostare la proposta di valore above the fold vs. below the fold. Testare una social proof in primo piano contro un approccio minimalista. Confrontare due layout della homepage radicalmente diversi.

In quei casi un test con un campione sufficiente, una durata adeguata (minimo due settimane, meglio di più) e una differenza significativa tra le varianti ti dà un'informazione reale: se una direzione strategica risuona meglio con il tuo pubblico. Quel dato vale qualcosa.

Un test sul font size di un bottone, invece? Sull'emoji nell'oggetto di un'eMail? Sulla posizione di un badge "spedizione gratuita"? Ottieni una risposta precisa a una domanda che non valeva la pena fare, e nemmeno stabile, visto che cambia appena modifichi qualcos'altro nel sistema.

La varianza come strategia

Quando gli utenti vedono i tuoi touchpoint più e più volte (eMail, notifiche, pagine del sito), la varianza va coltivata di proposito, e nessun test la sostituisce.

L'utente migliore che hai è quello che torna più spesso, ed è anche quello che si stanca per primo dei tuoi pattern comunicativi. Se ogni eMail di un flusso ha lo stesso oggetto, ogni campagna la stessa struttura e il tono è sempre identico, hai costruito un sistema che penalizza proprio i clienti che vorresti premiare.

Per questo, per me, avere più varianti è la strategia, e non un compromesso in attesa di trovare "quella giusta". Probabilmente la cosa migliore è averne tante diverse: è la diversità stessa a tenere vivo l'interesse.

Non lo troverai scritto in molte guide di eMail marketing, perché contraddice il paradigma dell'"ottimizzazione continua" che il settore vende da anni. Ma chiunque abbia guardato davvero i dati di un flusso su 6-12 mesi (non su due settimane, non su un campione di 300 persone) sa che la ripetizione consuma l'engagement senza fare rumore. E sa che nessun test ti darà un oggetto così perfetto da reggere la terza, quarta, quinta esposizione dello stesso utente.

Il buon lavoro è lento

Mi hanno insegnato, e l'esperienza me lo ha confermato ogni volta, che il buon lavoro richiede tempo. Vale per i processi produttivi, per la qualità, per il marketing. L'A/B testing fatto bene è lento, costa traffico e spesso ti dice cose che non vuoi sentire. Quello fatto male è veloce, gratificante, e ti racconta esattamente la storia che volevi sentirti raccontare.

Se testi senza esserti prima chiesto "perché?", stai giocando ai dati. E se usi le varianti dei tuoi flussi solo per trovare un vincitore da rendere permanente, stai buttando via lo strumento creativo più utile che hai per tenere viva l'attenzione dei tuoi utenti migliori.

Promesso = fatto. Ma prima di promettere un risultato, assicuriamoci di aver fatto la domanda giusta.

Vuoi un audit dei tuoi flussi Klaviyo per capire dove la ripetizione sta uccidendo l'engagement? Parliamone.