Le email di carrello abbandonato sono tra le automazioni più redditizie di un e-commerce: raggiungono persone che hanno già scelto un prodotto e sono quasi arrivate al pagamento. Proprio per questo è facile ritoccarle a istinto, cambiando oggetto, sconto o grafica, e poi convincersi che "ha funzionato". Un test A/B sulle email di carrello abbandonato serve a evitare questo errore: confrontare due versioni in condizioni identiche e leggere la differenza con un minimo di rigore.
Sto impostando un test di questo tipo nel negozio online su cui lavoro: l'ipotesi è che ricordare la possibilità di pagare a rate, oltre a un eventuale sconto, aiuti a recuperare più carrelli. Il test non è ancora concluso e non pubblico risultati che non ho. Quello che posso condividere è il metodo, che vale per qualsiasi variante tu voglia provare.
Parti da una sola domanda
Un test A/B risponde a una domanda sola. "Questa email funziona meglio con il messaggio sul pagamento a rate o senza?" è una domanda valida. "Quale email è migliore?", cambiando insieme oggetto, immagini, sconto e testo, non lo è: se la B vince, non sai perché.
Regola pratica: cambia una sola cosa tra A e B. Tutto il resto (orario di invio, destinatari, oggetto, sconto) resta uguale.
Scegli le metriche prima di cominciare
Decidi in anticipo cosa misurerai, altrimenti ti verrà la tentazione di scegliere dopo la metrica che fa vincere la tua variante preferita. Le metriche utili per il recupero carrelli sono quattro:
- Tasso di recupero: quanti carrelli, tra quelli a cui hai inviato l'email, diventano ordini.
- Ricavo per email inviata: la misura più onesta, perché tiene conto sia di quanti comprano sia di quanto spendono.
- Valore medio dell'ordine: il pagamento a rate, per esempio, potrebbe spostare gli acquisti verso carrelli più alti.
- Disiscrizioni e segnalazioni di spam: una variante che recupera di più ma infastidisce di più va letta con cautela.
La metrica principale è una sola, di solito il ricavo per email o il tasso di recupero. Le altre servono a controllare che la vittoria sia sana.
Dividi il campione in modo casuale
Le due varianti devono andare a gruppi comparabili. Il modo più semplice e corretto è la divisione casuale 50/50 dei carrelli abbandonati, senza criteri (non "la A ai clienti vecchi e la B ai nuovi"). Verifica che lo strumento che usi assegni la variante in automatico e che lo stesso cliente non riceva entrambe.
Quanti carrelli servono
Qui si sbaglia più spesso. Se il tasso di recupero di partenza è intorno al 5% e vuoi rilevare con affidabilità un aumento di un punto percentuale, servono all'incirca 8.000 carrelli per ciascuna variante. Con pochi carrelli, la differenza che vedi è quasi sempre rumore. Se il tuo volume è basso, hai due strade: far durare il test più a lungo, oppure testare cambiamenti più grandi, che producono differenze più facili da rilevare.
Durata e calendario
- Fai durare il test per settimane intere, perché il comportamento cambia tra feriali e weekend.
- Non fermarlo appena una variante è avanti: nei primi giorni i numeri oscillano molto, e fermarsi sul picco favorevole produce falsi vincitori.
- Evita periodi anomali (saldi, promozioni straordinarie, festività) o, se non puoi, assicurati che coinvolgano entrambe le varianti nello stesso modo.
Come leggere il risultato
A fine test confronta la metrica principale tra A e B, e chiediti tre cose:
- La differenza è abbastanza grande rispetto al campione? Uno strumento di calcolo della significatività statistica aiuta: se la probabilità che sia un caso è alta, non hai un vincitore.
- Le metriche di controllo sono sane? Più recupero, ma più disiscrizioni o ordini più piccoli, può non essere una vittoria.
- Il risultato ha senso? Se non riesci a spiegare perché la variante dovrebbe funzionare, diffida.
Se il test non produce una differenza chiara, è comunque un risultato: ti dice che quel cambiamento non vale lo sforzo, e puoi passare a un'altra ipotesi.
Il test che sto facendo
Nel mio caso la variante B aggiunge all'email di recupero un riferimento al pagamento a rate, mentre la A resta com'è. Le due versioni partono agli stessi tempi e vanno a gruppi casuali. Misuro il ricavo per email come metrica principale, controllando valore medio dell'ordine e disiscrizioni. Quando il test sarà concluso aggiornerò questo articolo con i numeri e con quello che ho imparato, anche se il risultato sarà "nessuna differenza".
Domande frequenti
Quanto deve durare un test A/B sulle email?
Finché non hai raccolto il campione necessario e, in ogni caso, per settimane intere. Fermarsi dopo due o tre giorni, anche con una variante molto avanti, è il modo più comune per ottenere un falso vincitore.
Posso testare più cose insieme?
Si può, ma servono molti più carrelli, perché ogni combinazione è un gruppo a parte. Per un negozio medio è meglio fare un test alla volta.
Il pagamento a rate aumenta davvero le conversioni?
Dipende dal prodotto, dal prezzo medio e dal pubblico. Per questo si misura invece di assumerlo: con prezzi più alti l'effetto tende a essere più visibile, ma è proprio ciò che il test deve verificare.
Se hai un e-commerce e vuoi impostare i tuoi test in modo ordinato, o collegare i dati di vendita a un report che si aggiorna da solo, scrivimi. Qui trovi come lavoro: servizi. Per scegliere cosa migliorare per primo, leggi anche quale processo automatizzare per primo.
