W dziedzinie e-commerce kluczowe jest dopasowanie przedstawianych treści do potrzeb konkretnego użytkownika. W MIM Solutions zbudowaliśmy algorytm dedykowany dla firmy HitDuck, który po kliknięciu użytkownika w reklamę produktu automatycznie wybiera stronę, na którą przekierować użytkownika, jak również kolejne strony, tworzące tzw. ścieżkę konwersji.

Do tego zagadnienia został zastosowany model wielorękiego bandyty (Multi-armed Bandit), który modeluje grę, w której w każdym ruchu musimy wybrać jeden spośród k automatów, z których każdy ma określone (lecz nieznane) prawdopodobieństwo pi nagrody. Strategia wyboru musi działać na zasadzie pewnego kompromisu pomiędzy eksploracją nowych automatów a eksploatacją tych, które działają dobrze. W naszym zastosowaniu “automatami” są ścieżki dostępne w danym momencie. Nagrodą jest złożenie zamówienia produktu przez użytkownika (tzw. konwersja).

W naszym podejściu zastosowaliśmy algorytm UCB Tuned, który w każdym ruchu (w praktyce co ustalony interwał czasu, np. 30 sekund) wybiera ścieżkę j, j{1, …, k}, dla której maksymalizowane jest wyrażenie:

gdzie rjto liczba dotychczasowych konwersji ścieżki j, njto liczba wyborów ścieżki j, n =n1+…+nkto łączna liczba dokonanych wyborów, a 𝜉 to mnożnik eksploracji wyznaczony eksperymentalnie.

Model jest w fazie eksperymentów – zarządza kilkunastoma kampaniami reklamowymi z różnymi produktami.