Szukaj
Close this search box.
Szukaj
Close this search box.

Blog

Pułapki w samplowaniu negatywnych zdarzeń

Opublikowano: 2 lata temu

Udostępnij:

Blog

Pułapki w samplowaniu negatywnych zdarzeń

Często podczas pozyskiwania informacji, otrzymujemy od naszych klientów dostęp do danych składających się wyłącznie z pozytywnych zdarzeń np. listy przedmiotów zakupionych przez każdego użytkownika lub klikniętych reklam.

Wiele modeli uczenia maszynowego, aby móc prawidłowo oszacować prawdopodobieństwo pozytywnego zdarzenia potrzebuje też negatywnych zdarzeń. Mogą to być przedmioty, których użytkownik nie kupił podczas wizyty w sklepie (pomimo tego, że miał szansę je kupić) lub reklamy, które zobaczył, ale ich nie kliknął. W części projektów tych negatywnych zdarzeń jest tak dużo, że przetwarzanie ich wszystkich jest zbyt czasochłonne. W takich sytuacjach stosujemy samplowanie negatywnych zdarzeń, czyli wybór losowego podzbioru ze wszystkich potencjalnie dostępnych negatywnych zdarzeń.

W takiej strategii konstrukcji zbioru treningowego trzeba uważać na kilka pułapek:

  • ważne jest to, aby nie wylosować jako zdarzenia negatywnego, zdarzenia, któremu odpowiadało identyczne zdarzenie pozytywne,
  • trzeba losować z pełnej przestrzeni dostępnych negatywnych zdarzeń, ale nie dopuszczać np. do tego, aby do zbioru treningowego trafiły sprzeczne dane np. zdarzenia zakupu produktu niedostępnego danego dnia lub zakupu ze sklepu stacjonarnego, który tego dnia był nieczynny.
  • w sytuacji, gdy chcemy odróżnić od siebie dobre rekomendacje produktów od średnich rekomendacji warto, aby w zbiorze treningowym w wylosowanych zdarzeniach były dobre i średnie rekomendacje, a nie dobre i kiepskie. Stosowaliśmy taką strategię przy okazji konkursu Recsys 2016 https://arxiv.org/pdf/1612.00959.pdf 
  • jeśli predykcje modelu są używane jako dokładne oszacowania prawdopodobieństwa np. w celu policzenia oczekiwanego przychodu z wyświetlenia reklamy, to predykcje modelu wymagają rekalibracji. Robimy to dokładnie tak, jak zespół Facebooka w sekcji 6.3 w tej publikacji.

Pozostałe wpisy

Najświeższe wiadomości od MIM Solutions

Śledź nas

Aktualności

INVICTA laureatem konkursu „Też zmieniasz świat?”

Klinika leczenia niepłodności INVICTA została laureatem organizowanego przez NoFluff Jobs konkursu „Też zmieniasz świat?„. INVICTA to nasz główny partner przy dotyczącym leczenia niepłodności projekcie Folliscan.

Aktualności

Światowy Dzień Mózgu 2022

Czy wiedziałeś, że już ponad 50% firm korzysta z aplikacji opartych na sztucznej inteligencji do podejmowania decyzji opartych na danych? Co więcej, 8 na 10