Szukaj
Close this search box.
Szukaj
Close this search box.

Blog

Pułapki w samplowaniu negatywnych zdarzeń

Opublikowano: 2 lata temu

Udostępnij:

Blog

Pułapki w samplowaniu negatywnych zdarzeń

Często podczas pozyskiwania informacji, otrzymujemy od naszych klientów dostęp do danych składających się wyłącznie z pozytywnych zdarzeń np. listy przedmiotów zakupionych przez każdego użytkownika lub klikniętych reklam.

Wiele modeli uczenia maszynowego, aby móc prawidłowo oszacować prawdopodobieństwo pozytywnego zdarzenia potrzebuje też negatywnych zdarzeń. Mogą to być przedmioty, których użytkownik nie kupił podczas wizyty w sklepie (pomimo tego, że miał szansę je kupić) lub reklamy, które zobaczył, ale ich nie kliknął. W części projektów tych negatywnych zdarzeń jest tak dużo, że przetwarzanie ich wszystkich jest zbyt czasochłonne. W takich sytuacjach stosujemy samplowanie negatywnych zdarzeń, czyli wybór losowego podzbioru ze wszystkich potencjalnie dostępnych negatywnych zdarzeń.

W takiej strategii konstrukcji zbioru treningowego trzeba uważać na kilka pułapek:

  • ważne jest to, aby nie wylosować jako zdarzenia negatywnego, zdarzenia, któremu odpowiadało identyczne zdarzenie pozytywne,
  • trzeba losować z pełnej przestrzeni dostępnych negatywnych zdarzeń, ale nie dopuszczać np. do tego, aby do zbioru treningowego trafiły sprzeczne dane np. zdarzenia zakupu produktu niedostępnego danego dnia lub zakupu ze sklepu stacjonarnego, który tego dnia był nieczynny.
  • w sytuacji, gdy chcemy odróżnić od siebie dobre rekomendacje produktów od średnich rekomendacji warto, aby w zbiorze treningowym w wylosowanych zdarzeniach były dobre i średnie rekomendacje, a nie dobre i kiepskie. Stosowaliśmy taką strategię przy okazji konkursu Recsys 2016 https://arxiv.org/pdf/1612.00959.pdf 
  • jeśli predykcje modelu są używane jako dokładne oszacowania prawdopodobieństwa np. w celu policzenia oczekiwanego przychodu z wyświetlenia reklamy, to predykcje modelu wymagają rekalibracji. Robimy to dokładnie tak, jak zespół Facebooka w sekcji 6.3 w tej publikacji.

Pozostałe wpisy

Najświeższe wiadomości od MIM Solutions

Śledź nas

Photo of iso13485 certification
Aktualności

MIM Solutions otrzymuje certyfikację ISO13485

Od 7 października MIM Solutions ma oficjalnie potwierdzoną zgodność z normą ISO13485!   Czym jest ISO13485? Jest to norma opublikowana przez Międzynarodową Organizację Normalizacyjną, która

Aktualności

Rekrutujemy w branży biotechnologicznej

Ula Sankowska, COO w MIM Solutions wzięła udział w Biotech Talent Days – wydarzeniu zorganizowanym przez CEBioForum. 26 października odbył się webinar Biotech Talent Days