2 wa偶ne metryki w uczeniu maszynowym to odwo艂anie (recall) i precyzja (precision).
Najpierw narysujmy sobie macierz pomy艂ek (Confusion Matrix).
Nano Banana wygenerowa艂o taki obrazek :)
Recall odpowiada na pytanie, ile pozytywnych przypadk贸w uda艂o nam si臋 prawid艂owo wykry膰.
Przyk艂adowo, je艣li mamy 100 os贸b chorych, a model umie rozpozna膰 chorob臋 u 80 z nich, to recall wynosi 80%. Pozosta艂e 20% to wyniki False negatives, bo model niepoprawnie uzna艂 je za zdrowe.
Recall ma wa偶ne znaczenie w systemach, w kt贸rych koszt pomini臋cia False Positive jest wi臋kszy, ni偶 koszt fa艂szywego alarmu.
- Je艣li mamy system medyczny, lepiej jest zrobi膰 fa艂szywy alarm i wys艂a膰 kogo艣 na dodatkowe badania, nawet, je艣li by艂 zdrowy.
- W systemie wykrywania fraud贸w lepiej jest komu艣 zablokowa膰 tymczasowo transakcj臋, ni偶 dopu艣ci膰 do wyp艂acenia pieni臋dzy oszustowi.
Systemy maj膮ce du偶y Recall mog膮 powodowa膰 jednak wi臋cej fa艂szywych alarm贸w i mie膰 mniejsz膮 precyzj臋. Z kolei za du偶a precyzja oznacza, 偶e model zaczyna przegapia膰 przypadki co do kt贸rych mo偶na mie膰 w膮tpliwo艣ci.
Model mo偶e oznaczy膰 ka偶dy przypadek jako pozytywny i wtedy jego recall b臋dzie wynosi艂 100%. Dochodzi wtedy do sytuacji, 偶e wiele rzeczy jest oznaczonych niepotrzebnie jako false postive.
Recall oblicza si臋 dziel膮c TP na TP + FN. Jego inna nazwa to TPR, True Positive Rate.
Precyzja skupia si臋 na oznaczeniu, jakie jest prawdopodobie艅stwo, 偶e je艣li model co艣 zaznaczy艂 jako positve, to jest to prawda. Pomaga to unikn膮膰 fa艂szywych alarm贸w.
Przyk艂adowo, mamy w skrzynce mailowej 100 maili, z czego 90% to jest spam. Model oznaczy艂 100% maili jako spam, czyli recall wynosi 100%. Precyzja jest miar膮 dok艂adniejsz膮, wynosi 90%.
Obliczamy j膮, dziel膮c TP na TP + FP
Precyzja jest g艂贸wn膮 metryk膮 w systemach, w kt贸rych nie chcemy podnosi膰 fa艂szywych alarm贸w. U偶ywana jest mi臋dzy innymi w rekomendacjach na YT czy Spotify, gdzie lepiej jest otrzyma膰 wyniki bardziej dopasowane, ni偶 pokazywa膰 u偶ytkownikowi propozycje jak leci.
