🎰Jak działa parametr Top P w LLM

Parametr top-p jest techniką wykorzystywaną przez modele językowe, do kontrolowania tego, jak bardzo kreatywny i przewidywalny jest tekst. Inaczej nazywany jest próbkowaniem jądrowym (Nucleus Sampling).

Jak to działa?

Gdy wpisujemy prompt, model stara się nam odpowiedzieć, wybierając kolejne słowa. Przykładowy prompt:

Dojeżdżam do pracy...

Model musi wybrać, jakie kolejne słowo nam podpowie i jaką ma ono prawdopodobieństwo:

• samochodem (0.35)
• rowerem (0.25)
• autobusem (0.25)
• telekomunikacją miejską (0.14)
• bentlejem (0.01)

Prawdopodobieństwa sumują się do 100%. Ustawiamy wtedy top-p na 0.90. Model po kolei dodaje kolejne wyniki by suma nie przekroczyła 0.90. Z moich obliczeń wychodzi, że może wziąć tylko 3 pierwsze wyniki. Wartości mniej prawdopodobne zostają odrzucone, a model wylosuje odpowiedź z zestawu:

samochodem (0.35)

rowerem (0.25)

autobusem (0.25)

 Fajnie elegancko. W praktyce działa to jak obcięcie najmniej prawdopodobnych wyników, którego próg możemy regulować za pomocą parametru.

Nieco inaczej działa parametr temperatura (nie mylić z popularną piosenką), opiszę to w jednym z kolejnych wpisów.