Lista LLM-ów bożych - kalendarium

Obraz wygenerowany przez Qwen

 

 

 

 

 

 

 

 

 

 

Po raz pierwszy usłyszałem o LLM gdy pojawił się Chat GPT. Mój brat zaczął go entuzjastycznie używać na studiach i jakoś niechętnie zacząłem go używać. Pamiętam, że Chat GPT miał duże problemy z logowaniem użytkownika (wylogowywał go losowo po jakimś czasie) i z wydajnością. Często zdarzały się problemy z odpowiedziami - chat myślał myślał i wyrzucał błąd.

Proces Markowa (łańcuch Markowa)

Proces Markowa jest szczególnym przypadkiem procesu stochastycznego. Jego cechą charakterystyczną jest to, że prawdopodobieństwo kolejnego zdarzenia zależy jedynie od wyniku poprzedniego zdarzenia, a nie od całej historii procesu. Przeszłe stany nie mają wpływu na kolejne wyniki procesu. 

Łańcuchy Markowa wykorzystuje się w:

• Modelowaniu różnorakich systemów, zmieniających stan w sposób losowy
• Prognozowaniu
• Niektórych algorytmach  
  

Przykładem procesu Markowa może być random walker. W tym algorytmie po każdym kroku losujemy kierunek przemieszczania się naszej krzywej, biorąc pod uwagę jedynie punkt, w którym obecnie się znajduje jej koniec.

Andriej Markow był rosyjskim matematykiem żyjącym w latach 1856 - 1922, badającym teorię prawdopodobieństwa.

Proces stochastyczny

Proces stochastyczny to taki proces, w którym opisujemy zbiór zmiennych losowych na bazie jakiegoś wymiaru (zbioru indeksów), jakim zwykle jest czas. Przykładem procesu stochastycznego może być na przykład zbiór wypisanych kolejnych wyników rzutu kostką czy kart wyciągniętych z talii. Obydwa te zdarzenia są losowe.

Rozkład jednostajny ciągły (Uniform Distribution)

Jest używany do generowania randomowych liczb, z których każda powinna mieć takie same prawdopodobieństwo wystąpienia. Standardowym przykładem jest rzut kostką przyjmujący wartości od 1 do 6, czy rzut monetą dający wynik orzeł albo reszka. 

W tym rozkładzie, nie można mieć wartości pośrednich. Rzut kością nie da nam wyniku 2.5.

Process Poissona

 Process Poissona jest powiązany z rozkładem Poissona. Badając go zakładamy, że średni czas pomiędzy zdarzeniami jest znany, ale dokładny czas pomiędzy nimi różni się, nie jest taki sam. Zdarzenia nie zachodzą na raz, ale są od siebie niezależne. Sam proces przedstawia serię takich zdarzeń, a dokładniej, model występowania tych zdarzeń w czasie.

Wykorzystywany jest w wielu dziedzinach nauki i biznesu, w których bada się zdarzenia niezależne, występujące z podobną częstotliwością:

• Przewidywanie liczby użytkowników na stronie WWW
• Przewidywanie ilości zabookowanych pokojów w hotelu
• Modelowanie sprzedaży produktu
   

Nie będzie pasował natomiast do zdarzeń zależnych, jak na przykład opóźnienia pociągów.

Rozkład wykładniczy (exponential distribution)

Ostatnio pisałem o Rozkładzie Poissona, czyli takim rozkładzie, w którym zdarzenia zachodzą ze stałą częstotliwością i są niezależne od siebie.

W rozkładzie wykładniczym modelujemy czas oczekiwania na kolejne zdarzenie, przykładowo, ile minut minie, między kolejnymi wizytami ptaka w naszym ogrodzie. 

Na podstawie ksiązki J. Starmera, na osi x - czas

Na chłopski rozum - jeśli jakieś zjawisko występuje co jakiś czas regularnie, to im krótszy czas oczekiwania, tym większe prawdopodobieństwo, że dane zdarzenie wystąpi. Przykładowo, jeśli zbadamy awarie oprogramowania, to najczęściej dzieją się one zaraz po wgraniu zmian, a następnie jest ich coraz mniej.

Rozkład Poissona, prawo małych liczb

Rozkład Poissona nie ma nic wspólnego z trucizną, został opracowany przez Simeona Denisa Poissona, francuskiego matematyka żyjącego od 1781 do 1840 roku we Francji.

Opisuje on (rozkład), że dane zdarzenie wystąpi określoną ilość razy, biorąc pod uwagę średnią ilość danych zdarzeń w czasie lub przestrzeni. Przykładowo - możemy obliczyć, ile razy ptaki usiądą na naszym płocie w ciągu godziny, ilu klientów odwiedzi sklep od 12 do 15 czy ile requestów obsłuży backend naszej strony.

Zdarzenia brane pod uwagę w rozkładzie Poissona powinny być niezależne od siebie, czyli nie ma znaczenia, jaki czas upłyną od ostatniego zdarzenia. To nie łapanie ryb, gdzie pluskanie po wyciągnięciu dużej sztuki, odstraszy pozostałe ryby 𓆝 𓆟 𓆞 na kilka minut.

Rozkład dwumianowy, binomial distribution (Rozkład Bernouliego)

Rozkład dwumianowy dotyczy prawdopodobieństwa dyskretnego, czyli takiego, w którym zmienna przyjmuje skończone lub określone wartości. Przykładem może być rzut monetą lub kostką do gry. W rozkładzie dwumianowym mamy takie parametry, jak:

• Liczba prób n
• Prawdopodobieństwo sukcesu w każdej z prób p
  
• Liczba sukcesów - k

Książki na temat ML które polecam

The StatQuest Illustrated Guide to ML - Josh Starmer

Książka Josha Starmera ze świetnego kanału StatQuest. Mocno w stylu książek HeadFirst. Dobrze tłumaczy podstawowe zagadnienia, także te związane ze statystyką. 0 kodu.

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow - Aurelien Geron

Nieco bardziej poważna książka na temat ML

Deep Learning with Python - Francois Chollet

Książka autora biblioteki Keras

The Elements of Statistical Learning
Data Mining, Inference, and Prediction

Książka omawiająca temat od podstaw, dostępna za darmo - https://hastie.su.domains/ElemStatLearn/

W jaki sposób filmy z YT mieszają Ci w głowie

Jakiś czas temu zauważyłem poważny problem, związany z oglądaniem filmów na YT. Otóż odnoszę wrażenie, że większość twórców tworzy filmy nie z własnego przekonania, ale po to, by nabijać sobie wejścia (0 zaskoczenia). Wprowadza to dezinformację i prowadzi wśród widzów do niewłaściwych wniosków i szkodliwych zachowań.

Przykładowe tematy

• Odstawianie kawy
• Minimalizm
• Ciągła migracja z ekosystemu Apple na inne i w drugą stronę
• Mindfulness
• Wstawanie o 5 rano 
• Deep work / Eat that Frog / GTD
  
• Kolejny mądry trend z USA