Playground AI

Eksperymentuj z algorytmami AI bezpośrednio w przeglądarce.

Mechanizm atencji

Mechanizm atencji to przełomowa innowacja architektury Transformer, która zrewolucjonizowała przetwarzanie języka naturalnego. Pozwala modelowi dynamicznie określać, które fragmenty wejścia są najważniejsze dla przetwarzanego tokenu. Self-attention oblicza powiązania między wszystkimi parami tokenów w zdaniu, dzięki czemu model rozumie kontekst i zależności na dowolną odległość.

Czego się nauczysz

  • Jak wektory Query, Key i Value tworzą wagi atencji
  • Czym jest self-attention i jak model „patrzy" na inne tokeny
  • Jak macierz atencji ujawnia relacje między słowami
  • Dlaczego atencja zastąpiła mechanizmy rekurencyjne w NLP

Jak korzystać z wizualizacji

Wizualizacja self-attention z transformera na polskim zdaniu. Macierz heatmapy pokazuje wagi atencji między tokenami — cieplejsze kolory oznaczają silniejsze powiązanie. Kliknij na token żeby zobaczyć na co „patrzy".

Ładowanie wizualizacji...

Poznaj teorię

Wizualizacja to świetny start, ale pełne zrozumienie wymaga teorii. Przeczytaj artykuł w bazie wiedzy, żeby dowiedzieć się jak to naprawdę działa pod maską.

Przeczytaj artykuł →