Playground AI

Eksperymentuj z algorytmami AI bezpośrednio w przeglądarce.

DQN vs Q-Table

Deep Q-Network (DQN) zastępuje tabelę Q-wartości siecią neuronową, która aproksymuje funkcję Q(s,a). Dzięki temu DQN może generalizować na nowe, nieodwiedzone stany — w przeciwieństwie do Q-Table, która wymaga odwiedzenia każdego stanu. DQN (DeepMind, 2015) był przełomem w RL — pokonał ludzkich graczy w grach Atari, ucząc się bezpośrednio z pikseli.

Czego się nauczysz

  • Jak DQN aproksymuje Q-wartości siecią neuronową
  • Dlaczego Q-Table nie skaluje się do dużych przestrzeni stanów
  • Jak generalizacja DQN działa na nieodwiedzonych stanach
  • Czym różni się szybkość zbieżności obu metod

Jak korzystać z wizualizacji

Porównanie Deep Q-Network (sieć neuronowa) z tabelarycznym Q-learning na siatce 6×6. Oba agenty uczą się jednocześnie na tym samym środowisku. Q-Table zapamiętuje wartości, DQN je aproksymuje siecią neuronową. Widok split z heatmapami wartości Q i strzałkami polityki.

Ładowanie wizualizacji...

Poznaj teorię

Wizualizacja to świetny start, ale pełne zrozumienie wymaga teorii. Przeczytaj artykuł w bazie wiedzy, żeby dowiedzieć się jak to naprawdę działa pod maską.

Przeczytaj artykuł →