Transformery i LLM
Transformery i duże modele językowe — mechanizm atencji, GPT, BERT, fine-tuning, RAG.
Artykuły w tym temacie
Mechanizm atencji (attention) — serce transformera
Mechanizm atencji to innowacja, która umożliwiła powstanie transformerów i dużych modeli językowych. Poznaj self-attention, multi-head attention i macierze Q...
Tokenizacja — jak LLM czyta tekst
Tokenizacja to proces dzielenia tekstu na tokeny — podstawowe jednostki przetwarzane przez LLM. Poznaj algorytmy BPE, WordPiece i SentencePiece, i dowiedz si...
RAG (Retrieval-Augmented Generation) — LLM z własną bazą wiedzy
RAG (Retrieval-Augmented Generation) to technika łącząca LLM z zewnętrzną bazą wiedzy. Model wyszukuje relevantne dokumenty i generuje odpowiedź na ich podst...
GPT vs BERT — różnice między modelami językowymi
GPT i BERT to dwa fundamentalnie różne podejścia do budowy modeli językowych opartych na transformerach. GPT generuje tekst autoregresyjnie, BERT rozumie kon...
Prompt engineering — jak pisać skuteczne prompty
Prompt engineering to sztuka i nauka formułowania instrukcji dla modeli językowych (LLM). Poznaj techniki — zero-shot, few-shot, chain-of-thought, system pro...
Fine-tuning LLM — dostosowywanie modelu językowego
Fine-tuning to proces dostosowywania wstępnie wytrenowanego modelu językowego do konkretnego zadania lub domeny. Poznaj techniki — pełny fine-tuning, LoRA, Q...
Halucynacje AI — dlaczego modele językowe kłamią
Halucynacje AI to sytuacje, gdy modele językowe generują treści brzmiące wiarygodnie, ale fałszywe. Poznaj przyczyny halucynacji, typy, metody detekcji i tec...
Polskie modele językowe — PLLuM, Bielik i inne
Polskie modele językowe — PLLuM, Bielik, Herbert, Polbert — to modele AI wytrenowane na polskich tekstach. Poznaj ich architekturę, możliwości i znaczenie dl...