Jak to, že počítačový program typu ChatGPT dokáže napsat originální sonet o vázání tkaniček? Jak se ten samý jazykový model dokáže uživit jako terapeut i programátor? A má smysl se velkých jazykových modelů bát?

Pokud jste někdy chtěli porozumět základním principům velkých jazykových modelů (LLMs) a jít nad rámec toho, co pro vás může udělat ChatGPT, tento kurz je pro vás. Snoubí totiž teorii i praxi: nejprve prozkoumáme pomocí interaktivních her principy LLMs, jako např. mechanismus pozornosti a vícevrstvé zpracování vstupů. Poté si vysvětlíme, co to jsou LLM agenti, jak se liší od obyčejných LLM procesů, vyzkoušíme si rozpoznávání problémů vhodných pro LLMs obecně a agenty specificky. Na závěr prozkoumáme etické a bezpečnostní aspekty v tomto rychle se rozpínajícím odvětví.

Předběžný rozvrh (modifikovatelný vývojem v oblasti i zájmy studentů):

– Lekce 1: Základy velkých jazykových modelů a toho, jak mohou modely predikovat slova z tréninkových dat.
– Lekce 2: Hry, které ilustrují mechanismus „pozornosti“ vůči textu a jeho součástem. Zahrajeme si na kolečka v mechanismu jazykového modelu.
– Lekce 3: Identifikujeme skutečné problémy, na které se hodí jazykové modely a LLM agenti, a na které se naopak (zatím?) nehodí.
– Lekce 4: Vysvětlíme si, co je to prompt engineering a workflow design, tj. jak instruovat jazykový model a jak rozdělit komplexní úkol do jednoduchých kroků, které může následovat i relativně hloupý počítač.
– Lekce 5: Zaexperimentujeme si s jednoduchými programy (možná se špetkou kódování – předchozí znalost není potřeba!), abychom implementovali agentní systémy (LLM agenty).
– Lekce 6: Jaké bychom si při využívání velkých jazykových modelů měli klást překážky, ať už etické či praktické (např. bezpečnostní)?

Části kurzu předpokládají, že student bude mít k dispozici laptop, ale kurz lze absolvovat i bez něj.