Jak chatbot píše

Jak to funguje

Jak chatbot píše

Chatbot dostane text a spočítá, jak pravděpodobné je každé možné další slovo. Jedno z pravděpodobných vybere, připíše ho a celé to zopakuje. Pořád dokola, dokud odpověď nedopíše.

Přesněji řečeno nepracuje se slovy, ale s tokeny, tedy kousky textu. Krátké slovo bývá jeden token, dlouhé nebo skloňované slovo se rozpadne na několik. Čeština kvůli koncovkám obvykle potřebuje na stejný text víc tokenů než angličtina.

Jak to funguje

Učení ve dvou krocích

Nejdřív se model učí z obrovského množství textu, z knih, článků a webových stránek. Má jediný úkol, odhadnout další kousek textu. Tak vznikne stroj, který umí plynule pokračovat v jakémkoli textu.

Pak přijde druhé, menší učení. Na ukázkových rozhovorech a na hodnocení odpovědí, které dělají i lidé. Teprve z něj je asistent, který odpovídá na otázky a drží se zadání.

Databázi vět v sobě nemá. Co se naučil, je uložené jako miliardy čísel. Texty, které viděl mnohokrát, si ale občas zapamatuje skoro doslova.

Jak to funguje

Teplota

Teplota je nastavení, které určuje, jak moc chatbot riskuje. Při nízké vybírá skoro vždy nejpravděpodobnější slovo. Při vysoké dostanou šanci i slova, která by jinak skoro nikdy nenapsal.

Ve většině chatovacích aplikací teplotu nastavuje aplikace, ne vy. I proto může stejná otázka dostat pokaždé trochu jinou odpověď. Svou roli hraje i to, jak přesně otázku položíte a o čem jste psali předtím.

Jak to funguje

Pravděpodobné není totéž co pravdivé

Model se učil psát text, který do situace sedí. Když je správná odpověď v textech častá, trefí se. Když je vzácná, nebo vůbec neexistuje, napíše něco, co jen zní správně.

Sebejistý tón přitom nic neznamená. Model píše stejně plynule, ať má pravdu, nebo ne. Právě o tom bude příští díl.

Jak to funguje

Kolik toho model přečetl?

Kolik textu přečetly nejnovější modely od OpenAI, Googlu nebo Anthropicu, nevíme. Firmy to nezveřejňují. OpenAI to u modelu GPT-4 v roce 2023 výslovně odmítlo.

Známe čísla od firem, které je zveřejnily. Meta uvedla, že její model Llama 3 z roku 2024 se učil z víc než 15 bilionů tokenů, tedy zhruba z 11 bilionů slov. GPT-3 z roku 2020 se učil z 300 miliard tokenů, asi padesátkrát méně.

Kdyby to byly romány o sto tisících slovech, bylo by to přes sto milionů knih. Většinu ve skutečnosti tvoří webové stránky, ale pro představu: kdo přečte knihu týdně, stihne jich za šedesát let asi tři tisíce.

A kdybyste ten text četli běžnou rychlostí, ve dne v noci a bez přestávky, trvalo by vám to skoro 90 000 let.

Zdroje: Meta: Introducing Meta Llama 3 (2024); Brown a kol.: Language Models are Few-Shot Learners (2020); OpenAI: GPT-4 Technical Report (2023); OpenAI: Co jsou tokeny (token je asi ¾ anglického slova); Brysbaert: How many words do we read per minute? (2019), 238 slov za minutu