#5 Proč chatbot zapomíná

Celý rozhovor se vejde do jednoho zápisníku. Co se stane, když dojdou stránky?

Kde jsme to skončili

  1. Úterý ráno
    Jana: Včera jsme spolu dvě hodiny ladili nabídku pro to truhlářství. Pokračujeme?
    AI: Jakou nabídku? Jaké truhlářství?
  2. Jana: Ty si to nepamatuješ? Vždyť jsi to celé psal.
    AI: Psal jsem to v jiném chatu. Tenhle je nový a začínám v něm s prázdným zápisníkem. Vraťte se do toho včerejšího, tam všechno je.
  3. Jana: Ten tvůj zápisník. Co v něm vlastně je?
    AI: Náš rozhovor. Od první věty až sem. Všechno, co o vás teď vím, je na těchhle stránkách.
  4. Jana: A co ta tvoje knihovna z minulých dílů? Všechno, co jsi přečetl?
    AI: Ta je ve mně a nemění se. Knihovna je to, co umím. Zápisník je to, o čem se právě bavíme.
  5. Jana: A má ten zápisník nějaký odborný název? Ať to zní, že vím, o čem mluvím.
    AI: Kontextové okno. Vidím jen to, co se do něj právě vejde.
  6. Jana: Okno. Takže když něco zapomeneš, máš doslova okno.
    AI: Mám. Jen ne po večírku. Od výroby.

  7. Jak to funguje

    Knihovna a zápisník

    Chatbot má dvě úplně různé „paměti“. První je to, co se naučil z obrovského množství textu, než ho vydali. Říkejme jí knihovna. Je hotová, při povídání se nemění a nic si do ní nepřipisuje.

    Druhá je rozhovor, který právě vedete. Říkejme jí zápisník; odborně je to kontextové okno. Je v něm každá vaše zpráva, každá jeho odpověď a každý text, který jste vložili. Při každé odpovědi si chatbot přečte celý zápisník a pokračuje v něm, slovo po slově, jak jsme viděli ve druhém díle.

    Stránek má omezený počet a s každým novým chatem začíná prázdný.

Martin a čtyřicet stran

  1. O dvě kanceláře dál sedí kolega Martin
    Martin: Tady máš celou výroční zprávu. Čtyřicet stran. Pro šéfa z ní potřebuju jen tržby, na jednu stránku.
    AI: Jdu na to. Stránka za stránkou.
  2. Martin: A ještě tu loňskou. A zápis z porady. A ten e-mail od účetní, ať máš kontext.
    AI: Stránky mi ubývají. Ale píšu.
  3. Martin: Tak, a teď to shrnutí. Tak, jak jsem ti psal na začátku.
    AI: Tady je: Vážení akcionáři, rok 2025 byl…
  4. Martin: Akcionáři?! Psal jsem jen tržby, pro šéfa!
    AI: Začátek už v zápisníku nemám. Vypadl, když jste vložil tu loňskou. Tak jsem odhadl.
  5. Jana: Nic nesmazal, jen mu došly stránky. Napiš mu to znovu. A příště vlož jen tu kapitolu, kterou potřebuješ.
    Martin: Já myslel, že čím víc mu dám, tím líp.

  6. Jak to funguje

    Proč začátek vypadne

    Všechno, co chatbot při odpovědi „vidí“, se musí vejít do jeho zápisníku najednou. Proto se mu říká kontextové okno. Co v něm není, chatbot nevidí. Zabírá v něm místo vaše otázka, jeho odpovědi i každý vložený dokument, ten obvykle nejvíc.

    Když se rozhovor do zápisníku už nevejde, aplikace si poradí po svém. Některé začátek potichu odstřihnou, jiné ho shrnou do několika vět, další vás upozorní, že je chat plný a je čas začít nový. Chatbot sám se o tom většinou nezmíní. Píše dál, jako by nic.

    Kolik se vejde, záleží na konkrétní aplikaci a tarifu a rychle se to mění. Dvě věci ale platí skoro všude: dlouhý dokument zabere víc místa než spousta zpráv, a když se něco ztratí, bývá to začátek.

Zaplňte zápisník

  1. Jana: Tak já si to zkusím sama. Ty máš zápisník, já mám pár zpráv.
    AI: Posílejte. Píšu, dokud mám kam.
  2. Teď vy!

    Posílejte AI zprávy, a až zápisník přeteče, zeptejte se, pro koho nabídku píšete.

    Pošlete AI zprávy, klidně i opakovaně. Zápisník je malý (řádků: 8), nejstarší řádky z něj vypadnou.

    Zápisník AI

    Zaplněno 0 z 8 řádků

    Zápisník je zatím prázdný.

      Co AI pošlete?

      Vaše otázka

      Pro koho tu nabídku píšu?

      Zeptat se půjde, až pošlete zprávu, na kterou se ptáte, a zápisník přeteče.

    Paměť, která není učení

    1. Večer
      Jana: Počkej. Můj chatbot si pamatuje, že mám psa. Řekla jsem mu to před měsícem, v jiném chatu.
      AI: To není můj zápisník. To je lísteček, který si o vás vede aplikace. Přiloží mi ho ke každému novému chatu.
    2. Jana: Takže se ze mě přece jen učíš.
      AI: Neučím. Učení skončilo dřív, než jsme se potkali. Lísteček je poznámka, ne nové vědění. Zítra budu stejný jako dnes.
    3. Jana: A co všechno na tom lístečku je? Minule jsme řešili, co do chatu nepatří.
      AI: Co jste mi kdy řekla a aplikace si zapsala. Takže co nepatří do chatu, nepatří ani tam. Lísteček jde se mnou do každého nového chatu.

    4. Jak to funguje

      Paměť aplikace

      Některé aplikace nabízejí „paměť“. Aplikace si z vašich rozhovorů vypisuje poznámky, třeba jméno, povolání nebo že máte psa, a na začátku každého nového chatu je chatbotovi přidá. Proto si „pamatuje“ i to, co jste psali před měsícem.

      Model se tím nijak nezměnil ani nic nenaučil. Dostal lísteček. Je to pohodlné, ale platí u toho totéž co ve čtvrtém díle. Co je na lístečku, čte chatbot v každém novém rozhovoru. Podívejte se proto v nastavení, co tam aplikace zapsala, a smažte, co tam nemá být.

      A ještě jedna věc, kterou si lidé pletou s učením. Některé služby používají rozhovory uživatelů k učení dalších modelů. Ani to není paměť, váš chatbot si z toho nic nepamatuje. Je to věc podmínek a nastavení a ve většině služeb jde vypnout. Firemní účty mívají jiné podmínky.

    5. Jana: Takže knihovna, zápisník a lísteček. Tři různé věci.
      AI: A ani jedna není to, čemu vy říkáte paměť. Nic si nepamatuju. Jen čtu, co mám před sebou.

    Tři návyky

    1. Druhý den
      Jana: Tak, Martine, tři věci. Zaprvé: jeden chat na jeden úkol.
      Martin: Já měl v jednom chatu nabídku, dovolenou v Chorvatsku a recept na guláš.
    2. Jana: Zadruhé: klíčové věci zopakuj. Pro koho, co a do kdy. Hlavně když je chat dlouhý.
      Martin: Takže žádné „jak jsem ti psal na začátku“.
    3. Jana: A zatřetí: vlož jen tu část, kterou potřebuje. Ne celou výroční zprávu kvůli jedné tabulce.
      Martin: Těch čtyřicet stran jsem tam dal pro jistotu.

    4. Jak to funguje

      Tři návyky, které zapomínání obejdou

      Chatbot si lépe pamatovat nezačne. Vy ale můžete psát tak, aby to důležité bylo vždycky v zápisníku.

      • Jeden chat na jeden úkol. Nová věc, nový chat. Zápisník zůstane přehledný a nic důležitého se nevytlačí.
      • Klíčové věci zopakujte. Pro koho, co, v jakém tónu, do kdy. V dlouhém chatu klidně i víckrát. Co je v zápisníku nejnověji, nevypadne jako první.
      • Vložte jen to, co je potřeba. Kapitolu místo celé zprávy, tabulku místo celé přílohy. Zabere míň stránek a odpověď bývá přesnější.
    5. Jana: A co si z dneška zapamatuješ ty?
      AI: Dokud se to vejde do zápisníku, všechno. V novém chatu nic, i když aplikace si rozhovor uloží. Ale vy si to zapamatujete, a o to jde.

    Kvíz

    1. AI: Než tenhle chat zavřete, pět otázek. Vy si je zapamatujete. Já ne.
      Jana: To je od tebe skoro dojemné.
    2. Kvíz

      Otázka 1 z 5

      Pět otázek, žádné známky.

      Co zabírá místo v zápisníku chatbota?

      Vyberte všechny správné odpovědi.

    Co si odnést

    1. Zápisník umělé inteligence, odborně kontextové okno, je jeden rozhovor. Všechno, co o vás teď ví, je na jeho stránkách, včetně textů, které jste vložili.
    2. Stránek je omezeně. Když dojdou, nejstarší řádky vypadnou. Kolik se vejde, záleží na aplikaci a tarifu.
    3. Nový chat začíná prázdný. „Paměť“ některých aplikací je poznámka, kterou si o vás aplikace vede. Z vašich chatů se chatbot neučí, učení skončilo před vydáním.
    4. Tři návyky: jeden chat na jeden úkol, klíčové věci zopakujte, vložte jen tu část, kterou AI opravdu potřebuje.

    Příští epizoda

    #6 Jak se AI zeptat

    Stejný úkol, pět různých zadání. Zapínejte přísady a sledujte, jak se odpověď mění.

    Nový díl přímo do schránky

    Každé dva týdny pošleme nové díly, krátký text k učení a novinky ze světa AI. Zdarma a odhlásit se můžete kdykoli.

    Odesláním souhlasíte se zpracováním e-mailu pro zasílání novinek. Více v zásadách ochrany soukromí.

    Chcete to pro celou školu? Připravím živé školení na míru vašim učitelům a žákům.

    Pro školyPřeposlat dál
    Na úvodní stránkuVšechny díly