Het contextvenster en compacten
Een agent werkt met wat er in zijn gesprek staat: zijn contextvenster. Raakt dat vol, dan wordt het gesprek gecompact: samengevat en leeggemaakt, waarna de agent verdergaat. Dat gebeurt bij elke agent, vaak meer dan eens per dag, en het hoort zo.
Wat het contextvenster is
Alles wat in het gesprek van een agent staat, kan hij direct gebruiken: jouw berichten, wat hij las en wat hij deed. Dat is zijn contextvenster. Er past veel in, maar het is niet oneindig: bij ongeveer een miljoen tokens, de stukjes tekst waarmee een taalmodel rekent, is het vol.
Wat niet in zijn gesprek staat, weet een agent niet uit zichzelf. Daarom is je AI-systeem zo gebouwd dat hij altijd weet waar hij het kan vinden: in zijn administratie, in de chronologie, in een skill of in de map van het dossier. Een taalmodel gaat juist mis als het iets niet kan vinden: dan antwoordt het toch, en vult het aan met wat het verzint. Omdat een agent opzoekt in plaats van gokt, werkt hij met wat er werkelijk is.
Wat er gebeurt als het vol raakt
- Vlak voordat het gesprek vol is, legt de agent vast wat hij nog niet had vastgelegd, en schrijft hij voor zichzelf op waar hij mee bezig was, wat de volgende stap is, wat er bij jou ligt en wat hij als eerste moet teruglezen.
- Het gesprek wordt gecompact: samengevat en leeggemaakt.
- De agent leest eerst wat hij voor zichzelf opschreef en daarna zijn administratie, en gaat verder waar hij was.
In de Canoniek-app zie je dat de agent aan het compacten is; daarna gaat hij gewoon verder. Voor de agent is het oude gesprek dan weg: hij werkt verder met de samenvatting en met wat hij vastlegde, en kan het eerdere deel terugvinden in de kopie van zijn gesprekken. In de app blijft het staan: de compact is daar een grijze regel die je kunt openklappen. Wat je in de app ziet als je een gesprek opent, en wanneer het eerdere deel daar toch wegvalt, staat in Een gesprek lezen.
Opruimen voordat het vol is
Een heel vol gesprek werkt minder goed: met de losse klussen van een hele dag erin kan een agent in de war raken. Daarom loopt er een kloktaak langs al je agenten, die kijkt hoe vol het gesprek van elke agent is en hoe lang hij stilstaat. Staat een agent twee uur stil en is zijn gesprek vol genoeg, dan ruimt de kloktaak het op: de agent legt alles vast, zijn gesprek wordt gecompact, en hij begint fris aan zijn volgende taak. Een agent die bezig is, slaat de kloktaak over.
Wat jij ermee doet
Het gaat vanzelf. Merk je dat een agent na het compacten iets kwijt is, zeg dan wat er mist; hij zoekt het op in zijn administratie. Gebeurt dat vaker, meld het dan aan je System-agent.