Hogyan építünk AI chatbotot — és mit tanultunk belőle
A brieftől az indulásig. Milyen stacket választunk, miért a system prompt viszi el a legtöbb időt, és milyen hibákat nem ismétlünk meg.
A kezdet: a jó brief a munka fele
A legtöbb cég, amely chatbotot szeretne, nap mint nap ugyanazokra a kérdésekre válaszol — szállítás, visszaküldés, nyitvatartás, árak. A cél mindig ugyanaz: a bot kezelje önállóan a megszokott kérdéseket, és az ember csak azzal foglalkozzon, amihez tényleg szükség van rá.
Az első, amit csinálunk, nem kód. Hanem a kérdések térképe: mit kérdeznek a vásárlók a leggyakrabban, hol vannak a cégnek kész válaszai és hol nincsenek. E felkészülés nélkül minden chatbot csak drága játék.
A stack, amit választunk
- Modern web framework + adatbázis mint knowledge base — az igazság forrása, amelyet a cég maga is tud szerkeszteni
- Fejlett nyelvi modell a válaszok generálásához — mindig azt választjuk, amelyik az adott időben a legpontosabb a tényszerű válaszokra, nem márka alapján
- Streamelt válasz, hogy a felhasználó folyamatosan lássa a szöveget, ne tíz másodperc csend után
- Kapcsolatfelvétel eszkalációkor — ha egy kérdés túllép a knowledge base-en, a bot udvariasan e-mailt kér
Mi viszi el a legtöbb időt
Nem az API bekötése. Hanem a system prompt megírása — azoknak a szabályoknak, amelyek szerint a bot válaszol. Jellemzően több iteráción megy át, mire abbahagyja a túlzott magabiztosságot, és megtanulja kimondani: „ezt nem tudom, összekötöm a támogatással." Az a chatbot, amelyik kitalál dolgokat, több kárt okoz, mint hasznot.
Hibák, amelyeket nem ismétlünk meg
- Admin panel nélkül nem építjük meg. Ha a cég nem tudja maga szerkeszteni a válaszokat, minden változtatásnál minket kell hívnia. A knowledge base-nek telepítés nélkül szerkeszthetőnek kell lennie.
- Rate limiting az első naptól. Egyetlen link egy fórumon, és hirtelen több száz üzeneted van pár perc alatt. Az IP-nkénti percenkénti üzenetlimit alapvető.
A tanulság
A jó chatbot nem a modellről szól. Arról szól, milyen pontosan tudja, mit kell a cégnek válaszolnia — és mikor kell őszintén bevallania, hogy nem tudja. A technológia ma mindenki számára elérhető; a különbséget a felkészülés és az őszinteség jelenti.