Gjenerata e shtuar e rikthimit (RAG) është bërë një paradigmë dominuese për krijimin e agjentëve bisedues të AI si chatbots LLM.
Duke marrë informacionin dhe kontekstin përkatës, RAG lejon që modelet e dialogut të shkojnë përtej të dhënave të tyre të trajnimit dhe të kenë biseda më të natyrshme dhe të ditura.
Megjithatë, ndërsa RAG përshkallëzohet në përdorimin e prodhimit në botën reale, shfaqen disa sfida.
Në këtë artikull, unë diskutoj se si një arkitekturë e tufës mund të ndihmojë në optimizimin dhe zgjidhjen e disa prej këtyre sfidave RAG për chatbots dialogues.
Çfarë është Gjenerimi i Shtuar i Rikthimit (RAG)?
RAG kombinon një model të fuqishëm të gjeneratorit të dialogut nervor si GPT-3 me aftësinë për të tërhequr dhe përfshirë njohuri dhe kontekst të jashtëm.
Në thelbin e tij, RAG përbëhet nga dy komponentë kryesorë:
Retriever: Përgjegjës për gjetjen dhe marrjen e kontekstit përkatës për bisedën aktuale nga burime të ndryshme si:
- Bazat e të dhënave vektoriale: Ruan ngulitje të dokumenteve dhe përdor kërkimin e ngjashmërisë semantike për të gjetur kontekstin përkatës.
- Grafikët e njohurive: Kërkon drejtpërdrejt një grafik njohurie për të gjetur entitete dhe marrëdhënie përkatëse.
- Motorët e kërkimit: Mjete si API-ja e kërkimit të Cohere, Anthropic ose GPT-3 për të kërkuar në internet.
Generator: Një model i madh gjuhësor që përfshin kontekstin e marrë dhe gjeneron një përgjigje.
Duke i ofruar gjeneratorit informacione përkatëse të jashtme, RAG redukton halucinacionet dhe përsëritjen, ndërsa përmirëson specifikën dhe bazën faktike në krahasim me bisedën pa rikthim.
Sfidat e shkallëzimit të RAG
Ndërsa RAG lëviz nga prototipet në sistemet bisedore të prodhimit në shkallë, shfaqen disa sfida kryesore:
- Marrja e ngadaltë ose e pamjaftueshme: Gabimet dhe vonesa nga retriever dëmtojnë përvojën e përdoruesit.
- Rikthim i përsëritur ose i parëndësishëm: Sjellja e të njëjtit kontekst degradon në mënyrë të përsëritur përgjigjet.
- Llogaritja e shkallëzimit: RAG është i rëndë nga pikëpamja llogaritëse për shkak të marrjes në kthesë dhe gjeneratorit…