Gjenerata e shtuar e rikthimit (RAG) është bërë një paradigmë dominuese për krijimin e agjentëve bisedues të AI si chatbots LLM.

Duke marrë informacionin dhe kontekstin përkatës, RAG lejon që modelet e dialogut të shkojnë përtej të dhënave të tyre të trajnimit dhe të kenë biseda më të natyrshme dhe të ditura.

Megjithatë, ndërsa RAG përshkallëzohet në përdorimin e prodhimit në botën reale, shfaqen disa sfida.

Në këtë artikull, unë diskutoj se si një arkitekturë e tufës mund të ndihmojë në optimizimin dhe zgjidhjen e disa prej këtyre sfidave RAG për chatbots dialogues.

Çfarë është Gjenerimi i Shtuar i Rikthimit (RAG)?

RAG kombinon një model të fuqishëm të gjeneratorit të dialogut nervor si GPT-3 me aftësinë për të tërhequr dhe përfshirë njohuri dhe kontekst të jashtëm.

Në thelbin e tij, RAG përbëhet nga dy komponentë kryesorë:

Retriever: Përgjegjës për gjetjen dhe marrjen e kontekstit përkatës për bisedën aktuale nga burime të ndryshme si:

  • Bazat e të dhënave vektoriale: Ruan ngulitje të dokumenteve dhe përdor kërkimin e ngjashmërisë semantike për të gjetur kontekstin përkatës.
  • Grafikët e njohurive: Kërkon drejtpërdrejt një grafik njohurie për të gjetur entitete dhe marrëdhënie përkatëse.
  • Motorët e kërkimit: Mjete si API-ja e kërkimit të Cohere, Anthropic ose GPT-3 për të kërkuar në internet.

Generator: Një model i madh gjuhësor që përfshin kontekstin e marrë dhe gjeneron një përgjigje.

Duke i ofruar gjeneratorit informacione përkatëse të jashtme, RAG redukton halucinacionet dhe përsëritjen, ndërsa përmirëson specifikën dhe bazën faktike në krahasim me bisedën pa rikthim.

Sfidat e shkallëzimit të RAG

Ndërsa RAG lëviz nga prototipet në sistemet bisedore të prodhimit në shkallë, shfaqen disa sfida kryesore:

  • Marrja e ngadaltë ose e pamjaftueshme: Gabimet dhe vonesa nga retriever dëmtojnë përvojën e përdoruesit.
  • Rikthim i përsëritur ose i parëndësishëm: Sjellja e të njëjtit kontekst degradon në mënyrë të përsëritur përgjigjet.
  • Llogaritja e shkallëzimit: RAG është i rëndë nga pikëpamja llogaritëse për shkak të marrjes në kthesë dhe gjeneratorit…