L’adopci\u00f3 generalitzada de models massius de llenguatge (en angl\u00e8s Large language Models, LLMs<\/em>) ha portat al desenvolupament de t\u00e8cniques per poder optimitzar-ne les seves capacitats en situacions diverses. Per exemple, la t\u00e8cnica coneguda amb el terme angl\u00e8s de fine-tuning<\/em> s’utilitza per adaptar un model fundacional a una tasca o domini concret entrenant-lo amb un conjunt m\u00e9s petit de dades especialitzades; el prompting<\/em> guia les respostes d’un model fundacional sense necessitat d’entrenament o alineaci\u00f3 addicional; i la retrieval-augmented generation<\/em> (RAG<\/em>) permet d\u2019obtenir informaci\u00f3 de fonts externes en temps real i de manera precisa, reduint la depend\u00e8ncia a les dades est\u00e0tiques del cos de coneixement del model inicial.<\/p>\n\n\n\n Totes aquestes t\u00e8cniques necessiten per\u00f2 el suport de m\u00e8todes d’avaluaci\u00f3 s\u00f2lids, no nom\u00e9s per accelerar el desplegament de l\u2019aplicaci\u00f3 final sin\u00f3, el que \u00e9s m\u00e9s important, per garantir-ne resultats precisos i fiables. En aquest article ens centrem en un d’aquests m\u00e8todes, conegut en angl\u00e8s com a LLM-as-a-Judge,<\/em><\/strong> aplicat en assistents virtuals basats en RAG. Igualment, presentem una<\/strong> eina desenvolupada a Process Talks<\/strong> per facilitar l\u2019aplicaci\u00f3 d\u2019aquest m\u00e8tode d\u2019avaluaci\u00f3 als vostres projectes.<\/p>\n\n\n\n Imagineu-vos els seg\u00fcents escenaris:<\/p>\n\n\n\n Els assistents basats en RAG<\/strong> ofereixen una soluci\u00f3 \u00f2ptima a situacions d’aquest tipus perqu\u00e8 proporcionen un acc\u00e9s r\u00e0pid i prec\u00eds a la informaci\u00f3 que cal en cada cas. No obstant aix\u00f2, el seu \u00e8xit dep\u00e8n de com es desplegui el sistema per adaptar-se a les particularitats de cada context (t\u00e8cniques utilitzades per al tractament de dades i text, indexaci\u00f3 de documents, etc.), per\u00f2 tamb\u00e9, i de manera molt important, dels mecanismes d’avaluaci\u00f3 establerts per garantir-ne un rendiment m\u00e0xim.<\/p>\n\n\n\n L’avaluaci\u00f3 dels assistents basats en RAG es fonamenta principalment en 2 par\u00e0metres:<\/p>\n\n\n\n Per garantir que els assistents basats en RAG ofereixin respostes fiables i adequades caldr\u00e0 doncs desplegar una capa s\u00f2lida d\u2019avaluaci\u00f3. I aqu\u00ed \u00e9s on entra en joc la tecnologia LLM-as-a-Judge.<\/p>\n\n\n\n LLM-as-a-Judge (LLM-J)<\/strong> \u00e9s un procediment d’avaluaci\u00f3 que utilitza LLMs per avaluar la qualitat de les respostes generades per altres models. Ens podem preguntar: qu\u00e8 justifica aquest enfoc? Fins a quin punt \u00e9s fiable utilitzar les capacitats d’una IA per avaluar les capacitats d’una altra IA? Al capdavall, ja comptem amb mecanismes automatitzats per avaluar el rendiment de sistemes, que s’han utilitzat durant d\u00e8cades i que es basen en el discerniment hum\u00e0 en lloc de la intel\u00b7lig\u00e8ncia artificial. <\/p>\n\n\n\n I \u00e9s que els processos d’avaluaci\u00f3 basats en expertesa humana poden ser<\/strong> automatitzats <\/strong>en moltes situacions. Per exemple, si les respostes esperades es poden contrastar de manera fiable sobre un est\u00e0ndard de refer\u00e8ncia<\/strong> \u2013 en angl\u00e8s, gold standard<\/em> (per ex., en el cas de preguntes s\u00ed\/no, preguntes factuals, etc.) o avaluades mitjan\u00e7ant regles heur\u00edstiques<\/strong> (p. ex., quan les respostes depenen de determinades condicions: si X llavors respon A, si Y llavors respon B<\/em>). En aquests dos casos, cal l\u2019expertesa humana per generar el coneixement (conjunts de dades de refer\u00e8ncia, conjunts de regles, etc.) que un proc\u00e9s automatitzat far\u00e0 servir per avaluar els resultats del sistema.<\/p>\n\n\n\n Ara b\u00e9, qu\u00e8 fer quan la sortida del sistema no implica una soluci\u00f3 \u00fanica? O quan es presenta com a text lliure i no estructurat? O quan es pot expressar de maneres diferents per\u00f2 igualment v\u00e0lides? Aqu\u00ed \u00e9s on els anteriors m\u00e8todes automatitzats queden curts i caldria per contra un proc\u00e9s ad hoc de validaci\u00f3 humana que avalui la correcci\u00f3 de cada resposta. <\/p>\n\n\n\n Per\u00f2 de la mateixa manera que els models d’IA destaquen per la seva compet\u00e8ncia en activitats cognitives generals (com redactar o resumir un text), tamb\u00e9 es poden utilitzar per avaluar si la resposta a una pregunta \u00e9s correcta, fins i tot quan est\u00e0 frasejada diferent de la l\u2019est\u00e0ndard de refer\u00e8ncia. Aix\u00ed doncs, a l\u2019hora d\u2019avaluar la precisi\u00f3 i l’adequaci\u00f3 dels assistents basats en RAG, el m\u00e8tode LLM-J t\u00e9 un rendiment molt comparable al de l\u2019avaluaci\u00f3 humana.<\/p>\n\n\n\n La t\u00e8cnica LLM-J pot implementar-se amb variacions concretes per adaptar-se a escenaris diferents, en base als seg\u00fcents aspectes:<\/p>\n\n\n\n Els avaluadors LLM-J poden donar suport als assistents basats en RAG en dues fases de la seva exist\u00e8ncia. En un primer pas, durant el desenvolupament de l’assistent<\/strong>. En aquest punt, l\u2019avaluador LLM-J pot basar-se tant en una veritat de refer\u00e8ncia com en un conjunt de criteris. De la mateixa manera, l’avaluaci\u00f3 es pot aplicar sobre diversos models simult\u00e0niament per triar-ne el millor, o nom\u00e9s sobre un de sol, escollit pr\u00e8viament, per tal de refinar els processos de recuperaci\u00f3 i generaci\u00f3 del RAG, i doncs anar ajustant l’assistent de manera iterativa, millorant-ne la qualitat pr\u00e8viament al seu desplegament final.<\/p>\n\n\n\n Els avaluadors LLM-J tamb\u00e9 poden donar suport als assistents RAG en un pas posterior, un cop aquests ja estan desplegats i en \u00fas<\/strong>. Donada la imprevisibilitat de les preguntes dels usuaris, aqu\u00ed no es pot comptar amb una veritat de refer\u00e8ncia, per\u00f2 s\u00ed que es pot avaluar les respostes de l’assistent en funci\u00f3 d\u2019un conjunt de criteris que permeti de discriminar-ne les que possiblement no s\u2019adeq\u00fcen al perfil de l\u2019usuari, necessiten una capa de postproc\u00e9s, etc.<\/p>\n\n\n\n En aquesta mateixa fase tamb\u00e9 es pot utilitzar un conjunt de criteris en el cas d\u2019assistents h\u00edbrids, \u00e9s a dir, assistents el RAG del quals crida diversos LLMs per a una mateixa cerca. En aquest cas, el conjunt de criteris serveix per determinar quina \u00e9s la millor resposta entre les retornades per cada model. <\/p>\n\n\n\n Actualment hi ha diversos marcs de desenvolupament que permeten configurar un proc\u00e9s d’avaluaci\u00f3 LLM-J de manera r\u00e0pida, com ara langchain<\/a> i langfuse<\/a> per citar-ne un parell. El que \u00e9s m\u00e9s, alguns d’aquests recursos permeten visualitzar els resultats d\u2019una avaluaci\u00f3 LLM-J. Tot i aix\u00ed, en aquestes eines la presentaci\u00f3 i possibilitat de consulta de les dades no sempre \u00e9s la m\u00e9s eficient per al desenvolupador perqu\u00e8 solen dependre del marc tecnol\u00f2gic del prove\u00efdor. Per aix\u00f2, a Process Talks hem desenvolupat una eina per avaluar el rendiment d\u2019assistents basats en RAG, vers\u00e0til i f\u00e0cil d’utilitzar. Est\u00e0 implementada sobre llibreries comunes i d\u2019acc\u00e9s gratu\u00eft per aprofitar la solidesa d\u2019aquests recursos, per\u00f2 permet tanmateix una independ\u00e8ncia completa respecte de plataformes de tercers.<\/p>\n\n\n\n Es pot utilitzar per avaluar un \u00fanic model d’IA o tot un conjunt d’aquests en paral\u00b7lel, en base a la mateixa veritat de refer\u00e8ncia o bateria de criteris, per tal d\u2019escollir-ne el que respondr\u00e0 millor als requeriments del vostre assistent. La figura seg\u00fcent mostra una imatge d\u2019aquesta eina en un context de m\u00faltiples models.<\/p>\n\n\n\n Les cel\u00b7les de la matriu de la figura anterior presenten el resultat de l\u2019avaluaci\u00f3 LLM-J per a cada model d’IA utilitzat pel RAG (per exemple, LLAMA 3.1-8B) sobre una prova concreta (per exemple, Q4). Fent clic a una cel\u00b7la, s\u2019obt\u00e9 els detalls de la prova en q\u00fcesti\u00f3, tal com es mostra a la figura seg\u00fcent. En aquest cas, l\u2019avaluador LLM-J conclou que LLAMA 3.1-8B ofereix la resposta correcta a la pregunta Q4.<\/p>\n\n\n\n El disseny \u00e9s el mateix per a les respostes (parcialment) err\u00f2nies, en aquest cas naturalment amb un veredicte diferent. La seg\u00fcent figura ho il\u00b7lustra:<\/p>\n\n\n\n A m\u00e9s, l’usuari pot inspeccionar el prompt <\/em>emprat pel RAG en cada prova. D\u2019aquesta manera, a l\u2019hora d\u2019avaluar el rendiment de cada un dels LLM usats pel RAG es disposa de la seva configuraci\u00f3 completa.<\/p>\n\n\n\n Com s\u2019ha vist, la t\u00e8cnica LLM-J \u00e9s particularment efica\u00e7 per avaluar resultats textuals i no estructurats on altres m\u00e8todes d’avaluaci\u00f3 automatitzats queden curts. La integraci\u00f3 d’aquesta t\u00e8cnica en un marc d’avaluaci\u00f3 per a sistemes basats en RAG n\u2019accelera el seu desenvolupament, permetent un ajust iteratiu abans del seu desplegament. A m\u00e9s, n\u2019assegura un nivell alt de rendiment, precisi\u00f3 i fiabilitat un cop ja en \u00fas en un context real.<\/p>\n\n\n\n A Process Talks hem desenvolupat la nostra pr\u00f2pia eina per integrar la capacitat d\u2019aquesta tecnologia en qualsevol projecte basat en RAG, garantint aix\u00ed una qualitat m\u00e0xima a les nostres solucions d’IA.<\/p>\n\n\n\n<\/a>Sistemes RAG: Com avaluar-los<\/h2>\n\n\n\n
\n
\n
<\/a>Qu\u00e8 \u00e9s LLM-as-a-Judge?<\/h2>\n\n\n\n
\n
La veritat de refer\u00e8ncia <\/strong>sol consistir en parelles de pregunta-resposta. La tasca de l\u2019avaluador LLM-J \u00e9s analitzar si les respostes de l’assistent RAG s\u00f3n equivalents a les de la refer\u00e8ncia, fins i tot si estan expressades de manera diferent. Per contra, el conjunt de criteris<\/strong> no proporciona una resposta clau sin\u00f3 una descripci\u00f3 de quin tipus de resposta s’espera (per exemple, en termes de claredat, extensi\u00f3, flu\u00efdesa, registre, etc.). Tant la veritat de refer\u00e8ncia com els criteris s\u00f3n establerts per humans, assegurant aix\u00ed un nivell \u00faltim de control.
Tamb\u00e9 hi ha sistemes que es basen en tots dos elements, cada un per avaluar un aspecte diferent: la veritat de refer\u00e8ncia es pot utilitzar per avaluar la<\/strong> precisi\u00f3<\/strong> de les respostes (\u00e9s a dir, si proporcionen el contingut correcte), mentre que una bateria de criteris pot fer-se servir per qualificar l’adequaci\u00f3<\/strong> de les respostes (registre, longitud, grau de flu\u00efdesa, etc.).
<\/li>\n\n\n\n
<\/li>\n<\/ul>\n\n\n\n<\/a>Avaluadors LLM-J en assistents basats en RAG<\/h2>\n\n\n\n
<\/a>Eina LLM-J per avaluar assistents RAG<\/h2>\n\n\n\n
![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2025\/02\/figure1.jpg\")
![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2025\/02\/figure2.jpg\")
![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2025\/02\/figure3.jpg\")
![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2025\/02\/figure4b.jpg\")
<\/a>T’interessa aquesta tecnologia?<\/h2>\n\n\n\n