El que fa tan aptes i capa\u00e7os aquests MMLs \u00e9s una mica un misteri encara, per\u00f2 s\u2019assumeix que \u00e9s precisament la seva dimensi\u00f3 el que els d\u00f3na la capacitat de resoldre tasques en les quals models m\u00e9s petits s\u2019estavellen. Per tant, el nombre de par\u00e0metres d’un MML, que representa la quantitat de pesos apresos durant el seu entrenament, es pren com un \u00edndex significatiu del model, at\u00e8s que aquesta mida influeix directament en la seva complexitat i capacitat d’aprenentatge. Investigadors de Google Research han demostrat que quan la mida del model augmenta, el seu rendiment no nom\u00e9s millora en tasques ja conegudes sin\u00f3 que tamb\u00e9 manifesta noves compet\u00e8ncies, tal i com s\u2019il\u00b7lustra en la seg\u00fcent figura:<\/p>\n\n\n\n Una altra manera d’analitzar els MMLs \u00e9s examinant la seva complexitat computacional mitjan\u00e7ant la m\u00e8trica coneguda com a operacions de coma flotant (en angl\u00e8s, floating-point operations<\/em>, FLOP), que ens informa sobre la pot\u00e8ncia de computaci\u00f3 que necessiten i el seu consum potencial d’energia. Podeu veure-ho en aquest gr\u00e0fic interactiu<\/a>, mostrat tamb\u00e9 a continuaci\u00f3. Il\u00b7lustra la incre\u00efble i r\u00e0pida evoluci\u00f3 dels \u00faltims anys, per\u00f2 tamb\u00e9 l’impacte creixent en termes de petjada de carboni que tenen els models durant la fase d\u2019entrenament.<\/p>\n\n\n\n El creixement dels MMLs \u00e9s molt r\u00e0pid i comporta reptes pel que fa a la quantitat de mem\u00f2ria i pot\u00e8ncia de computaci\u00f3. Aix\u00f2 \u00e9s un desafiament important tant per a la investigaci\u00f3 acad\u00e8mica com per a l’\u00fas pr\u00e0ctic d\u2019aquests recursos, i posa per tant l’accent en la necessitat d\u2019innovaci\u00f3 i optimitzaci\u00f3 cont\u00ednua per tal de poder posar a disposici\u00f3 de tothom el potencial i les capacitats dels MMLs.<\/p>\n\n\n\n En l’\u00e0mbit del processament del llenguatge natural (PLN), es fan servir taules de classificaci\u00f3 (conegudes en angl\u00e8s com a leaderboards<\/em>) per avaluar i comparar el rendiment dels diferents MMLs en base a marcadors espec\u00edfics. Proporcionen una mesura quantitativa del rendiment dels models en tasques determinades, com ara la comprensi\u00f3 textual, la generaci\u00f3 de text o la traducci\u00f3, entre d\u2019altres. Aquestes taules ofereixen doncs punts de refer\u00e8ncia consensuats que s\u2019assumeixen com a est\u00e0ndards, i tenen un valor immens perqu\u00e8 ajuden a comprendre la capacitat dels diferents models.<\/p>\n\n\n\n El rendiment dels MMLs en tasques diverses de PLN es compara normalment amb el rendiment hum\u00e0, que es pren com l’est\u00e0ndard d’or. Tal i com s\u2019indica a la taula de classificaci\u00f3<\/a> dels MMLs d\u2019acc\u00e9s obert del Hugging Face<\/strong>, en els \u00faltims mesos les puntuacions m\u00e0ximes de rendiment dels MMLs s’han anat acostat progressivament al nivell de rendiment hum\u00e0 (marcat amb punts a la figura seg\u00fcent):<\/p>\n\n\n\n M\u00e9s dades: HELM (sigles en angl\u00e8s del marc d\u2019avaluaci\u00f3 hol\u00edstica de models de llenguatge,<\/strong> desenvolupat pel Center for Research on Foundation Models de la Universitat de Stanford), avalua els MMLs en base a una gran varietat de conjunts de dades i m\u00e8triques. Malgrat que la versi\u00f3 Lite de HELM<\/a> sembla suggerir que quant m\u00e9s gros \u00e9s el model (en termes de quantitat de par\u00e0metres) millor, models de mida \u201cm\u00e9s petita\u201d, com ara Mistral v0.1 (7B), han demostrat un rendiment sorprenent en diverses tasques de car\u00e0cter gen\u00e8ric, en comparaci\u00f3 amb models que s\u00f3n deu vegades m\u00e9s grossos.<\/p>\n\n\n\n I m\u00e9s encara: a difer\u00e8ncia de la majoria de taules de classificaci\u00f3, que se centren \u00fanicament en la m\u00e8trica de precisi\u00f3, la taula HELM classic<\/a> ofereix una avaluaci\u00f3 completa, aportant tamb\u00e9 informaci\u00f3 sobre la fiabilitat dels models amb m\u00e8triques com el biaix, l\u2019efici\u00e8ncia, l’equitat, la robustesa i la toxicitat per a gaireb\u00e9 totes les tasques contemplades a l\u2019an\u00e0lisi (des del novembre de 2022). La meitat dels models en aquesta classificaci\u00f3 s\u00f3n de codi obert. I \u00e9s que el 2023 va ser l\u2019any que el potencial dels MMLs de codi obert va fer finalment eclosi\u00f3. Tamb\u00e9 hi ha investigacions recents que han avaluat diferents MMLs en base a com de b\u00e9 segueixen instruccions i s\u00f3n capa\u00e7os de respondre a preguntes obertes (p. ex., Em pots ajudar a escriure un correu electr\u00f2nic formal a un possible soci comercial per proposar-li una empresa conjunta?<\/em>), generant doncs noves maneres d’entendre i mesurar les seves capacitats. Totes aquestes formes d\u2019avaluaci\u00f3 s\u00f3n b\u00e0siques per assegurar que a mesura que els MMLs es desenvolupen i s’utilitzen, milloren de manera significativa i fiable. Fes un cop d\u2019ull a HELM Instruct<\/strong><\/a>, un marc d’avaluaci\u00f3 multidimensional, i als resultats de rendiment que mostra per a 4 models pel que fa al seguiment d’instruccions (GPT-3.5 turbo 0613, GPT-4 0314, Anthropic Claude v1.3 i Cohere Command xlarge beta<\/em>). Aquest marc presenta un enfoc estandarditzat i objectiu per avaluar el rendiment dels MMLs i per tant representa un pas important per entendre\u2019n les seves capacitats.<\/p>\n\n\n\n Finalment, avaluar els MMLs \u00e9s crucial a l’hora d\u2019adaptar-los a tasques m\u00e9s espec\u00edfiques; el que t\u00e8cnicament es coneix com \u201cfer aterrar el model\u201d (de l\u2019angl\u00e8s grounding<\/em>). Cal fer aterrar un MML quan es vol fer servir per afegir una nova funcionalitat a un producte o aplicaci\u00f3 determinada, com per exemple una interf\u00edcie que permeti a l\u2019usuari d\u2019interaccionar-hi simplement parlant. No nom\u00e9s \u00e9s important de capacitar (o fer l\u2019aterratge) del model per a la nova tasca, sin\u00f3 que tamb\u00e9 cal assegurar que aix\u00f2 millora el producte en general i no causa cap efecte secundari no desitjat. Aquesta avaluaci\u00f3 es pot dur a terme manualment o b\u00e9 de manera autom\u00e0tica. Tot i que \u00e9s un repte a causa de l’ampli ventall de tasques i est\u00e0ndards, \u00e9s un pas essencial per a la millora cont\u00ednua del projecte.<\/p>\n\n\n\n Quan integreu un MML al vostre projecte, l’elecci\u00f3 entre opcions d’acc\u00e9s obert o comercials \u00e9s cr\u00edtica<\/a>. Aquesta decisi\u00f3 influir\u00e0 no nom\u00e9s en les capacitats t\u00e8cniques del vostre producte, sin\u00f3 tamb\u00e9 en la seva din\u00e0mica operativa i el seu potencial estrat\u00e8gic. Aqu\u00ed teniu una an\u00e0lisi exhaustiva de les consideracions clau per guiar-vos en la presa de decisi\u00f3.<\/p>\n\n\n\n Els MMLs comercials destaquen perqu\u00e8 permeten un desplegament f\u00e0cil i fluid dins de qualsevol projecte. S\u00f3n accessibles mitjan\u00e7ant trucades senzilles a trav\u00e9s d\u2019interf\u00edcies de programaci\u00f3 d\u2019aplicacions (o APIs, en angl\u00e8s), i per tant simplifiquen considerablement el proc\u00e9s de desenvolupament. A m\u00e9s, aquests models inclouen infraestructures escalables, la qual cosa els fa ideals per a projectes que necessiten allotjament m\u00faltiple (o multi-host<\/em>), com ara les plataformes Software as a Service<\/em> (SaaS). Aquesta escalabilitat garanteix que la infraestructura del vostre projecte pugui cr\u00e9ixer en paral\u00b7lel a l\u2019increment de la vostra base d’usuaris, sense necessitat d’inversions addicionals importants al component del backend<\/em>.<\/p>\n\n\n\n Els MMLs comercials solen ser de major qualitat i oferir unes capacitats m\u00e9s altes, ja que reben el suport d\u2019inversi\u00f3 cont\u00ednua en recerca i desenvolupament. Tanmateix, la seva disponibilitat i capacitat de resposta pot quedar ressentida durant les hores punta d’\u00fas, fet que pot degradar-ne la qualitat del servei. A m\u00e9s, hi ha el risc que els models quedin obsolets o es retirin del mercat per part de l\u2019empresa que els comercialitza, i aix\u00f2 no nom\u00e9s treu capacitat de control sobre aquests models als projectes que els fan servir, sin\u00f3 que els pot fins i tot deixar a l’estacada.<\/p>\n\n\n\n El proc\u00e9s de fine-tuning<\/em> (o afinament) del model \u00e9s notablement m\u00e9s f\u00e0cil fent servir MMLs comercials perqu\u00e8 solen oferir recursos de suport per a aquesta tasca. Tanmateix, fer fine-tuning<\/em> sobre models comercials pot comportar problemes de privadesa i seguretat pel que fa a dades de tercers. En canvi, els MMLs d’acc\u00e9s obert permeten allotjament local, cosa que millora significativament la seguretat de les dades perqu\u00e8 mant\u00e9 la informaci\u00f3 confidencial dins de l\u2019entorn estrictament controlat del projecte.<\/p>\n\n\n\n Els MMLs d’acc\u00e9s obert constitueixen una alternativa econ\u00f2micament viable, especialment per a projectes on el cost de l’allotjament local compensa les despeses recurrents associades a l’\u00fas de l’API d\u2019un model comercial. Val la pena assenyalar que de fet, per a determinades tasques, els models d’acc\u00e9s obert que hi ha disponibles a trav\u00e9s de plataformes com Hugging Face poden superar en rendiment els seus hom\u00f2legs comercials, oferint per tant solucions superiors sense els costos associats.<\/p>\n\n\n\n El desplegament de MMLs d’acc\u00e9s obert, especialment en escenaris d’alta demanda, exigeix recursos d’enginyeria substancials. Aix\u00f2 inclou no nom\u00e9s la configuraci\u00f3 inicial, sin\u00f3 tamb\u00e9 un manteniment continu que garanteixi un rendiment i fiabilitat \u00f2ptims. A m\u00e9s, instruir els MMLs d’acc\u00e9s obert perqu\u00e8 arribin a nivells de rendiment comparables als dels models comercials pot ser un repte per a certes tasques, de manera que cal una inversi\u00f3 addicional per fer aterrar el model, per exemple amb fine-tuning<\/em>.<\/p>\n\n\n\n Per tant, l’elecci\u00f3 entre models d’acc\u00e9s obert o comercials ha de fer-se considerant atentament les especificitats de cada projecte, incloent aspectes com els requisits de rendiment, les limitacions pressupost\u00e0ries i els problemes potencials de seguretat. Tot i que els models comercials ofereixen una major facilitat d’\u00fas, capacitat d\u2019escalabilitat i resultats d’alta qualitat, presenten tanmateix riscos relacionats amb la disponibilitat, l\u2019\u2019autonomia i capacitat de control, i la privadesa de les dades. Per contra, els models d’acc\u00e9s obert proporcionen un major control i seguretat a costa d’una inversi\u00f3 addicional en recursos.<\/p>\n\n\n\n \u00c9s sospesant tots aquests factors que podreu prendre una decisi\u00f3 informada que s’aline\u00ef amb els objectius estrat\u00e8gics i les capacitats operatives del vostre projecte.<\/p>\n\n\n\n Navegar pel complex paisatge dels MMLs pot semblar aclaparador per a qui no estigui \u00edntimament familiaritzat amb el camp, atesa les capacitats tan diverses dels models disponibles, la seva varietat de dimensions, les difer\u00e8ncies de rendiment i la s\u00e8rie d\u2019avantatges i inconvenients que presenten els models d’acc\u00e9s obert i els comercials. Molt segurament considereu que integrar aquesta tecnologia al vostre projecte pot beneficiar-lo significativament, per\u00f2 desplegar aquests recursos pel vostre compte de manera \u00f2ptima pot comportar una quantitat considerable de temps i recursos. Una soluci\u00f3 convenient a aquesta situaci\u00f3 \u00e9s doncs rec\u00f3rrer a un equip dedicat de professionals amb l’experi\u00e8ncia necess\u00e0ria per gestionar amb habilitat tots els aspectes del proc\u00e9s.<\/p>\n\n\n\n![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2024\/03\/imagePALM.gif\")
![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2024\/03\/artificial-intelligence-training-computation.jpg\")
<\/a>Classificaci\u00f3 dels MMLs<\/h1>\n\n\n\n
![\"\"](\"https:\/\/processtalks.com\/wp-content\/uploads\/2024\/03\/newplot1.png\")
<\/p>\n\n\n\n<\/a>Dicotomia en el desplegament de MMLs: models comercials o d\u2019acc\u00e9s obert?<\/h1>\n\n\n\n
<\/a>Facilitat de desplegament i escalabilitat<\/h3>\n\n\n\n
<\/a>Qualitat, disponibilitat i control<\/h3>\n\n\n\n
<\/a>Fine-tuning<\/em> i seguretat<\/h3>\n\n\n\n
<\/a>Rendiment i costos<\/h3>\n\n\n\n
<\/a>Reptes de desplegament i rendiment espec\u00edfic<\/h3>\n\n\n\n
<\/a>No esteu sols<\/h2>\n\n\n\n