Microsoft on avalikustanud oma uusima kerge tehisintellekti mudeli nimega Phi-3 Mini, mis on mõeldud töötamiseks nutitelefonides ja teistes kohalikes seadmetes, nagu ilmneb nende hiljutisest uurimistööst. Koolitatud 3,8 miljardi parameetriga, on see esimene kolmest väikesest Phi-3 keelemudelist, mida ettevõte plaanib lähitulevikus turule tuua. Eesmärk on pakkuda pilvepõhiste suurte keelemudelite (LLM) odavamat alternatiivi, võimaldades väikestel organisatsioonidel tehisintellekti kasutusele võtta.

Microsofti sõnul ületab uus mudel kergesti oma eelmist Phi-2 väiksemat mudelit ning on võrreldav suuremate mudelitega nagu Llama 2. Tegelikult väidab ettevõte, et Phi-3 Mini pakub vastuseid, mis on peaaegu samal tasemel mudelitega, mis on kümme korda suuremad.

"Innovatsioon peitub täielikult meie koolitusandmete komplektis," märgitakse uurimistöös. Nimetatud andmekogum põhineb Phi-2 mudelil, kuid kasutab "tugevalt filtreeritud veebiandmeid ja sünteetilisi andmeid," väidab meeskond. Tegelikult kasutati mõlemat neist ülesannetest eraldi suurt keelemudelit, mis efektiivselt lõi uued andmed, mis võimaldavad väiksemal keelemudelil olla tõhusam. Meeskonda inspireerisid väidetavalt lasteraamatud, mis kasutavad lihtsamat keelt, et edasi anda keerukaid teemasid, vastavalt The Verge'ile.

Kuigi see ei suuda veel toota pilvepõhiste LLM-ide tulemusi, suudab Phi-3 Mini ületada Phi-2 ja teisi väikeseid keelemudeleid (nagu Mistral, Gemma, Llama-3-In) ülesannetes alates matemaatikast kuni programmeerimise ja akadeemiliste testideni. Samal ajal töötab see seadmetes nii lihtsates kui nutitelefonid, ilma internetiühenduseta.

Peamine piirang on "faktiliste teadmiste" laius, mille põhjustab väiksem andmekogumi suurus – seetõttu ei esine see hästi "TriviaQA" testis. Siiski peaks see olema hea mudelite jaoks, mis vajavad ainult väiksemaid sisemisi andmekogumeid. See võib võimaldada ettevõtetel, kes ei saa endale lubada pilvega ühendatud LLM-e, hüpata tehisintellekti kasutusele, loodab Microsoft.

Phi-3 Mini on nüüd saadaval Azure'is, Hugging Face'is ja Ollamas. Microsoft on järgmisena valmis turule tooma Phi-3 Small ja Phi-3 Medium, millel on oluliselt suuremad võimed (vastavalt 7 miljardit ja 14 miljardit parameetrit).