4月23日，微軟推出了其輕量級(jí)人工智能模型Phi-3 Mini ，這是該公司計(jì)劃發(fā)布的三個(gè)小型模型中的第一個(gè)。 

Phi-3 Mini測(cè)量了38億個(gè)參數(shù)，并在相對(duì)于GPT-4等大型語(yǔ)言模型更小的數(shù)據(jù)集上進(jìn)行訓(xùn)練。它現(xiàn)已在Azure、Hugging Face和Ollama上提供。微軟計(jì)劃發(fā)布Phi-3 Small（7B參數(shù)）和Phi-3 Medium（14B參數(shù)）。參數(shù)是指模型可以理解多少?gòu)?fù)雜指令。 

該公司于12月發(fā)布了Phi-2，其性能與Llama 2等更大的模型在同一水準(zhǔn)。微軟表示，Phi-3的性能比之前的版本更好，并且可以與比它大10倍的模型的響應(yīng)速度媲美。 

微軟Azure AI 平臺(tái)公司副總裁Eric Boyd告訴The Verge，Phi-3 Mini 與 GPT-3.5 等LLM一樣強(qiáng)大，“除了外形更小”。 

與大型人工智能模型相比，小型人工智能模型通常運(yùn)行成本更低，并且在手機(jī)和筆記本電腦等個(gè)人設(shè)備上表現(xiàn)更好。The Information今年早些時(shí)候報(bào)道稱，微軟正在組建一個(gè)專門專注于輕量級(jí)人工智能模型的團(tuán)隊(duì)。與Phi一起，該公司還構(gòu)建了Orca-Math，一個(gè)專注于解決數(shù)學(xué)問(wèn)題的模型。

微軟的競(jìng)爭(zhēng)對(duì)手也有自己的小型人工智能模型，其中大多數(shù)針對(duì)更簡(jiǎn)單的任務(wù)，例如文檔摘要或編碼輔助。Google的 Gemma 2B 和 7B非常適合簡(jiǎn)單的聊天機(jī)器人和語(yǔ)言相關(guān)的工作。Anthropic 的 Claude 3 Haiku可以閱讀帶有圖表的密集研究論文并快速總結(jié)它們，而Meta 最近發(fā)布的Llama 38B可以用于一些聊天機(jī)器人和編碼輔助。

Boyd表示，開(kāi)發(fā)人員通過(guò)“課程”對(duì)Phi-3進(jìn)行了培訓(xùn)。他們的靈感來(lái)自于孩子們?nèi)绾螐乃肮适?、單詞更簡(jiǎn)單的書籍以及談?wù)摳笾黝}的句子結(jié)構(gòu)中學(xué)習(xí)。

“市面上沒(méi)有足夠的兒童讀物，因此我們列出了3,000多個(gè)單詞的清單，并要求法學(xué)碩士制作‘兒童讀物’來(lái)教授 Phi，”Boyd說(shuō)。 

他補(bǔ)充說(shuō)，Phi-3只是建立在之前迭代所學(xué)到的知識(shí)之上。Phi-1專注于編碼，Phi-2開(kāi)始學(xué)習(xí)推理，而 Phi-3更擅長(zhǎng)編碼和推理。雖然Phi-3系列模型了解一些常識(shí)，但它無(wú)法在廣度上擊敗GPT-4或其他LLM。

Boyd表示，公司經(jīng)常發(fā)現(xiàn)像Phi-3這樣的較小模型更適合他們的定制應(yīng)用程序，因?yàn)閷?duì)于許多公司來(lái)說(shuō)，他們的內(nèi)部數(shù)據(jù)集無(wú)論如何都會(huì)較小。由于這些模型使用較少的計(jì)算能力，因此它們通常更便宜。

來(lái)源：元透社