近日，AI創(chuàng)企“生數(shù)科技”完成了近億元的天使輪融資。此輪融資由螞蟻集團(tuán)領(lǐng)投，BV百度風(fēng)投、卓源資本跟投，目前企業(yè)估值已達(dá)1億美金。資金主要將用于核心研發(fā)團(tuán)隊(duì)的建設(shè)，加速多模態(tài)大模型和應(yīng)用產(chǎn)品的研發(fā)。

成立于2023年3月，生數(shù)科技由安全可控人工智能方案提供商瑞萊智慧RealAI、螞蟻集團(tuán)和BV百度風(fēng)投聯(lián)合孵化，聚焦于多模態(tài)生成式大模型與應(yīng)用產(chǎn)品開(kāi)發(fā)。團(tuán)隊(duì)成員主要來(lái)自清華大學(xué)人工智能研究院，前瑞萊智慧副總裁唐家渝出任首席執(zhí)行官。

熱潮席卷半年以來(lái)，大模型賽道的競(jìng)爭(zhēng)壁壘變與不變共存。唐家渝認(rèn)為，不變的是底層算法能力依然是企業(yè)的核心壁壘所在，“文本、圖像應(yīng)用雖然火熱，但不可控性仍然很大，對(duì)用戶意圖、精確細(xì)節(jié)的把控有很大的欠缺，3D、視頻等多模態(tài)的生成效果距離真正可商用也還有較大的距離，這意味著底層算法的迭代仍有較大的空間”。

但漸漸產(chǎn)生變化的是算法和工程相結(jié)合的能力，即訓(xùn)練大模型的全棧能力的重要性越發(fā)凸顯?！安簧偃硕伎梢杂矛F(xiàn)成的開(kāi)源模型做finetune，但目前開(kāi)源模型的能力天花板仍不高。”唐家渝表示，“而擁有從0到1構(gòu)建大模型能力的話，能在吸納開(kāi)源社區(qū)精華的同時(shí)，從底層更快更有效地優(yōu)化模型表現(xiàn)。而且訓(xùn)練過(guò)程中存在很多的坑，只有真的懂底層原理，才能盡可能地避坑，既擁有對(duì)模型底層的深刻理解又擁有實(shí)際從0到1訓(xùn)練大模型經(jīng)驗(yàn)的團(tuán)隊(duì)目前是很稀缺的?！?

另外多模態(tài)作為發(fā)展趨勢(shì)已成為行業(yè)共識(shí)，與大語(yǔ)言模型（LLM）不同，多模態(tài)大模型的研究仍然處于初步階段，國(guó)內(nèi)外的研究進(jìn)度并沒(méi)有形成代際差。唐家渝表示，這對(duì)國(guó)內(nèi)團(tuán)隊(duì)而言是搶占大模型賽道的重要機(jī)會(huì)。

現(xiàn)階段發(fā)展多模態(tài)的核心難點(diǎn)之一在于構(gòu)建一套通用架構(gòu)對(duì)圖像、視頻、語(yǔ)音等不同模態(tài)進(jìn)行統(tǒng)一的建模。唐家渝告訴36氪，市面上不少的大模型宣稱(chēng)擁有多模態(tài)能力，但實(shí)際上是多個(gè)單模態(tài)或跨模態(tài)模型的“排列組合”，簡(jiǎn)單集成不同模型能力，而非在底層上將多模態(tài)進(jìn)行真正的打通和融合。

“這不是真正的智能”，他打了個(gè)比方，“人類(lèi)在與世界的交互過(guò)程中，能同時(shí)對(duì)不同模態(tài)間的信息進(jìn)行理解和學(xué)習(xí)，雖然通過(guò)眼睛、耳朵、嘴巴、四肢等不同器官來(lái)獲取和表達(dá)信息，但只用一個(gè)大腦來(lái)進(jìn)行中轉(zhuǎn)思考。聲音、視覺(jué)、動(dòng)作等多模態(tài)信息同時(shí)輸入和輸出，人類(lèi)才能夠?qū)⒁粋€(gè)事物或者概念認(rèn)識(shí)和表達(dá)得足夠準(zhǔn)確?！绷硗?，在“排列組合”的模式下，通常需要訓(xùn)練承載不同跨模態(tài)任務(wù)的多個(gè)模型，從成本經(jīng)濟(jì)的角度也不是最優(yōu)解。

生數(shù)科技團(tuán)隊(duì)于2023年初開(kāi)源了基于Transformer的多模態(tài)擴(kuò)散大模型Unidiffuser，使用U-ViT的Transformer架構(gòu)首次在Diffusion Model（擴(kuò)散模型）上實(shí)現(xiàn)多模態(tài)，實(shí)現(xiàn)基于一個(gè)底層模型高質(zhì)量地完成文生圖、圖生文、圖文聯(lián)合生成、圖文改寫(xiě)等多種生成任務(wù)。唐家渝介紹，Unidiffuser前期訓(xùn)練所用數(shù)據(jù)量達(dá)到了20多億，目前公司自研中的全新大模型所用訓(xùn)練數(shù)據(jù)量達(dá)到了百億級(jí)別。

再往前追溯，生數(shù)團(tuán)隊(duì)對(duì)多模態(tài)生成式模型的探索最早開(kāi)始于2013年，在清華實(shí)驗(yàn)室階段，團(tuán)隊(duì)早期成員就開(kāi)始了生成式模型理論基礎(chǔ)、高效學(xué)習(xí)和推理算法，以及音樂(lè)生成、人臉合成等多方面的研究工作。

自2020年擴(kuò)散模型應(yīng)用于圖像生成領(lǐng)域以來(lái)，生數(shù)團(tuán)隊(duì)也是業(yè)內(nèi)首批開(kāi)展擴(kuò)散概率模型基礎(chǔ)理論和算法研究的隊(duì)伍，于ICML、NeurIPS、ICLR等頂會(huì)發(fā)表擴(kuò)散概率模型領(lǐng)域相關(guān)論文20余篇。團(tuán)隊(duì)先后推出自研的無(wú)訓(xùn)練推理框架Analytic-DPM、全球最快采樣算法DPM-Solver，被DALL-E 2、Stable Diffusion等國(guó)際項(xiàng)目所采用。

目前，生數(shù)科技正在研發(fā)的產(chǎn)業(yè)級(jí)多模態(tài)大模型仍處于快速迭代階段，但在圖像生成、3D內(nèi)容生成、視頻生成等任務(wù)中已經(jīng)實(shí)現(xiàn)高水平的生成效果。

例如，團(tuán)隊(duì)研發(fā)了業(yè)內(nèi)首個(gè)實(shí)現(xiàn)基于三視圖自動(dòng)生成3D內(nèi)容的技術(shù)，以及無(wú)需任何3D訓(xùn)練數(shù)據(jù)的文生3D內(nèi)容技術(shù)。目前該模型的3D生成效果已接近產(chǎn)業(yè)級(jí)應(yīng)用水平，并領(lǐng)先Shap-E（OpenAI）、DreamFusion（Google）、Magic3D（NVIDIA）等主流模型。其次，唐家渝表示，圖像生成已超過(guò)Stable Diffusion最新版基礎(chǔ)模型水平，預(yù)計(jì)將于年內(nèi)趕超Midjourney最新版本。

在商業(yè)模式的探索上，生數(shù)科技堅(jiān)持模型層與應(yīng)用層兩條腿同時(shí)走路。唐家渝表示，基于開(kāi)源模型開(kāi)發(fā)應(yīng)用類(lèi)產(chǎn)品能夠讓非專(zhuān)業(yè)領(lǐng)域的普通公眾快速上手創(chuàng)作，偏向娛樂(lè)性的玩法能帶來(lái)一定的用戶基礎(chǔ)，快速驗(yàn)證技術(shù)價(jià)值，但同時(shí)也要兼顧高價(jià)值的關(guān)鍵場(chǎng)景，例如產(chǎn)品設(shè)計(jì)、游戲制作、影視制作等專(zhuān)業(yè)領(lǐng)域，專(zhuān)業(yè)化、細(xì)節(jié)精確程度越高，對(duì)效果質(zhì)量和可控性也提出更高要求，這需要與行業(yè)機(jī)構(gòu)在場(chǎng)景、數(shù)據(jù)方面開(kāi)展合作，結(jié)合底層模型的架構(gòu)優(yōu)化，進(jìn)一步提升模型的專(zhuān)有能力。

因此，基于自研產(chǎn)業(yè)級(jí)多模態(tài)大模型，生數(shù)科技目前正面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建等細(xì)分場(chǎng)景打造垂類(lèi)應(yīng)用，服務(wù)范圍覆蓋C、B兩端。面向C端用戶，生數(shù)科技將為普通用戶和專(zhuān)業(yè)創(chuàng)作者打造供圖像創(chuàng)作助理，提供個(gè)性化的服務(wù)。面向B端用戶，將為機(jī)構(gòu)企業(yè)、垂直領(lǐng)域的技術(shù)服務(wù)商提供通用服務(wù)。目前，生數(shù)科技已與多家游戲廠商、設(shè)計(jì)平臺(tái)建立初步合作，應(yīng)用級(jí)產(chǎn)品也將于近期推出。

AIGC時(shí)代已經(jīng)全面開(kāi)啟。唐家渝表示，生數(shù)科技希望通過(guò)打造領(lǐng)先的具備豐富模態(tài)感知與生成能力的AI產(chǎn)品，使每個(gè)人都能夠從簡(jiǎn)單枯燥的任務(wù)和專(zhuān)業(yè)化工具的使用束縛中解放出來(lái)，不論是專(zhuān)業(yè)還是非專(zhuān)業(yè)人士都能將心中所想快速、自動(dòng)化地實(shí)現(xiàn)，通過(guò)解放想象力進(jìn)而提升創(chuàng)造力和生產(chǎn)力。

螞蟻集團(tuán)表示，預(yù)訓(xùn)練模型、擴(kuò)散模型等關(guān)鍵算法和模型的出現(xiàn)與演進(jìn)推動(dòng)了生成式AI的快速發(fā)展。生數(shù)團(tuán)隊(duì)在生成式模型、擴(kuò)散模型、大模型研發(fā)探索與科研人才儲(chǔ)備上具備堅(jiān)實(shí)的基礎(chǔ)，同時(shí)學(xué)術(shù)與產(chǎn)業(yè)深度融合的背景，也賦予了團(tuán)隊(duì)貫穿從底層技術(shù)研發(fā)到產(chǎn)品應(yīng)用落地的獨(dú)特能力。我們相信生數(shù)團(tuán)隊(duì)能夠在這波AI浪潮中突圍而出，同時(shí)也期待團(tuán)隊(duì)能夠不斷開(kāi)拓多模態(tài)大模型的技術(shù)邊界和應(yīng)用場(chǎng)景，成為中國(guó)生成式大模型領(lǐng)域的佼佼者。 

BV百度風(fēng)投表示，多模態(tài)是大模型的重要發(fā)展方向且正處于高速發(fā)展階段，未來(lái)有望在更廣、更深的層面影響社會(huì)生活的多個(gè)領(lǐng)域，創(chuàng)造巨大的產(chǎn)業(yè)價(jià)值。大模型發(fā)展要取得突破需要對(duì)底層算法原理有深入理解，同時(shí)需要具備廣泛的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)，生數(shù)團(tuán)隊(duì)在深度生成式模型基礎(chǔ)理論和算法研究方面擁有深厚的積累，同時(shí)創(chuàng)始團(tuán)隊(duì)在大模型研發(fā)能力、工程化能力和產(chǎn)品化創(chuàng)新能力等方面具有經(jīng)驗(yàn)優(yōu)勢(shì)。我們對(duì)團(tuán)隊(duì)未來(lái)發(fā)展充滿信心，也希望團(tuán)隊(duì)在擴(kuò)散模型和多模態(tài)大模型方向上取得更多的突破和成就。 

卓源資本表示，AIGC正在走向真實(shí)落地，這一過(guò)程需要保持對(duì)前沿技術(shù)的探索和深刻理解。生數(shù)科技孵化自是國(guó)內(nèi)最頂尖的機(jī)器學(xué)習(xí)基礎(chǔ)理論研究團(tuán)隊(duì)，在貝葉斯模型、高效算法和概率建模等方面擁有系統(tǒng)深入的研究成果，為團(tuán)隊(duì)在生成式大模型領(lǐng)域的工作開(kāi)展提供了重要的底層支撐，同時(shí)也為團(tuán)隊(duì)構(gòu)筑起領(lǐng)先的競(jìng)爭(zhēng)優(yōu)勢(shì)。期待在團(tuán)隊(duì)的科研背景、創(chuàng)新精神以及對(duì)多模態(tài)發(fā)展的深入理解等多方優(yōu)勢(shì)的驅(qū)動(dòng)下，生數(shù)團(tuán)隊(duì)在未來(lái)能快速實(shí)現(xiàn)令人矚目的發(fā)展。