• 螞蟻集團(tuán)

2月28日，記者獲悉，螞蟻集團(tuán)推出20億參數(shù)多模態(tài)遙感基礎(chǔ)模型SkySense，這是螞蟻百靈大模型在多模態(tài)領(lǐng)域最新的研發(fā)成果，其論文已被世界計(jì)算機(jī)視覺頂會(huì)CVPR 2024接收。數(shù)據(jù)顯示，SkySense在17項(xiàng)測試場景中指標(biāo)均超過國際同類產(chǎn)品，這也是迄今為止國際上參數(shù)規(guī)模最大、覆蓋任務(wù)最全、識(shí)別精度最高的多模態(tài)遙感基礎(chǔ)模型。SkySense可用于地貌、農(nóng)作物觀測和解譯等，有效輔助農(nóng)業(yè)生產(chǎn)和經(jīng)營。

（圖片說明：SkySense在17項(xiàng)評(píng)測中均超過國際上最新的遙感模型）

隨著人工智能的發(fā)展，大模型技術(shù)與衛(wèi)星遙感技術(shù)相結(jié)合產(chǎn)生了新突破。SkySense是螞蟻集團(tuán)基于螞蟻百靈大模型平臺(tái)能力開發(fā)的多模態(tài)遙感模型。

SkySense在總計(jì)17項(xiàng)國際權(quán)威公開數(shù)據(jù)集進(jìn)行了測評(píng)，其測試任務(wù)類型包括了土地利用監(jiān)測、高分辨率目標(biāo)識(shí)別、地物變化檢測等7種常見遙感感知任務(wù)，并與國際上已發(fā)布的包括IBM和NASA聯(lián)合研發(fā)的Prithvi等共18個(gè)全球主流同類模型做了測試結(jié)果比較。數(shù)據(jù)顯示，17項(xiàng)測評(píng)中SkySense均名列第一。譬如，在國際高清遙感地物檢測榜單FAIR1M 2.0中，SkySense平均精度（mAP）領(lǐng)先第二名超3%。

在剛剛公布的CVPR2024論文入選結(jié)果上，SkySense的研究成果亦被收錄。CVPR是由IEEE舉辦的計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的頂級(jí)會(huì)議，是國際計(jì)算機(jī)視覺三大頂會(huì)之一。

傳統(tǒng)的遙感影像理解技術(shù)，往往側(cè)重于針對單一模態(tài)單一任務(wù)建模，缺乏對多模態(tài)數(shù)據(jù)、時(shí)間序列、地理先驗(yàn)知識(shí)的綜合建模和利用，限制了其在海量數(shù)據(jù)和多種任務(wù)中的泛化能力。SkySense突破以上技術(shù)瓶頸，實(shí)現(xiàn)了文本、紅外光、可見光、SAR雷達(dá)多種模態(tài)、多分辨率的時(shí)序遙感影像建模，在多樣化的任務(wù)中展現(xiàn)出優(yōu)異性能。在螞蟻百靈大模型多模態(tài)能力支持下，研發(fā)人員基于內(nèi)部構(gòu)建的19億遙感影像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，得到了20.6億參數(shù)量的模型SkySense，這也是迄今為止國際上參數(shù)規(guī)模最大、覆蓋任務(wù)最全、識(shí)別精度最高的多模態(tài)遙感大模型。SkySense可廣泛應(yīng)用于城市規(guī)劃、森林保護(hù)、應(yīng)急救災(zāi)、綠色金融、農(nóng)業(yè)監(jiān)測等重要領(lǐng)域，目前通過螞蟻內(nèi)部MEarth平臺(tái)提供數(shù)據(jù)與識(shí)別服務(wù)。 

據(jù)了解，螞蟻集團(tuán)正在計(jì)劃開放Skysense模型參數(shù)，與行業(yè)共建，促進(jìn)智能遙感技術(shù)與應(yīng)用發(fā)展。

SkySense由螞蟻AI創(chuàng)新研發(fā)部門NextEvo與武漢大學(xué)聯(lián)合研發(fā)。NextEvo是螞蟻AI核心技術(shù)研發(fā)團(tuán)隊(duì)，主導(dǎo)了螞蟻百靈大模型的研發(fā)工作，其研發(fā)方向涉及CV、NLP、多模態(tài)、AIGC、數(shù)字人、AI工程化等核心技術(shù)。去年，該部門升級(jí)了多模態(tài)團(tuán)隊(duì)，由楊銘帶隊(duì)全面布局多模態(tài)技術(shù)。楊銘美國西北大學(xué)博士，F(xiàn)acebook AI Research (FAIR)創(chuàng)始成員，去年加入螞蟻集團(tuán)，先后就職于NEC美國實(shí)驗(yàn)室、FAIR、地平線機(jī)器人公司，是世界知名計(jì)算機(jī)視覺研究專家。

目前，螞蟻集團(tuán)多模態(tài)研究成果已應(yīng)用于支付寶五福節(jié)AI大規(guī)模互動(dòng)、螞蟻醫(yī)療數(shù)字人等場景。