上海人工智能實(shí)驗(yàn)室發(fā)布多模態(tài)語料
【資料圖】
原標(biāo)題:上海人工智能實(shí)驗(yàn)室發(fā)布多模態(tài)語料
人民日報(bào)上海8月15日電 (記者沈文敏)近日,上海人工智能實(shí)驗(yàn)室宣布聯(lián)合語料數(shù)據(jù)聯(lián)盟成員單位,共同開源發(fā)布“書生·萬卷”1.0多模態(tài)預(yù)訓(xùn)練語料。
“書生·萬卷”1.0集合了語料數(shù)據(jù)聯(lián)盟成員豐富的內(nèi)容積累與上海人工智能實(shí)驗(yàn)室的數(shù)據(jù)處理能力等優(yōu)勢,將為學(xué)術(shù)界及產(chǎn)業(yè)界提供高質(zhì)量大模型多模態(tài)預(yù)訓(xùn)練語料。本次開源的數(shù)據(jù)總量超過2TB,具備多元融合、精細(xì)處理、價(jià)值對齊、易用高效等四大特征。
本次開源的“書生·萬卷”1.0包含文本、圖文、視頻三部分?jǐn)?shù)據(jù)集。其中文本數(shù)據(jù)來自網(wǎng)頁、百科、書籍、專利、教材、考題等,數(shù)據(jù)總量超過5億個文檔,數(shù)據(jù)大小超過1TB,覆蓋科技、文學(xué)、媒體、教育、法律等多個領(lǐng)域;圖文數(shù)據(jù)主要來自公開網(wǎng)頁,經(jīng)處理后形成圖文交錯文檔,總量超過2200萬個,數(shù)據(jù)大小超過140GB(不含圖片),覆蓋新聞事件、人物、自然景觀、社會生活等多個領(lǐng)域;視頻數(shù)據(jù)主要來自中央廣播電視總臺和上海文廣集團(tuán),包含新聞、影視等多種類型的節(jié)目影像,總計(jì)視頻文件數(shù)超過1000個,數(shù)據(jù)大小超過900GB,內(nèi)容覆蓋軍事、文藝、體育、自然、知識、影像藝術(shù)等方面。
相關(guān)閱讀
- (2023-08-16)上海人工智能實(shí)驗(yàn)室發(fā)布多模態(tài)語料
- (2023-08-16)“暑期經(jīng)濟(jì)”新玩兒法,你參與了哪個?
- (2023-08-16)黃茅??绾Mǖ老笊剿淼离p線貫通
- (2023-08-16)前7個月我國服務(wù)零售額同比增長20.3%
- (2023-08-16)餐飲消費(fèi)加速回暖 挖潛提質(zhì)仍有空間
- (2023-08-16)上海發(fā)布兩大未來產(chǎn)業(yè)發(fā)展白皮書
熱點(diǎn)推薦
- (2023-08-16)上海人工智能實(shí)驗(yàn)室發(fā)布多模態(tài)語料
- (2023-08-16)濟(jì)南公積金如何辦理退休提???
- (2023-08-16)約796元!諾基亞神機(jī)C210發(fā)布
- (2023-08-16)港股異動 | 藥師幫(09885)績后漲超3% 上半年收入同比增超18% 總GMV突破220億元
- (2023-08-16)港股異動 | 利華控股集團(tuán)(01346)漲超10% 再創(chuàng)歷史新高 今年以來大漲238%
- (2023-08-16)瑞銀:維持萬洲國際(00288)“買入”評級 目標(biāo)價(jià)降至7.43港元
最近更新
- (2023-08-16)上海人工智能實(shí)驗(yàn)室發(fā)布多模態(tài)語料
- (2023-08-16)濟(jì)南公積金如何辦理退休提???
- (2023-08-16)約796元!諾基亞神機(jī)C210發(fā)布
- (2023-08-16)港股異動 | 藥師幫(09885)績后漲超3% 上半年收入同比增超18% 總GMV突破220億元
- (2023-08-16)港股異動 | 利華控股集團(tuán)(01346)漲超10% 再創(chuàng)歷史新高 今年以來大漲238%
- (2023-08-16)瑞銀:維持萬洲國際(00288)“買入”評級 目標(biāo)價(jià)降至7.43港元
- (2023-08-16)港股異動 | 五礦資源(01208)績后跌超4% 中期由盈轉(zhuǎn)虧業(yè)績至5880萬美元
- (2023-08-16)海通國際:首予思派健康(00314)“優(yōu)于大市”評級 目標(biāo)價(jià)11.25元港元
- (2023-08-16)“暑期經(jīng)濟(jì)”新玩兒法,你參與了哪個?
- (2023-08-16)黃茅海跨海通道象山隧道雙線貫通
- (2023-08-16)前7個月我國服務(wù)零售額同比增長20.3%
- (2023-08-16)餐飲消費(fèi)加速回暖 挖潛提質(zhì)仍有空間
- (2023-08-16)廣東省市場監(jiān)督管理局關(guān)于2023年上半年食品安全監(jiān)督抽檢情況的通告(2023年第126號)
- (2023-08-16)北約秘書長親信這條提議,激怒基輔
- (2023-08-16)亞馬遜又又又流量暴跌了,temu的日子同樣也不好過!?。?/a>
- (2023-08-16)農(nóng)業(yè)銀行傳世之寶金條價(jià)格今天多少一克(2023年08月16日)
- (2023-08-16)上海發(fā)布兩大未來產(chǎn)業(yè)發(fā)展白皮書
- (2023-08-16)南方電網(wǎng)不斷提升新能源并網(wǎng)服務(wù)能力 為高質(zhì)量發(fā)展提供可靠電網(wǎng)支撐
- (2023-08-16)李國勇在文安縣霸州市檢查災(zāi)后重建工作時強(qiáng)調(diào) 全力推進(jìn)搶險(xiǎn)修復(fù)和災(zāi)后重建 切實(shí)把黨和政府的溫暖關(guān)懷送到群眾心坎上
- (2023-08-16)美國TRA評估是什么意思,申請TRA毒理性評估需要哪些資料?
- (2023-08-16)新冠檢測板塊拉升,易瑞生物20CM漲停
- (2023-08-16)郵報(bào):紅軍在中場還有6名目標(biāo),富勒姆對帕利尼亞要6000萬鎊
- (2023-08-16)2023年8月15日外匯交叉貨幣對行情分析
- (2023-08-16)今日外匯市場主要貨幣阻力支撐位預(yù)測(2023/8/16)
- (2023-08-16)外匯早報(bào):金價(jià)因美元回落而企穩(wěn) 但仍維持在六周低位附近(2023/8/16)
- (2023-08-16)8月16日財(cái)經(jīng)早餐:金價(jià)因美元回落而企穩(wěn),但仍維持在六周低位附近
- (2023-08-16)黃金早報(bào):今日影響黃金市場的重要新聞(2023/8/16)
- (2023-08-16)北京豐臺打造“千億級花卉產(chǎn)業(yè)”
- (2023-08-16)三部門調(diào)整海南自貿(mào)港交通工具及游艇“零關(guān)稅”政策
- (2023-08-16)7月民航旅客運(yùn)輸量6242.8萬人次 行業(yè)總體運(yùn)輸規(guī)模首超疫情前水平