[Hiina, Shenzhen, 14. juuli 2023] Täna tutvustas Huawei oma uut tehisintellekti salvestuslahendust suuremahuliste mudelite ajastu jaoks, pakkudes optimaalseid salvestuslahendusi põhimudelite koolituseks, tööstusharuspetsiifiliseks mudelikoolituseks ja segmenteeritud stsenaariumite põhjal järelduste tegemiseks. vallandades uusi AI-võimalusi.
Suuremahuliste mudelirakenduste väljatöötamisel ja rakendamisel seisavad ettevõtted silmitsi nelja peamise väljakutsega:
Esiteks on andmete ettevalmistamiseks kuluv aeg pikk, andmeallikad on hajutatud ja koondamine aeglane, sadade terabaitide andmete eeltöötluseks kulub umbes 10 päeva. Teiseks on massiivsete teksti- ja pildiandmekomplektidega multimodaalsete suurte mudelite puhul praegune suurte väikeste failide laadimiskiirus alla 100 MB/s, mille tulemuseks on treeningkomplekti laadimise madal efektiivsus. Kolmandaks põhjustavad suurte mudelite sagedased parameetrite kohandamised koos ebastabiilsete treeningplatvormidega treeninguid umbes iga 2 päeva järel, mistõttu on treeningu jätkamiseks vaja kontrollpunkti mehhanismi, kusjuures taastumine võtab aega üle päeva. Lõpuks on suurte mudelite kõrged juurutusläved, keeruline süsteemi seadistus, ressursside ajastamise väljakutsed ja GPU ressursside kasutamine sageli alla 40%.
Huawei ühtib tehisintellekti arendamise trendiga suuremahuliste mudelite ajastul, pakkudes erinevatele tööstusharudele ja stsenaariumidele kohandatud lahendusi. See tutvustab OceanStor A310 Deep Learning Data Lake Storage'i ja FusionCube A3000 Training/Inference Super-Converged Appliance'i. OceanStor A310 Deep Learning Data Lake Storage on sihiks nii põhi- kui ka tööstustasemel suurte mudelite andmejärve stsenaariume, saavutades kõikehõlmava tehisintellekti andmete haldamise alates andmete koondamisest, eeltöötlusest kuni mudelikoolituse ja järeldusrakendusteni. Ühes 5U riiulis asuv OceanStor A310 toetab valdkonna juhtivat 400 GB/s ribalaiust ja kuni 12 miljonit IOPS-i ning lineaarset mastaapsust kuni 4096 sõlmeni, võimaldades sujuvat protokollidevahelist suhtlust. Globaalne failisüsteem (GFS) hõlbustab intelligentset andmete kudumist piirkondade vahel, lihtsustades andmete koondamise protsesse. Peaaegu salvestusruumi andmetöötlus teostab andmelähedast eeltöötlust, vähendades andmete liikumist ja parandades eeltöötluse efektiivsust 30%.
FusionCube A3000 koolitus-/järeldamise superkonvergeeritud seade, mis on loodud tööstuse tasemel suurte mudelite väljaõppe/järelduste stsenaariumide jaoks, sobib rakendustele, mis hõlmavad miljardite parameetritega mudeleid. See integreerib OceanStor A300 suure jõudlusega salvestussõlmed, koolitus-/järeldussõlmed, lülitusseadmed, tehisintellekti platvormi tarkvara ning haldus- ja operatsioonitarkvara, pakkudes suurtele mudelipartneritele plug-and-play juurutamiskogemust ühe peatuse jaoks. Kasutusvalmis, seda saab kasutusele võtta 2 tunni jooksul. Nii koolitus-/järeldus- kui ka salvestussõlmi saab iseseisvalt ja horisontaalselt laiendada, et need vastaksid erinevatele mudeliskaala nõuetele. Samal ajal kasutab FusionCube A3000 suure jõudlusega konteinereid, et võimaldada GPU-de jagamiseks mitut mudelit väljaõpet ja järeldustoiminguid, suurendades ressursside kasutust 40%-lt üle 70%. FusionCube A3000 toetab kahte paindlikku ärimudelit: Huawei Ascend One-Stop Solution ja kolmanda osapoole partneri terviklik lahendus avatud andmetöötluse, võrgunduse ja tehisintellekti platvormi tarkvaraga.
Huawei andmesalvestuse tootesarja president Zhou Yuefeng ütles: "Suuremahuliste mudelite ajastul määravad andmed tehisintellekti kõrguse. Andmekandjana saab andmesalvestusest tehisintellekti suuremahuliste mudelite peamine alusinfrastruktuur. Huawei Data Storage jätkab uuenduste tegemist, pakkudes tehisintellekti suurte mudelite ajastule mitmekesiseid lahendusi ja tooteid, tehes koostööd partneritega, et suurendada tehisintellekti võimekust paljudes tööstusharudes.
Postitusaeg: august 01-2023
