Vývoj umelej inteligencie v Čínskej Ľudovej rep. má top prioritu. Do jej rozvoja sa investujú veľké zdroje. Projekt umelá inteligencia je jedným z najdôležitejších investícií do budúcnosti. Nasledujúce údaje sú z r. 2021:

V júni 2021 Pekinská akadémia umelej inteligencie (BAAI) spustila Wu Dao 2.0, nástupcu Wu Dao 1.0, ako prvý superrozsiahly inteligentný modelový systém v Číne. Wu Dao je jazykový model, ktorého cieľom je prekonať OpenAI GPT-3 a Google LaMDA v myslení na ľudskej úrovni. Wu Dao, ktorý je trénovaný na 4,9 terabajtoch obrázkov a textov a prekonáva najmodernejšie úrovne (SOTA) v 9 benchmarkoch, je bližšie než ktorýkoľvek z jeho kolegov k dosiahnutiu umelej všeobecnej inteligencie (AGI) a dosiahnutiu myslenia na ľudskej úrovni.

Školenie
Wu Dao bol vyškolený na 4,9 terabajtoch vysokokvalitných obrázkov a textov v angličtine a čínštine:

1,2 TB čínskych textových údajov vo Wu Dao Corpora.
2,5 TB čínskych grafických dát.
1,2 TB anglických textových údajov v súbore údajov Pile.
Trénoval sa pomocou FastMoE, open-source systému Mixture of Experts (MoE). MoE je technika strojového učenia, ktorá funguje takto:

rozdelenie úloh prediktívneho modelovania na čiastkové úlohy
školenie expertného (učiaceho sa) modelu na každú čiastkovú úlohu
vývoj modelu hradlovania, ktorý sa na základe predpovedaných vstupov naučí, s ktorým expertom sa má poradiť, a predpovede kombinuje.
FastMoE umožňuje Wu Dao konzultovať rôzne expertné modely paralelne a prejsť na ten s najlepšie predpovedaným výsledkom. Napríklad, ak je vstupom anglický text, Wu Dao použije prediktívny model, ktorý dokáže vygenerovať odpoveď v anglickom texte.

Schopnosti
Wu Dao 2.0 je inteligentný multimodálny model umelej inteligencie, čo znamená, že nejde len o jazykový model, ktorý generuje text a reč, ale dokáže generovať aj obrázky a má sebazlepšujúce sa schopnosti učenia.

Na konferencii v Pekingu Zhiyuan, kde Wu Dao prvýkrát debutoval, tvorcovia vystavili čínske básne a kresby vytvorené Wu Dao.
Básne vytvorené modelom Wu Dao
Po tejto udalosti virtuálna študentka založená na modeli umelej inteligencie Wu Dao, Zhibing Hua, na svojom Weibo oznámila, že má v úmysle začať študovať na katedre počítačovej vedy a technológie na univerzite Tsinghua. Virtuálna študentka je poháňaná Wu Dao, preto môže využiť svoju vedomostnú základňu a vzdelávacie schopnosti na písanie básní, kreslenie a skladanie hudby. Tvorcovia tvrdia, že Zhibing Hua bude mať rýchlejšie a efektívnejšie schopnosti učenia sa ako bežný študent, no zatiaľ nebude prežívať emócie.

Spravodajské benchmarky
Ako uvádza BAAI, Wu Dao 0,2 prekonalo najmodernejšie úrovne (SOTA) v 9 benchmarkových úlohách:

ImageNet zero-shot: SOTA prekonáva OpenAI CLIP
Detekcia znalostí LAMA: prevyšuje AutoPrompt
LAMABADA Cloze: Schopnosť prekonáva Microsoft Turing NLG
SuperGLUE niekoľko záberov FewGLUE: prekoná GPT-3 a získa aktuálne najlepšie výsledky učenia s niekoľkými zábermi
UC Merced Land-Use zero-shot: SOTA prekonáva OpenAI CLIP
Diagram generovania textu MS COCO: prekonáva OpenAI DALL·E
MS COCO Anglické vyhľadávanie grafiky: prekonáva OpenAI CLIP a Google ALIGN
MS COCO viacjazyčné grafické vyhľadávanie: prekonáva súčasný najlepší viacjazyčný a multimodálny predtréningový model UC2, M3P
Multi 30K viacjazyčné vyhľadávanie grafiky: prekonáva súčasný najlepší viacjazyčný a multimodálny predtréningový model UC2, M3P
Wu Dao vs. GPT-3
Tu je komplexné porovnanie medzi Wu Dao a GPT-3: