Domovská stránka Joindota

V OpenAI Five Finals jsme také sdíleli dvě překvapení:

OpenAI pět poráží mistry světa Dota 2 World

OpenAI pět konkurenčních událostí na velkém, matném místě s jasnými reflektory a velkým publikem

Openai Five je první AI, která porazila mistry světa ve hře esports, poté, co tento víkend vyhrála dvě hry na back-to-back oproti týmu mistra světa DOTA 2, OG, OG, OG. Alphastar Openia Five i Deepmind dříve porazil dobré profesionály soukromě, ale ztratil své živé zápasy, takže to také poprvé, kdy AI porazila esports profesionály na živém proudu.

V OpenAI Five Finals jsme také sdíleli dvě překvapení:

Openai Five objevil základní schopnost být spoluhráčem s lidmi, i když náš proces tréninku se zaměřuje výhradně na bití dalších robotů. Snadnost, s jakou jsme proměnili konkurenční AI v kooperativní, nás doufá, že budoucí systémy AI mohou být pro lidi velmi prospěšné vzhledem k aktivnímu rozvojovému úsilí.
Od 18. do 21. dubna zmenšujeme OpenAI pět, abychom hráli na internet, ať už jako konkurent nebo spoluhráč. Tento závěrečný test nám umožní odpovědět na důležitou výzkumnou otázku-do jaké míry je OpenAI pět vykořisťovatelná nebo jinak může být spolehlivě poražena-a bude potenciálně největším nasazením vysoce konkurenčního učebního agenta pro hluboké posílení, se kterým mohou lidé vědomě komunikovat.

Lidský pohled versus pohled AI na matici Dota

Celkově současná verze OpenAI Five spotřebovala 800 petaflop/s-dnů a zažila asi 45 000 let sebepříjmové hry po 10 v reálném čase (až asi 10 000 let po 1.. Finálová verze OpenAI pět má 99.9% Winrate versus verze TI. [^winote-winrate]

Aktuální verze OpenAI Five se od června 2018 neustále trénuje, navzdory změnám velikosti modelu a herní pravidla (včetně některých poměrně velkých aktualizací herních oprav a nově implementovaných funkcí). . Podle našich nejlepších znalostí je to poprvé, kdy byl agent RL vyškolen pomocí tak dlouhodobého tréninkového běhu.

Abychom tuto práci fungovali, pokračovali jsme v rozvoji našich operačních nástrojů, abychom mohli začít z vyškolených parametrů i přes podstatné změny architektury.

Více hrdinů

Viděli jsme velmi malé zpomalení tréninku od 5 do 18 hrdinů. .

Strávili jsme několik týdnů tréninkem s hrdinskými bazény až 25 hrdinů, přičemž jsme tyto hrdiny přivedli k přibližně 5k MMR (asi 95. percentil hráčů Dota). Přestože se stále zlepšovali, neučili se dostatečně rychle, aby dosáhli úrovně pro profilu. Ještě jsme neměli čas prozkoumat proč, ale naše hypotézy sahají od nedostatečné kapacity modelu až po potřebu lepšího dohazování pro rozšířený fond hrdinů až po vyžadování většího tréninkového času pro nové hrdiny, aby dohnali staré hrdiny. !

. Finálová verze hraje se 17 hrdiny – odstranili jsme Licha..

Kooperativní režim

Ve skutečnosti to bylo pěkně; Můj zmiv mi v určitém okamžiku dal svůj život. . Ale víš, věřil ve mě. S [lidskými] spoluhráči to moc nechápu. –Sheever

Schopnost Openia Five hrát si s lidmi představuje přesvědčivou vizi pro budoucnost interakce člověka a ai, kde systémy AI spolupracují a zlepšují lidskou zkušenost. Naši testeři hlásili, že pociťují jejich spoluhráči, které se naučili z hraní po boku těchto pokročilých systémů a že to byl obecně zábavný zážitek celkově.