Leela Zero

User avatar
Dan.A
Posts: 464
Joined: Mon Jan 19, 2015 12:58 pm
Location: Bucuresti
Rang: 3Kyu

Leela Zero

Postby Dan.A » Wed Oct 25, 2017 10:46 am

Iar aici puteti vedea proiectul LeelaZero : https://github.com/gcp/leela-zero

Era de asteptat. Chiar sunt curios daca reuseste sa stranga destui doritori (cu resurse puternice) ca sa reduca acei 1700 de ani la un timp rezonabil.

Un citat din proiect: " I plan to update this network with more or better training when available - just feeding it into this program will make it stronger."

Cu alte cuvinte oricine cu resurse poate contribui sau imi scapa ceva ? Chiar asa de smecher e acum "algoritmul" ?

"There are times when the only choices you have left are the bad ones."

User avatar
Admin
Site Admin
Posts: 401
Joined: Sat Jan 17, 2015 6:30 pm
Rang: 1d

Re: Leela Zero

Postby Admin » Wed Oct 25, 2017 12:57 pm

Sunt sceptic ca ar investi cineva bani pentru a inchiria TPU-uri la google (in eventualitatea in care ar fi disponibile spre inchiriere) ca sa antreneze o arhitectura similara cu cea a AlphaGo Zero. O instanta de AlphaGo Zero din ce inteleg in documentul publicat, foloseste 4 TPU-uri. Probabil au folosit cel putin 20 astfel de instante care sa joace in paralel timp de 40 de zile.
Chiar si o configuratie standard in google cloud care presupun ca e mult mai slaba decat 1 TPU, dar sa zicem ca ar fi echivalenta, antrenarea ar costa spre $100.000.

Pare ca AlphaGo e mai mult folosit ca reclama pentru algoritmii si solutiile in cloud pe care le ofera google in ce tine de machine learning.
Cel putin in teorie acum toata lumea ar vrea sa le faca google antrenarile de retele ca au cu ce.
Iulian Lungu

User avatar
Dan.A
Posts: 464
Joined: Mon Jan 19, 2015 12:58 pm
Location: Bucuresti
Rang: 3Kyu

Re: Leela Zero

Postby Dan.A » Wed Oct 25, 2017 10:20 pm

Eu sper sa le reuseasca proiectul fara sa fie nevoie de contributie in bani.

Citez un Q&A scurtat din proiect :
Q-Since it required huge amount of computing resources to teach network - is it possible to create some distributed system, where everyone who is willing can join and contribute their machine resources?

A-Yes, we are working on the server portion of the distributed system. It is probably possible to get very decent performance with 10-100 people in a few months, or less. The idea is also to start with an even smaller network to see if the system works correctly, and where we end up strength-wise.

Iar acest raspuns ma face optimist. "I will provide pre-made packages for common operating systems." Cu alte cuvinte si unu ca mine care habar nu are cu ce se mananca programarea ar putea sa contribuie doar generand partide.

P.S. Voi veni cu vesti imediat ce apar progrese in acest demers.
"There are times when the only choices you have left are the bad ones."

User avatar
Admin
Site Admin
Posts: 401
Joined: Sat Jan 17, 2015 6:30 pm
Rang: 1d

Re: Leela Zero

Postby Admin » Thu Oct 26, 2017 10:47 am

Dar nu prea se potriveste cu estimarea initiala de 1700 de ani. Daca vorbim de 10-100 de oameni care sa puna la dispozitie placile lor grafice intr-un sistem distribuit, ar reduce la 170-17 ani antrenarea. Ar fi nevoie de 1700 sa reduca la 1 an care oricum mi se pare prea mult. Sau de 15.500 de samariteni ca sa termine in 40 de zile.
Si eu m-as bucura sa reuseasca. Am avea toti de castigat.
Iulian Lungu

User avatar
MihaiL
Posts: 281
Joined: Mon Jan 19, 2015 12:24 pm
Rang: 2d

Leela Zero - how to ...?

Postby MihaiL » Fri Oct 27, 2017 9:31 pm

Am downloadat Leela Zero 0.1 de la: https://github.com/gcp/leela-zero/releases
Are nevoie de o retea neurala deja "educata". Am luat-o de aici: https://sjeng.org/zero/best.txt.zip.
E un fisier txt numit weights.txt, pe care l-am pus in acelasi folder cu Leela Zero.
Am definit engine-ul cu parametrii --gtp -w weights.txt

Si acu ma joc cu ea.
Ca sa se joace ea cu ea cica are nevoie de inca ceva.

Iulian ?

User avatar
MihaiL
Posts: 281
Joined: Mon Jan 19, 2015 12:24 pm
Rang: 2d

O posibila utilitate a programelor de tip Deep Learning

Postby MihaiL » Sat Oct 28, 2017 11:09 am

Eu personal sunt mai putin interesat de idealul "the best (and most original) player ever".
Tributar in continuare idealului de SHUUDAN (Go-ul ca mod de comunicare umana), mi-ar place (asa, in my dreams - sunt constient de necesarul de putere de calcul) sa "educ" cateva instante cu un anume "flavour".
Ma gandesc e.g. la una jucand doar cu mine sau incarcata doar cu partidele mele, alta introducand de ex toate partidele unui jucator preferat (sa zicem Takemiya SENSEI) sau toate partidele japoneze etc. Dupa care s-o las sa se joace ea cu ea si sa "dezvolte" ACEA "tema". Nu-mi dau seama daca ar pastra acest "flavour" dupa ce ar juca tonele de partide ea cu ea. Daca da insa, ar fi ca un container al acelor idei. Inclusiv testamentar - e.g. cum ar fi sa ai un "Dosaku" acasa ? :) Sau un "Radu"... :-|
Cool..! (And creepy...)

User avatar
Dan.A
Posts: 464
Joined: Mon Jan 19, 2015 12:58 pm
Location: Bucuresti
Rang: 3Kyu

Re: Leela - software bazat pe retele neurale

Postby Dan.A » Sun Oct 29, 2017 10:47 pm

A reusit si eu sa-l fac sa mearga si sa-l testez un pic in Sabaki. Merge si sa joace ea cu ea (cine stie poate am ceva instalat de care nu stiu si care ajuta). Am windows 10 ca sistem de operare.

Ce as fi vrut era sa-l testez la handicap impotriva ultimei ver de Leela dar nu am nici o idee cum sa reduc timpul de gandire (50sec/mutare e mult prea mult). Am citit documentatia din site dar nu am idee unde se introduce comanda legata de timp (sau poate gresesc parametri).

Eu personal sunt mai putin interesat de idealul "the best (and most original) player ever".


Si eu la fel. Aici deja sa ajuns cu AlphaGoZero si pun pariu ca foarte curand vor ajunge si versiuni comerciale si open source.
Pe mine m-ar interesa sa lucreze si la optimizari pentru a invata ceva din el. Ex: O baza de date de fuseki, joseki , un grafic mai explicit la analiza, posibilitatea de a selecta o pozitie sau a pune un Tsumego si sa-l lasi sa incerce sa-ti dea mutarile cele mai bune (fara sa tina cont de restul tablei), etc.
"There are times when the only choices you have left are the bad ones."

User avatar
MihaiL
Posts: 281
Joined: Mon Jan 19, 2015 12:24 pm
Rang: 2d

Re: Leela - software bazat pe retele neurale

Postby MihaiL » Mon Oct 30, 2017 8:25 am

Dan.A wrote:A reusit si eu sa-l fac sa mearga si sa-l testez un pic in Sabaki. Merge si sa joace ea cu ea (cine stie poate am ceva instalat de care nu stiu si care ajuta). Am windows 10 ca sistem de operare.


M-am exprimat eu "prescurtat". Sigur ca e banal sa o faci sa joace "ea cu ea": in Sabaki "incarci" la ambele culori instanta de Leela Zero si gata, ca si la celelalte.

Ideea mea (dar incep sa renunt la ea momentan) era ca dupa ce joaca o partida sa o salveze in baza de date, adica sa invete SI din partidele jucate pe computerul de acasa, nu doar din baza de date prestabilita cu care vine.
In rezumat pentru mine cel putin deocamdata Leela Zero e inutila: nu studiez cu ea ca am programe mai tari (Leela 11, AQ, Ray, probabil chiar si Crazy Stone DL de pe Android), nu vad de ce as juca cu ea (vezi motivul de mai sus), nu pot contribui (deocamdata) la sporirea bazei de date (nu ca as avea mari contributii de adus).
So...asteptam urmatoarea "mutare" a lui Gian-Carlo. Meanwhile...Leela 11, Ray, AQ. Planuiesc un turneu local intre ele (un fel de "VolGo pentru AI-urile lu' Lita" ;) )

User avatar
Admin
Site Admin
Posts: 401
Joined: Sat Jan 17, 2015 6:30 pm
Rang: 1d

Re: Leela - software bazat pe retele neurale

Postby Admin » Mon Oct 30, 2017 12:14 pm

Am jucat cu leela 11 la paritate, pe CPU, limitat la 20.000 simulari si 30 minute timp de gandire si a gresit grav in yose mic. Tot m-a batut cu 3.5 puncte dar totusi... sa piarda 20 de puncte cand jucam yose de 1 punct e cam ciudat. Dupa meci l-am pus sa analizeze pozitia si a reusit sa isi dea seama de secventa corecta abia cand a depasit 50.000 simulari. Deci recomand folosirea programului Leela pe CPU cu setari mai generoase.

Legat de antrenarea Leela zero nu stiu cat de bine inteleg explicatiile autorului.
Gian-Carlo spune ca dupa fiecare partida jucata se poate exporta partida

Code: Select all

dump_training white train.txt
in format pe care apoi il putem folosi la antrenare noii retele. Presupun ca ar fi nevoie de cateva mii sau poate zeci de mii de partide de self-play exportate in acest mod si apoi folosite la antrenare ca sa se obtina o imbunatatire cat de cat vizibila. Insa inteleg ca pentru a antrena nu exista inca un tool si ca se pot folosi niste modele deja definite in caffe
You still need to contruct a model description (2 examples are provided for Caffe)
.
Nu am inteles partea de "Supervised learning" de pe pagina proiectului. Pare acelasi lucru cu antrenarea explicata in sectiunea "Running the training" de pe pagina proiectului.

MihaiL wrote:... mi-ar place (asa, in my dreams - sunt constient de necesarul de putere de calcul) sa "educ" cateva instante cu un anume "flavour".
Ma gandesc e.g. la una jucand doar cu mine sau incarcata doar cu partidele mele, alta introducand de ex toate partidele unui jucator preferat (sa zicem Takemiya SENSEI) sau toate partidele japoneze etc.


Asa cum sunt retelele astea ma gandesc ca nu se poate. Sunt prea putine partide disponibile chiar si la cei mai longevivi jucatori de Go si atunci reteaua ar avea blind-spots foarte multe. Apoi daca s-ar continua antrenarea prin self-play pentru a acoperi blind-spots ar ajunge sa stearga din acel flavor destul de rapid.
Poate o sansa ar fi sa se antreneze o retea tot de la zero pana la capat, apoi sa i se administreze toate partidele acelui jucator pentru care se vrea captarea "flavour"-ului in mod repetat pana cand vedem ca ce rezulta a fost "alterat" intr-o masura care sa-l faca de recunoscut. Dar e doar o presupunere.

Urmaresc si eu dezvoltarea proiectului Leela zero. In special acel tool de antrenare.

Later edit: Probabil partea de supervised learning se refera la ideea de a antrena cu partide jucate de oameni in loc de partide jucate doar de el cu el insusi.
Iulian Lungu

User avatar
Dan.A
Posts: 464
Joined: Mon Jan 19, 2015 12:58 pm
Location: Bucuresti
Rang: 3Kyu

Re: Leela - software bazat pe retele neurale

Postby Dan.A » Mon Oct 30, 2017 4:03 pm

Am testat Leela Zero cu Leela 11 ver GPU si la 5H castiga Leela 11 iar la 6h castiga Leela Zero.

Ce am observat la Leela ZERO spre deosebire de alte ver de Leela sau alti roboti este ca are muuult mai multi candidati din care sa aleaga o mutare chiar daca ii cerceteaza doar pe primii 3-4 candidati. Probabil din cauza ca nu e limitata la candidatii preferati de om. Pe net lumea o estimeaza intre 5-3Kyu.

Am jucat cu leela 11 la paritate, pe CPU, limitat la 20.000 simulari si 30 minute timp de gandire si a gresit grav in yose mic. Tot m-a batut cu 3.5 puncte dar totusi... sa piarda 20 de puncte cand jucam yose de 1 punct e cam ciudat. Dupa meci l-am pus sa analizeze pozitia si a reusit sa isi dea seama de secventa corecta abia cand a depasit 50.000 simulari. Deci recomand folosirea programului Leela pe CPU cu setari mai generoase.


Pe mine ver GPU ma bate lejer la 5H. Nu am incercat ver neaccelerata inca. Defapt cel mai bun rezultat al meu a fost cu Leela 9 la 5min timp de gandire am reusit sa castig la 4H si aproape la 3H.

P.S. Sper ca toolul ala de antrenare sa fie usor de folosit si pentru "habarnisti" ca mine ca sa pot si eu contribui.
"There are times when the only choices you have left are the bad ones."


Return to “GO-ul si IT-ul/AI-ul”

Who is online

Users browsing this forum: No registered users and 1 guest

cron