cirquit
PhD student with a focus on machine learning, distributed systems and functional programming.
Neuroevolution in RoboCup2D
Bachelor Präsentation
1
Alexander Isenko
19.01.2017
Betreuer: Thomas Gabor M.Sc,
Dr. Lenz Belzner
3
Alexander Isenko
19.01.2017
Fragestellung
4
Alexander Isenko
19.01.2017
Fragestellung
5
Alexander Isenko
19.01.2017
Fragestellung
6
Alexander Isenko
19.01.2017
Fragestellung
Untersuchung von neuroevolutionären Algorithmen
in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
7
Alexander Isenko
19.01.2017
Domäne - RoboCup [1][2]
RoboCup Small Size
RoboCup@Rescue
RoboCupSoccer Standart
RoboCupSoccer Humanoid
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
8
Alexander Isenko
19.01.2017
Subdomäne - Half Field Offense
- Halbes Spielfeld
- 1 vs 1 Szenario
- Deterministischer Torwart
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
9
Alexander Isenko
19.01.2017
Half Field Offense - Zustandsraum [3]
- X-Position
- Y-Position
- Distanz zum Ball
- Winkel zum Ball
- Sichtrichtung
- Winkel zw. Torwart & Pfosten
- Distanz zur Tormitte
- Winkel zur Tormitte
- Ballaktion ausführbar
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
10
Alexander Isenko
19.01.2017
Half Field Offense - Aktionsraum [3]
| Aktion | Bedeutung |
|---|---|
| Move | Bewegung in Richtung des Balls |
| Shoot | Schieße den Ball in Richtung des Tores |
| Dribble | Schieße den Ball vor dir hin und lauf hinterher |
| Intercept | Sprintet in Richtung des Balls |
| No-Op | Führe keine Aktion aus |
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
11
Alexander Isenko
19.01.2017
Half Field Offense - Ablauf eines Spiels
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
12
Alexander Isenko
19.01.2017
Technik - Neuronale Netze
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
13
Alexander Isenko
19.01.2017
Problem - Seltene Fitnessfunktion
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
14
Alexander Isenko
19.01.2017
Technik - Genetischer Algorithmus
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
15
Alexander Isenko
19.01.2017
Kompression - Diskrete Kosinus Transformation
1:1
1:5
1:55
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
16
Alexander Isenko
19.01.2017
Technik #1 - Naive Neuroevolution
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
17
Alexander Isenko
19.01.2017
Technik #2 - Cross Entropy Method [5]
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
\mu = 3.76
μ=3.76
\sigma^2 = 1.58
σ2=1.58
\mu = 0.68
μ=0.68
\sigma^2 = 1.69
σ2=1.69
\mu = 3.81
μ=3.81
\sigma^2 = 3.73
σ2=3.73
\mu = 3.90
μ=3.90
\sigma^2 = 3.44
σ2=3.44
\mathcal{N}(x |
N(x∣
)
)
18
Alexander Isenko
19.01.2017
Technik #3 - CoSyNE [4]
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
19
Alexander Isenko
19.01.2017
Resultate - Cross Entropy Method
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
20
Alexander Isenko
19.01.2017
Resultate - Naive Neuroevulution
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
21
Alexander Isenko
19.01.2017
Resultate - CoSyNE
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
22
Alexander Isenko
19.01.2017
Resultate - Zusammenfassung
| Algorithmus | E(Trainierte Fit.) | E(Getestete Fit.) | E(Fehler) |
|---|---|---|---|
| Cross Entropy | 29.60% | 6.56% | 77.87% |
| CoSyNE | 37.60% | 12.45% | 66.98% |
| Naive Neuroevo. | 42.00% | 20.13% | 51.93% |
Untersuchung von neuroevolutionären Algorithmen in einer Domäne mit seltener Fitnessfunktion ohne Gradienten
23
Alexander Isenko
19.01.2017
Resultate
Video
24
Alexander Isenko
19.01.2017
Ausblick
- Die Implementierung und Algorithmus sind erweiterbar auf 4 vs 4 modelliert
- OpenAI Gym Aufgabe wurde freigeschaltet ohne bisherige Submissions
- Tests gegen Policy Gradient Methoden
- CoSyNE + DCT haben bei den Papern viel besser abgeschnitten [4], verschiedene Parametrisierung sollten ausprobiert werden
25
Alexander Isenko
19.01.2017
Referenzen
[1] http://www.robocup.org/leagues
[2] http://www.robocup.org/a_brief_history_of_robocup
[3] https://github.com/LARG/HFO/blob/master/doc/manual.pdf
[4] F. Gomez, J. Schmidhuber, and R. Miikkulainen, “Efficient non-linear control
through neuroevolution,” in Proceedings of the European Conference on Machine
Learning, (Berlin), pp. 654–662, Springer, 2006
[5] https://gym.openai.com/docs/rl
26
Alexander Isenko
19.01.2017
Half Field Offense - Zustandsraum
Winkelkodierung
\text{Sei } f : [0,\pi] \rightarrow [-1, 1] \text{ die Kodierungsfunktion}
Sei f:[0,π]→[−1,1] die Kodierungsfunktion
\text{und } g : [-1, 1] \rightarrow [0, \pi] \text{ die inverse Dekodierungsfunktion}:
und g:[−1,1]→[0,π] die inverse Dekodierungsfunktion:
f(x) = (\frac{x}{\pi} - 1) \cdot 2, \;\; g(x) = (\frac{x}{2} + 1) \cdot \pi
f(x)=(πx−1)⋅2,g(x)=(2x+1)⋅π
Lagekodierung
max_L = \sqrt{l^2 + b^2} \;\;\;\;\; l,b := \text{L}\ddot{a}\text{nge und Breite des Spielfelds}
maxL=l2+b2l,b:=La¨nge und Breite des Spielfelds
\text{Sei } f : [-max_{\text{L}}, max_{\text{L}}] \rightarrow [-1, +1] \text{ die Kodierungsfunktion}
Sei f:[−maxL,maxL]→[−1,+1] die Kodierungsfunktion
\text{und } g : [-1, +1] \rightarrow [-max_{\text{L}}, max_{\text{L}}] \text{ die inverse Dekodierungsfunktion} :
und g:[−1,+1]→[−maxL,maxL] die inverse Dekodierungsfunktion:
f(x) = \frac{x}{max_{\text{L}}}, \;\; g(x) = x \cdot max_{\text{L}}
f(x)=maxLx,g(x)=x⋅maxL
Boole'sche Kodierung
-1 \;\;\; \text{entspricht} \;\;\; false
−1entsprichtfalse
1 \;\;\; \text{entspricht} \;\;\; true
1entsprichttrue
27
Alexander Isenko
19.01.2017
GA - Kodierungsdetails
| Generationen | 300 |
|---|---|
| Populationsgröße | 50 |
| Teamepisoden | 25 |
| Episodenzeit | 500s |
| Ball nicht berührt | 50s |
| Selektion | 25% |
| Mutation | 10% |
28
Alexander Isenko
19.01.2017
CoSyNE - Beispiel
29
Alexander Isenko
19.01.2017
Fehlerberechung
\text{Fehler} = \frac{F_{\text{Training}} - F_{\text{Test}}}{F_{\text{Training}}}
Fehler=FTrainingFTraining−FTest
Neuroevolution in RoboCup2D Bachelor Präsentation 1 Alexander Isenko 19.01.2017 Betreuer: Thomas Gabor M.Sc, Dr. Lenz Belzner
Bachelor Thesis
By cirquit
Bachelor Thesis
Bachelor thesis presentation - Neuroevolution in RoboCup2D
- 99
