Autor Thema: Luck based rating  (Gelesen 1753 mal)

Martin

  • DBGV
  • Hero Member
  • *
  • Beiträge: 5.307
Luck based rating
« am: 25. Juli 2012, 22:13:08 »
Ich gucke in letzter Zeit nicht nur auf die PRs, sondern auch auf das Luck based rating (unter Windows -> Session Summary). Ich dachte bisher, das ist meine glücksadjustierte Gewinnwahrscheinlichkeit oder so in der Art. Mit anderen Worten: Fehler spät im Match und bei hohem Cube zählen mehr als bei der PR.

Jetzt habe ich ein 1 Pointer gespielt. PRs: 8,80 zu 3,24, aber der mit 8,80 hat ein Luck based rating von 54,51%, ist also Favorit. Hat jemand eine Erklärung dafür?

HH-Dirk

  • Hero Member
  • *****
  • Beiträge: 3.099
Re: Luck based rating
« Antwort #1 am: 25. Juli 2012, 23:33:07 »
Theoretisch kann man ja auch im 1-pointer mit besserer PR trotzdem mehr MWC (hier gleich GWC) verbraten haben, oder?

Aber ob die von dir genannten Faktoren stimmen - in der Theorie wohl schon. Allerdings, je mehr ich inzwischen drauf achte, desto weniger kann ich mir teilweise die ausgespuckten Werte erklären. Scheint sich z.T. echt jeder erkennbaren Gesetzmäßigkeit zu entziehen  :-"
Hab langsam den Eindruck, dass der stumpfe PR-Unterschied vielleicht doch deutlich aussagekräftiger ist.
« Letzte Änderung: 25. Juli 2012, 23:36:38 von HH-Dirk »
“I can’t see any way to lose from this posi….oh my God!” (QUOTE OF THE DAY auf BGonline.org)

Maik

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 1.069
Re: Luck based rating
« Antwort #2 am: 26. Juli 2012, 01:34:01 »
Theoretisch kann man ja auch im 1-pointer mit besserer PR trotzdem mehr MWC (hier gleich GWC) verbraten haben, oder?

Das ist möglich, wenn man viel mehr Entscheidungen als sein Gegner hatte.

Mit anderen Worten: Fehler spät im Match und bei hohem Cube zählen mehr als bei der PR.

Das ist im Prinzip auch bei Luck based rating richtig, aber wenn's Dir darum geht, ist es vielleicht besser, die MWC Costs von Deinem Gegner und Dir zu vergleichen. Bei einem perfekten Bot wären das Luck adjusted result und der Unterschied in den MWC costs gleich, bei einem realen Bot kommen beim luck adjusted result für ein Match manchmal Fantasiewerte raus - mein subjektiver Eindruck ist, dass das bei XG viel seltener der Fall ist als bei gnubg.


Martin

  • DBGV
  • Hero Member
  • *
  • Beiträge: 5.307
Re: Luck based rating
« Antwort #3 am: 26. Juli 2012, 07:18:15 »
Danke für die Erklärungen!

HH-Dirk

  • Hero Member
  • *****
  • Beiträge: 3.099
Re: Luck based rating
« Antwort #4 am: 26. Juli 2012, 10:47:56 »
wenn's Dir darum geht, ist es vielleicht besser, die MWC Costs von Deinem Gegner und Dir zu vergleichen. Bei einem perfekten Bot wären das Luck adjusted result und der Unterschied in den MWC costs gleich, bei einem realen Bot kommen beim luck adjusted result für ein Match manchmal Fantasiewerte raus

Cost geteilt durch Decisions wäre dafür sinnvoll, richtig?
Ich frag mich, wenn das Prinzip so erkennbar ungenau ist, wozu überhaupt luck based Werte. Dass der Bot bei den Equities nicht perfekt ist und man deshalb auf seine Einschätzungen zurückgreift bzgl. luck weil er das ja viel genauer könne, hat mich schon in der Theorie nicht wirklich überzeugt - dass ich das Prinzip nicht so 100%ig kapiert hab, kann ich aber auch nicht ausschließen  ;)
“I can’t see any way to lose from this posi….oh my God!” (QUOTE OF THE DAY auf BGonline.org)

Maik

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 1.069
Re: Luck based rating
« Antwort #5 am: 26. Juli 2012, 12:25:11 »

Cost geteilt durch Decisions wäre dafür sinnvoll, richtig?


Für was?

Ich frag mich, wenn das Prinzip so erkennbar ungenau ist, wozu überhaupt luck based Werte.

Weil alle normalen Fehlermaße nicht messen, wie gut Du spielst, sondern in welchem Maße Du wie der Bot spielst (oder wie seine Rollouts, das spielt im Prinzip keine Rolle). Wenn die Evaluation nicht perfekt ist, ist das natürlich ein Problem. Wenn Marty McFly Dir aus der Zukunft einen Superbot mitbringt, wirst Du ihn anhand dessen PR nicht zu würdigen wissen. Mit Luck based results brauchst Du ihn nur ein paar Matches gegen XGR++ spielen zu lassen.

HH-Dirk

  • Hero Member
  • *****
  • Beiträge: 3.099
Re: Luck based rating
« Antwort #6 am: 26. Juli 2012, 20:53:18 »
Für Martins Anliegen. Ich meinte, dass Cost/Decisions mehr Aussagekraft haben sollte als Cost.

Den letzten Satz deiner Erklärung versteh ich nicht.

Das davor auch nicht, aber dass muss ausschließlich an mir liegen. Glaub, du warst auch schon mal im richtigen Leben daran gescheitert, es mir verständlich zu machen, deshalb steh ich da jetzt kurz vorm aufgeben  8)
“I can’t see any way to lose from this posi….oh my God!” (QUOTE OF THE DAY auf BGonline.org)

Maik

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 1.069
Re: Luck based rating
« Antwort #7 am: 27. Juli 2012, 03:41:48 »
Für Martins Anliegen. Ich meinte, dass Cost/Decisions mehr Aussagekraft haben sollte als Cost.

Mir liefert Cost/Decisions jedenfalls keine Aussage, die mich interessieren würde.


deshalb steh ich da jetzt kurz vorm aufgeben  8)

Ich auch :) Nur noch zwei Beispiele für Erfolgsgeschichten von "luck-adjusted":
1. Die Begriffe "luck adjusted" und "variance reduced" bedeuten genau das Gleiche, bloß in unterschiedlichen Kontexten. Ohne Luck adjusting wären wir, was Rollouts angeht, noch in der Steinzeit.

2. Es gab vor einigen Jahren mal den "Bot Shootout", eine lange Matchserie zwischen den damals verfügbaren Bots. Zum Beispiel haben Gnu und Snowie damals 1000 25-Punkter gegeneinander ausgetragen. Davon hat gnubg 511 gewonnen. Daraus allein kann man statistisch nicht mehr schließen, als dass gnubg's Gewinnwahrscheinlichkeit für ein einzelnes Match wahrscheinlich irgendwo zwischen 48% und 54% lag. Mit Fehleranalyse wäre man überhaupt nicht weiter gekommen, weil gnubg sich selbst natürlich als Favorit gesehen hätte, Snowie sich selbst auch, einen besseren Bot gab's noch nicht, und Rollouts waren für diese Riesendatenmenge nicht machbar gewesen. Mit Luck adjustment konnte man den Konfidenzbereich für die Matchgewinnwahrscheinlichkeit auf ca. 1% begrenzen! Leider war das Ergebnis trotzdem von begrenztem Wert, weil Zweifel über die Einstellungen aufkamen, mit denen die 1000 Matches von den beiden Seiten gespielt wurden.