Autor Thema: Snowie 5 on hold  (Gelesen 33054 mal)

Hardy

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 2.879
    • Hardy's Backgammon Pages
Snowie 5 on hold
« am: 19. Februar 2008, 13:24:31 »
Folgende E-Mail erging am Valtentinstag (14. Feb) an einige Snowie-Kunden:

It’s Valentine’s Day and time to fall in love with Backgammon Snowie again. We’re taking advantage of the date to pass on some news and a great offer to your friends.

We have received many enquires regarding Snowie 5 and would like to inform all of our customers that the development of Snowie 5 is currently on hold. We do not envisage a launch anytime soon. We will be sure to announce any changes in our plans as they come about.

We would also like to apologize for the recent instability of the software, patricianly in regards to running Snowie 4 on Windows Vista operating system. The software has now been stabilized and you should no longer experience troubles running Snowie 4 on Vista.

As a token of our appreciation, we are offering all our customers 20% off ALL Backgammon Snowie products until the end of February.

Simply use the promotion code: love20 when ordering from our website.

To take advantage of this offer:

1. Visit our website at www.bgsnowie.com before the 28th February.

2. Choose the product you wish to purchase from the Order page 3.

Enter the code love20 into the Promotion Code box

Finally, don’t forget to Spread the Love! Tell your backgammon friends about this offer and claim a free t-shirt for every referral*. Remember, the promotion code applies to ALL our Snowie 4 software.

Yours sincerely,

The Snowie Group

Zusammenfassung: Die mehrfach angekündigte neue Snowie-Version 5 wird es vorläufig nicht geben. Die Entwicklung wurde eingestellt. Dafür kann man Snowie4 zu einem vergünstigten Valentins-Preis erwerben (gültig bis Ende Februar).

Schade eigentlich. Vermutlich sind die Einnahmen "dank" des kostenlosen und gleich spielstarken GNU Backgammon eingebrochen, so dass sich aus deren Bewertung weitere Kosten für eine Weiterentwicklung nicht lohnen.

Hardy  8)
« Letzte Änderung: 19. Februar 2008, 19:23:16 von Hardy »
Hardy's Backgammon Pages - was sonst?  8)

FrankBerger

  • Hero Member
  • *****
  • Beiträge: 595
    • BGBlitz Homepage
Re: Snowie 5 on hold
« Antwort #1 am: 19. Februar 2008, 19:55:44 »
Eigentlich sollte ich zur Konkurrenz die Klappe halten.... es juckt mich trotzdem  >:D

Die ganze Sache ist doch höchst schräg:
- Im Frühjahr 2007 (oder so) kündigt man S5 für Oktober 2007 an
- im Sommer fragt man die Benutzer was man besser machen könnte.

Normalerweise ist es doch so, dass man beschließt was ins Release kommt und dann einen Zeitplan macht. Aber ich frage ganz bestimmt nicht 3 Monate vor der Auslieferung was noch rein soll.

Dann läßt man durchsickern, dass die neue KI 5 Punkte auf 100 Spiele (gegen S4?) gewinnt (ob cubeless oder nicht war nicht so eindeutig) 5 Punkte!!!  Das ist eine Welt!!! Wenn die keinen Handschlag am Interface machen und nur die neue KI einbauen, wieviel Aufwand kann das sein? Wenn man mehr als einen 1-stelligen Anzahl Tage braucht hat man aus meiner Sicht echt was falsch gemacht.
Und eine KI die den Rest der Welt vom Brett bläst (und genau das wäre es) würde in 3-4 stelligen Stückzahlen gekauft werden gekauft werden. Egal was Gnu (oder BGB) kosten. Also würde es sich ja wohl rentieren ein paar Tage zu investieren! Ich erinnere mich allerdings noch, das es bei S4 im Vorfeld auch hieß, die KI sei ganz doll besser und man die Überlegenheit zeigen wollte (diese Ankündigung verschwand dann irgendwann von der Website und man hat nie wieder was davon gehört)

Welche Schlüsse man daraus ziehen mag, überlasse ich jedem selber... ;)


amalesh

  • Sr. Member
  • ****
  • Beiträge: 157
    • Backgammon 4 Fun
Re: Snowie 5 on hold
« Antwort #2 am: 19. Februar 2008, 19:59:02 »
market loser
« Letzte Änderung: 19. Februar 2008, 23:34:34 von amalesh »

Martin

  • DBGV
  • Hero Member
  • *
  • Beiträge: 5.307
Re: Snowie 5 on hold
« Antwort #3 am: 19. Februar 2008, 20:05:03 »
jau, aber mit einem o

WerDenktVerliert

  • Full Member
  • ***
  • Beiträge: 116
Re: Snowie 5 on hold
« Antwort #4 am: 20. Februar 2008, 10:24:23 »

Dann läßt man durchsickern, dass die neue KI 5 Punkte auf 100 Spiele (gegen S4?) gewinnt...
 
Welche Schlüsse man daraus ziehen mag, überlasse ich jedem selber... ;)

Eine interessante Frage. Die Argumentation von Frank Berger scheint mir sehr schlüssig. Aus meiner Sicht folgere ich daher:

1.) Snowie besitzt keine KI, die die existierenden Bots mit der versprochenen Überlegenheit schlägt.
2.) SnowieGroup belügt seine Kundschaft aus Marketinggründen schamlos.

Irgendwie erinnert mich das Ganze an die Vaporware zbot von Douglas Zare. Der hatte auch jahrelang mit einem kommenden revolutionären Bot geprahlt. Gegen Ende hatte er Verschiebungen der Veröffentlichung seiner Software mit "Problemen beim User-Interface" begründet. (Folgerungen siehe oben)

Hardy

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 2.879
    • Hardy's Backgammon Pages
Re: Snowie 5 on hold
« Antwort #5 am: 20. Februar 2008, 10:34:07 »
1.) Snowie besitzt keine KI, die die existierenden Bots mit der versprochenen Überlegenheit schlägt.
2.) SnowieGroup belügt seine Kundschaft aus Marketinggründen schamlos.

Zu 1.: Ja. Denn wenn es sowas gäbe, fände es mit Sicherheit einen Markt. Wer würde sowas nicht kaufen?

Zu 2.: Ich glaube, mit diesem Gehabe haben Sie mehr kaputt gemacht, als irgendwas Positives im Bereich Marketing erreicht zu haben. Und dem Verkauf von Snowie 4 war das eher abträglich, denn viele warten auf Snowie 5 und kaufen daher erst einmal kein Snowie 4. Insofern stellt sich die Frage: Warum dann, hat man solche, dem Geschäft abträglichen Dinge publiziert? Vielleicht wollte man sich ja wirklich in die Entwicklung einer neuen Version stürzen, hat dann Aufwand gegen erwartete Einnahmen gegeneinander gelegt und festgestellt, dass es sich vorraussichtlich nicht lohnt.

Insgesamt tut es dem Spiel nicht gut, wenn das Angebot guter Software zu gering ist. Insofern wünsche ich Frank viel Durchhaltevermögen und Erfolg mit BGBlitz. Und vielleicht macht auch GNUBG noch ein paar Fortschritte? Zu hoffen wärs.

Hardy  8)
Hardy's Backgammon Pages - was sonst?  8)

WerDenktVerliert

  • Full Member
  • ***
  • Beiträge: 116
Re: Snowie 5 on hold
« Antwort #6 am: 20. Februar 2008, 10:48:35 »
Insofern stellt sich die Frage: Warum dann, hat man solche, dem Geschäft abträglichen Dinge publiziert? Vielleicht wollte man sich ja wirklich in die Entwicklung einer neuen Version stürzen, hat dann Aufwand gegen erwartete Einnahmen gegeneinander gelegt und festgestellt, dass es sich vorraussichtlich nicht lohnt.

Wenn man eine unglaublich überlegene KI ankündigt, dann darf man nicht von ihr träumen, sondern man muss sie schon entwickelt haben. Frank Berger kann sicher bestätigen, wie schwer es ist, vom heutigen Niveau aus große Fortschritte zu erzielen. Insofern steht für mich der Tatbestand der Lüge außer Frage.

Warum man eine solche Ankündigung macht? Man hält die potentielle Kundschaft vorübergehend vom Kauf einer anderen Software ab. Selbige Vorgehensweise hat Douglas Zare damals praktiziert.

Zum Fortschritt von GNUBG: ich glaube, hier ist mittelfristig nicht viel zu erwarten. Die Gründe dafür sind vielfältig: Arbeitsbelastung der bisherigen Entwickler; Code-Wirrwarr, der ein komplettes Neuschreiben der Software ratsam macht; nicht ausreichendes statistisches Knowhow, um die Spielstärke signifikant zu verbessern.

Ich wünsche Frank Berger, dass er seine Konkurrenten so weit überholen wird, dass BGBlitz eines Tages das Nonplusultra der Backgammon-Software sein wird.

FrankBerger

  • Hero Member
  • *****
  • Beiträge: 595
    • BGBlitz Homepage
Re: Snowie 5 on hold
« Antwort #7 am: 20. Februar 2008, 19:40:57 »
Irgendwie erinnert mich das Ganze an die Vaporware zbot von Douglas Zare. Der hatte auch jahrelang mit einem kommenden revolutionären Bot geprahlt.
Wenn man in r.g.b gräbt findet man so um 2003 sicher eine "diskussion" die erklärt warum ich seitdem nicht unbedingt zu seinen Fans zähle. Er hat damals gesagt: "ZBot hat so fortgeschrittene Features, das die Gnu-Leute die noch nicht mal nachprogrammieren könnten".

heute verstehe ich warum das den Gnu-Leuten so schwer fällt :-Y



Gegen Ende hatte er Verschiebungen der Veröffentlichung seiner Software mit "Problemen beim User-Interface" begründet. (Folgerungen siehe oben)
Ich vermute folgendes:

1.)  Zare ist ein extrem heller Kopf, ein (vermutlich) exzellenter Mathematiker und hat ne Menge Ahnung von BG. Eine Software zu schreiben die mit Gnu/S4/BGB konkurrieren kann ist  richtig viel Arbeit. BGB hat aktuell 130.000 Zeilen Code, Gnu etwa 150.000 (IIRC). Gängigen Schätzungen nach ist das etwa 10 Jahre Vollzeitprogrammierung. SW in dieser Größenordnung stabil zum fliegen bekommen ist nichts, was du als Amateur hinbekommst (Ich weiß allerdings nicht was Zare beruflich macht). Die Komplexität der SW wächst exponentiell!!  Es könnte eine Ursache sein, das er entweder den Umfang nicht hinbekommt oder es nicht stabil bekommt.

2.) Mit welchem ökonomischen Modell soll es funktionieren? Es hiess mal 6 Leute arbeiten dran.... Wie teilt man da Einnahmen?
Da ist Ärger vorprogrammiert. Damit es ökonomisch funktioniert muss man sich auch über den Preis Gedanken machen. Wenn man ins Segment von Snowie will wird die Anzahl der Kunden kleiner, obwohl er durch seine Reputation doch ne Menge Kunden bekommen würde, aber nur wenn die SW wirklich spielstark + toll + stabil ist. Bei der Spielstärke hat er ja schon zurückgerudert....
Wenn man es günstig macht lohnt sich die Entwicklung monetär auf keinen Fall!! Meiner Meinung nach hat nur ein positiv Bekloppter, der es nicht wegen des Geldes macht ne Chance sowas durchzuziehen ;) Der hat dann aber kaum noch Zeit für BG oder BG-Artikel zu schreiben....


Und vielen Dank für die guten Wünsche :)


Marc

  • Sr. Member
  • ****
  • Beiträge: 260
Re: Snowie 5 on hold
« Antwort #8 am: 21. Februar 2008, 14:32:43 »
Ich wünsche Frank Berger, dass er seine Konkurrenten so weit überholen wird, dass BGBlitz eines Tages das Nonplusultra der Backgammon-Software sein wird.

Hat er das nicht schon?  Ich finde schon!  :-A

Zum Vergleich: Snowie und GnuBG spielen nicht oder nicht viel besser.  Alle drei sind besser als Menschen und die können nur noch gegeneinander spielen.  Da ist es mir egal gegen wen ich verliere. ;)

Zur GUI:
GnuBG gab es mal für mehrere Plattformen aber aktuell nicht mehr.  Für Laien ist es auch noch recht kompliziert zu installieren.
Snowie ist proprietär und das unterstütze ich nicht. Fällt also sowieso schon mal flach.   
Bleibt nur BGBlitz übrig! Da Frank so visionär war Java zu verwenden, läuft das Programm auf allen Plattformen. 

Ich freue mich schon auf eine neue BGBlitz Version, mit Spielanalyse und dafür sollte Frank dann auch mal wieder Geld bekommen!
Vielleicht ala Jellyfish drei Versionen - player, tutor, analyser.


Hardy

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 2.879
    • Hardy's Backgammon Pages
Re: Snowie 5 on hold
« Antwort #9 am: 21. Februar 2008, 14:42:21 »
Hat er das nicht schon?  Ich finde schon!  :-A

Zum Vergleich: Snowie und GnuBG spielen nicht oder nicht viel besser. 

Hinsichtlich der Spielstärke nehmen die drei sich sicher nicht viel.


Zur GUI:
GnuBG gab es mal für mehrere Plattformen aber aktuell nicht mehr.  Für Laien ist es auch noch recht kompliziert zu installieren.

Zumindestens für die Windows-Version kann man sagen, dass die Installation ein Kinderspiel ist. Linux hat mich auch ein wenig Schweiss gekostet.


Snowie ist proprietär und das unterstütze ich nicht. Fällt also sowieso schon mal flach.   

Proprietär ist ja auch wohl BGBlitz - das Argument zieht nicht  ;D


Ich freue mich schon auf eine neue BGBlitz Version, mit Spielanalyse und dafür sollte Frank dann auch mal wieder Geld bekommen!

Du sprichst es an: Die fehlende Möglichkeit einer Gesamt-Analyse ist aus meiner Sicht derzeit der Haupt-Knackepunkt. Ansonsten gebe ich Dir voll Recht: Es ist für Backgammon zu hoffen, dass Frank mit seinem Programm weiterhin erfolgreich ist. Ich werde mir das Programm auch in Kürze zulegen (es sei denn, irgendjemand lässt mir evtl. für meine guten Taten noch einen Gutschein dafür zukommen  ::) )

Hardy  8)
Hardy's Backgammon Pages - was sonst?  8)

Marc

  • Sr. Member
  • ****
  • Beiträge: 260
Re: Snowie 5 on hold
« Antwort #10 am: 21. Februar 2008, 16:31:28 »
Die GnuBG Mac Version ist auch nicht ohne.  Welcher Laie weiss schon was X11 ist. :)  Gut das es inzwischen mitgeliefert wird.

BGBlitz läuft auf mehreren Plattformen und ist damit nicht auf ein OS beschränkt. Das meinte ich damit.  Früher hatte ich mal Jellyfish.  Das kann icih nicht mehr verwenden weil ich kein Diskettenlaufwerk mehr habe und das OS auch nicht mehr. ;)

Die Analyse Funktion von BGBlitz kommt sicher noch vor Snowie5. ;)  Aber dazu wird Frank sicher was sagen, wenn es soweit ist.


WerDenktVerliert

  • Full Member
  • ***
  • Beiträge: 116
Re: Snowie 5 on hold
« Antwort #11 am: 21. Februar 2008, 18:10:04 »
Mit Nonplusultra meinte ich:

- die größte Spielstärke
- die höchste Analysegeschwindigkeit
- alle wichtigen Features
- die beste Bedienbarkeit

In der Hauptsache benutze ich GNUBG und Snowie.

GNUBG mag ich wegen seiner Geschwindigkeit, Snowie aufgrund seiner ausgewogenen Spielweise (hat weniger blinde Flecken als GNUBG).

Ich denke Verbesserungen bei diesen beiden Punkten erfordern eine streng wissenschaftlichen Ansatz. Von der inneren Struktur her kenne ich natürlich nur GNUBG. Dessen KI halte ich von ihrem Aufbau her für verbesserbar. Vielleicht findet sich eines Tages ein Universitätsprofessor, der einige Diplom- und Doktorarbeiten auf diese Thematik ansetzt.

Die beiden letzten Punkte erfordern in der Hauptsache eine Menge Programmierarbeit.

Hardy

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 2.879
    • Hardy's Backgammon Pages
Re: Snowie 5 on hold
« Antwort #12 am: 21. Februar 2008, 18:34:39 »
Dessen KI halte ich von ihrem Aufbau her für verbesserbar. Vielleicht findet sich eines Tages ein Universitätsprofessor, der einige Diplom- und Doktorarbeiten auf diese Thematik ansetzt.

Ein ausgezeichneter Ansatz :TU Und wenn kein Professor auf diese Idee kommt, greift vielleicht ein Grüppchen Backgammon-Begeisteter Studenten die Idee auf. Professoren begeistern sich auch für Studenten, die mit eigenen Ideen für Diplom-/Doktorarbeiten ankommen.

Hardy  8)
Hardy's Backgammon Pages - was sonst?  8)

wintom

  • Hero Member
  • *****
  • Beiträge: 789
  • Luck is the idol of the idle.
    • Berlin Backgammon
Re: Snowie 5 on hold
« Antwort #13 am: 22. Februar 2008, 10:20:08 »
Zitat
Die GnuBG Mac Version ist auch nicht ohne.  Welcher Laie weiss schon was X11 ist.

Wer einen Mac hat und nicht weiss was X11 ist, der weiss auch nicht was Java ist. Die Installation von Gnubg auf OSX und Windows stellt keine größeren Anforderungen an den Benutzer als BgBlitz. Dass es auf Linux anstrengend ist, liegt eher an Linux. Wer auf diesem Betriebssystem Zuhause ist, wird über die Installation aber nur müde lächeln. Da ich selbst Java Fan bin, finde ich die Lösung von BgBlitz allerdings auch am besten.

Zitat
Mit Nonplusultra meinte ich:

- die größte Spielstärke
- die höchste Analysegeschwindigkeit
- alle wichtigen Features
- die beste Bedienbarkeit

In der Spielstärke sind die drei wohl gleich auf. Die höchste Analysegeschwindigkeit hat wohl BgBlitz, weil nur BgBlitz bisher anständigen Support für mehrere Prozessoren hat. Leider gibt es eben noch immer keine Matchanalyse. Features haben sie alle zu wenige ;D und Bedienbarkeit ist glaube ich zum großen Teil Geschmackssache.

Zitat
Proprietär ist ja auch wohl BGBlitz - das Argument zieht nicht

Wenn man sich den Preisunterschied anschaut zieht das sehr wohl. Snowies Zielgruppe sind wohl weniger die Hobbyspieler...

Für mich gewinnt sowieso der Bot, der als erstes Moultezim und Plakoto beherrscht und da räume ich BgBlitz die besten Chancen ein! :-Y

Thomas
Backgammon in Berlin: Berlin Backgammon
Der Backgammon Blog: Graswurzel Backgammon

Andreas

  • Hero Member
  • *****
  • Beiträge: 1.262
Re: Snowie 5 on hold
« Antwort #14 am: 22. Februar 2008, 11:39:49 »

Für mich gewinnt sowieso der Bot, der als erstes Moultezim und Plakoto beherrscht und da räume ich BgBlitz die besten Chancen ein! :-Y

Thomas

Wenn ich Franks Erfolge bei Moultezim auf gamerz/PBEM so sehe, frage ich mich, ob er vielleicht die erste Alpha-Version eines Moultezim-Bots zum Studieren des Spiels schon am laufen hat 8)

Ein Bot, der Moultezim spielt, spielt dann auch Nardi...und das ist die gängige BG-Spielart im GUS-Bereich.

Andererseits ist es auch ganz hübsch, dass es irgendwo noch keine Bots gibt  :)

Ein sehr schönes Feature bei BGBlitz ist das das Konversionsteil.
Leider gelingt damit aber noch nicht die Konversion von Hypergammon in etwas von GNUBG lesbares.

Thomas,
weisst Du, wie man PBEM =.txt Files in GNUBG reinkriegt?

Gruß

Andreas
« Letzte Änderung: 22. Februar 2008, 12:03:58 von Andreas »

wintom

  • Hero Member
  • *****
  • Beiträge: 789
  • Luck is the idol of the idle.
    • Berlin Backgammon
Re: Snowie 5 on hold
« Antwort #15 am: 22. Februar 2008, 14:40:17 »
Zitat
Thomas,
weisst Du, wie man PBEM =.txt Files in GNUBG reinkriegt?

Ich bezweifle, dass das im Moment möglich ist. Da wird jemand ein Script schreiben müssen, der PBEM in mat konvertiert. Vielleicht hat Frank das ja schon getan!?

Thomas
Backgammon in Berlin: Berlin Backgammon
Der Backgammon Blog: Graswurzel Backgammon

Andreas

  • Hero Member
  • *****
  • Beiträge: 1.262
Re: Snowie 5 on hold
« Antwort #16 am: 22. Februar 2008, 16:25:15 »
Zitat
Thomas,
weisst Du, wie man PBEM =.txt Files in GNUBG reinkriegt?

Ich bezweifle, dass das im Moment möglich ist. Da wird jemand ein Script schreiben müssen, der PBEM in mat konvertiert. Vielleicht hat Frank das ja schon getan!?

Thomas

BGBlitz konvertiert PBEM in.mat...nur bie HG führt das anders als bei noralem BG zur Fehlermeldung.

Frank,
bring das in Ordnung und lass Dir BGBlitz künftig für sein Alleinstellungsmerkmal(!?) der Konversion bezahlen.

Gruß

Andreas

FrankBerger

  • Hero Member
  • *****
  • Beiträge: 595
    • BGBlitz Homepage
Re: Snowie 5 on hold
« Antwort #17 am: 23. Februar 2008, 12:57:04 »
BGBlitz konvertiert PBEM in.mat...nur bie HG führt das anders als bei noralem BG zur Fehlermeldung.
bring das in Ordnung
schick mir mal ein paar Beispieldateien. Vermutlich ist es nicht viel Arbeit (famous last words...)

und lass Dir BGBlitz künftig für sein Alleinstellungsmerkmal(!?) der Konversion bezahlen.
ne, das ist frei und bleibt frei

Was Moultezim angeht. Wenn BGBlitz 3.0 raus ist (das heit bis dahin gibt es
Match analyze
ein geiles Benutzerinterface
eine neue KI
Benutzerverwaltung)

werde ich ernsthaft drüber nachdenken ein Moultezim zu schreiben. Das juckt mich echt in den Fingern.......

KJS

  • Jr. Member
  • **
  • Beiträge: 20
Re: Snowie 5 on hold
« Antwort #18 am: 23. Februar 2008, 13:18:10 »


Wenn BGBlitz 3.0 raus ist (das heit bis dahin gibt es
Match analyze
ein geiles Benutzerinterface
eine neue KI
Benutzerverwaltung)

werde ich ernsthaft drüber nachdenken ein Moultezim zu schreiben. Das juckt mich echt in den Fingern.......

--------------------------------------------------------------------------------------------

und wenn Du dann noch z.B. NETELLER in Deine Kaufoption aufnimmst hast Du sicherlich schon mindestens einen Käufer mehr  :-A

 

WerDenktVerliert

  • Full Member
  • ***
  • Beiträge: 116
Re: Snowie 5 on hold
« Antwort #19 am: 23. Februar 2008, 20:15:38 »
In der Spielstärke sind die drei wohl gleich auf.

Frank Berger publizierte hier die Ergebnisse eines Wettkampfs zwischen den Bots BGBlitz, Jellyfish, Snowie und GnuBG.

http://www.hardyhuebener.de/forum/index.php?topic=21.0

vs.                     BGBlitz                 Jellyfish               Snowie 4.5           GnuBG 0.14
BGBlitz                 -                        534                     504                     481
Jellyfish               466                      -                        428                     407
Snowie 4.5           496                     572                      -                        489
GnuBG 0.14          519                      593                     511                     -


Somit gewinnen von 3000 25-Punkt-Matches

BGBlitz                 1519
Jellyfish                1301
Snowie 4.5           1557
GnuBG 0.14           1623


Ich stelle die Frage nach der Signifikanz des Spielstärkeunterschieds zwischen BGBlitz und GnuBG. Hierzu verwende ich einen Chi-Quadrat-Vierfelder-Test.

             Win                     Loss
BGBlitz     1519                   1481
GnuBG     1623                   1377

Pearson's Chi-squared test with Yates' continuity correction

X-squared = 7.0885, df = 1, p-value = 0.007758

Daraus schließe ich, dass die Nullhypothese (Die Spielstärke von BGBlitz und GnuBG unterscheiden sich nicht signifikant) mit einer Wahrscheinlichkeit von 99,2 % abzulehnen ist. Somit ist es statistisch signifikant, dass GnuBG stärker spielt als BGBlitz.

FrankBerger

  • Hero Member
  • *****
  • Beiträge: 595
    • BGBlitz Homepage
Re: Snowie 5 on hold
« Antwort #20 am: 23. Februar 2008, 22:18:58 »
und wenn Du dann noch z.B. NETELLER in Deine Kaufoption aufnimmst hast Du sicherlich schon mindestens einen Käufer mehr  :-A

Es gibt ja auch noch die altmodische Überweisung (die z.B. auch mit Share-it geht, aber du kannst mich gerne auch so annmailen)
PayPal ist deutlich besser als sein Ruf und Share-it saß in Deutschland und das war unprolematisch mit der Überweisung.

FrankBerger

  • Hero Member
  • *****
  • Beiträge: 595
    • BGBlitz Homepage
Re: Snowie 5 on hold
« Antwort #21 am: 23. Februar 2008, 23:06:55 »
Ich stelle die Frage nach der Signifikanz des Spielstärkeunterschieds zwischen BGBlitz und GnuBG. Hierzu verwende ich einen Chi-Quadrat-Vierfelder-Test.

             Win                     Loss
BGBlitz     1519                   1481
GnuBG     1623                   1377

Pearson's Chi-squared test with Yates' continuity correction

X-squared = 7.0885, df = 1, p-value = 0.007758

Daraus schließe ich, dass die Nullhypothese (Die Spielstärke von BGBlitz und GnuBG unterscheiden sich nicht signifikant) mit einer Wahrscheinlichkeit von 99,2 % abzulehnen ist. Somit ist es statistisch signifikant, dass GnuBG stärker spielt als BGBlitz.

Mit der Statistik ist das so eine Sache. Ich glaube dein Ansatz ist nicht korrekt.
BGB hat gegen JF recht viel Pech gehabt. Welche Aussage hat das aber über die Spielstärke von BGB und Gnu? Außerdem ist Spielstärke nicht transitiv (a > b > c) Welche Ergebnisse erhältst du wenn du nur BGB gegen Gnu rechnest (und das ist meiner Einschätzung nach der einzig relevante Test zum Vergleich BGB / Gnu)?

Wenn ich es recht im Kopf rechne ist die Varianz p * (1-p) = 0,25 -> die Standardabweichung demzufolge 0,5.
(1,96 * 0,5) / SQR(1000) ist ungefähr 0,03. Mal 1000 sind wir bei 30, d.h erst ab 530-470 wäre das zu 95% signifikant. Also sind wir weit davon entfernt die These "BGB spielt genauso stark wie Gnu" mit statistischer Signifikanz ablehnen zu können.

Weiter, was ja nicht ganz unwichtig ist: Um wieviel stärker ist Gnu? Weil du hattest ja gesagt "signifikant stärker", du hattest aber nicht gesagt was signifikant ist und ob das praktische Auswirkungen hat!
Ich bin vermute übrigens durchaus das Gnu z.Zt. die stärkste KI hat... Aber selbst das ergibt keine einfache Beziehung a la "Gnu spielt besser, also ist seine Bewertung immer besser". Gnu spielt z.B. in ausgefallenen Stellungen z.T. absoluten Nonsens. BGB ist da viel robuster. In r.g.b kannst du ein paar Spiele finden wo sich GnuBG Zugwahl kaum von einem Zufallszug unterscheidet. Das wird dir mit BGB nicht gelingen. Oder den Odd-Even-Effekt den BGB kaum kennt.
These 1:Es gibt zur Zeit Positionen wo jeder der drei Bots ein besseres Urteil hat als die jeweils beiden anderen.

Zurück zur Frage um wieviel stärker ist GnuBG und ist das "signifikant" im Sinne von "das macht praktisch was aus". Außer dem "Big Bot Shootout" kenne ich eigentlich nur den Depreli-Benchmark mit 626 schwierigen Positionen als seriösen Benchmark.
In dem hat (aus dem Gedächtnis, niedriger ist besser)
Gnu  11,5
S4    12,5
BGB  14,7

Also ein *deutlicher* Unterschied.... Hm schauen wir weiter hin
S3    21
JF     27

Zur Erinnerung: Snowie 3 und Jellyfish galten mal oder gelten noch als Topprogramme. Wenn der Unterschied BGB/GnuBG danach "signifikant" ist müsste BGB mit S3 oder JF den Boden aufwischen? >:D

Und jetzt zu dem was WinTom zum Ausdruck brachte nur etwas pointierter.
These 2:Wenn du auf der Autobahn stehst ist es ziemlich egal ob du mit 100 oder 101 oder 102 km/h überfahren wirst. Tot bist du auf alle Fälle....  >:D

Noch ein Zitat von Jim Seagrave der es ebenfalls recht gut ausdrückt: "It's somewhere in the same playing strength as gnubg or Snowie 4 - no-one's played enough matches between either of those and BGblitz to get an exact measure of the difference in strength, but unless you are an incredibly strong player, it won't make any difference. "

Jim ist übrigens einer der Kernentwickler von GnuBG......

Ach ja und ganz zum Schluss noch ein paar Fragen. Wer ist in den letzten Jahren spielstärker geworden? Wer arbeitet zur Zeit an seiner KI? Wer wird denn am ehestens was Stärkeres rausbringen? Wann hat die Snowiegroup die letzte Verbesserung der KI gebracht? Wann GnuBG?

These 3: Wenn es Fortschritte in der Spielstärke geben wird, dann hat das Programm ein "b" im Namen  ;D

WerDenktVerliert

  • Full Member
  • ***
  • Beiträge: 116
Re: Snowie 5 on hold
« Antwort #22 am: 24. Februar 2008, 02:31:08 »
Ich glaube dein Ansatz ist nicht korrekt.

Ich habe mir Gedanken gemacht, wie ich die maximale Information aus dem Experiment holen kann. Da stellt sich mir die Frage: "Welcher Bot gewinnt die meisten Punkte im Wettkampf, egal gegen wen?" Also nehme ich die Ergebnisse aller Matches, jeder gegen jeden. Da könnten wegen mir auch Matches gegen jeden anderen, egal wie lausig gearteten Gegner, dabei sein. Hauptsache er spielt gleichmäßig.


BGB hat gegen JF recht viel Pech gehabt.

Wegen des möglichen Glücks oder Unglücks machen wir ja statistische Experimente: wir ziehen Kugeln aus der Urne der möglichen Spielergebnisse, Stichproben halt. Natürlich wäre es denkbar, die Ergebnisse um das Glück zu bereinigen. Da würden wir jedoch wieder einen Bot benutzen, was zu einer Art von Zirkelschluss führen würde. Dieses Verfahren ist deshalb nur bedingt nützlich.


Weil du hattest ja gesagt "signifikant stärker", du hattest aber nicht gesagt was signifikant ist...

Ich hatte gesagt, GnuBG sei signifikant stärker. Ich schließe das aus dem statistischen Test, der wie folgt funktioniert:

1) Ich stelle eine Nullhypothese auf. H0: beide Bots sind gleich stark. Die Alternative lautet H1: die beiden Bots sind nicht gleich stark.
2) Ich wähle aufgrund des Experiments den geeigneten Test. Siehe z.B. hier http://www.students.uni-marburg.de/~Cal/Zeug/Entscheidungsbaum.pdf
3) Der Test liefert mir anhand der Daten eine Wahrscheinlichkeit, ob die beiden Stichproben der selben Population entstammen.
4) Ich hatte keine alpha-Niveau der Signifikanz gewählt. Ich kann wählen alpha = 95%. Ich kann sogar wählen alpha = 99%. In beiden Fällen sagt der Test, dass ich die Nullhypothese H0 abzulehnen habe. Also gilt H1, was damit gleichzusetzen ist, dass GnuBG stärker ist.

Letztere Wahl ist übrigens ein ziemlich scharfes Kriterium. Üblicherweise wählt man nur 95%.


Um wieviel stärker ist Gnu?

Aufgrund der Daten schätze ich, dass GnuBG ca. 24 FIBS-Punkte (ELO) stärker ist.

Der Ansatz dazu sieht so aus: Ich tue so, als ob die 3000 Matches gegen einen unbekannten dritten Gegner gespielt worden wären. Nach der FIBS-Formel ist BGBlitz um 4,2 Punkte besser als der Gegner, GnuBG um 28,6. Aus der Differenz ermittle ich den Spielstärkeunterschied.

In der Tat sind die Ergebnisse, wie Du erwähnt hast, nicht transitiv. Da ich jedoch nur eine begrenzte Menge an Daten habe, begnüge ich mich mit dieser durchaus plausiblen Abschätzung.

Ich finde die Größe der Differenz übrigens auch aus folgender Sicht interessant: Olivier Egger hat früher einmal die Meinung geäußert, dass Snowie geschätzte 100 FIBS-Punkte von der Perfektion entfernt sei. Diese Meinung teile ich im Großen und Ganzen. Da scheinen mir mögliche 24 Punkte Unterschied durchaus eine Menge.


...und ob das praktische Auswirkungen hat!

Ich sprach in einem Beitrag weiter oben vom Nonplusultra der Bots. Damit meinte ich den Besten, nicht nur einen Bot, der mithalten kann. Bots, die für die meisten Spieler ausreichen, gibt es wie Sand am Meer, auf FIBS z.B. noch MonteCarlo und bonehead.

Ich rede aber davon, dass ich zu Hause Analysen durchführe, die mich Strom und Zeit kosten. Mir stellen sich daher jedes Mal die die Fragen:

- Reicht mir eine 0-ply Analyse oder brauche ich eine höhere Ply-Analyse?
- Reicht mir ein 0-ply Rollout oder brauche ich einen höheren Ply-Rollout?
- Wie viele Trials muss mein Rollout umfassen?
- Wie sehr kann ich meinem Lehrer trauen?

Mir ist es prinzipiell lieber, wenn die elektrische Energie und die Zeit beim Entwickler aufgewendet wurden, so dass die vielen Tausend Benutzer sich beides in gewissem Maße sparen können. Das scheint mir ökonomisch.


Snowie 3 und Jellyfish galten mal oder gelten noch als Topprogramme.

Snowie 3 kenne ich leider nicht. Mit Jellyfish habe ich jahrelang gespielt. Jellyfish ist für mich kein Top-Programm.

Von einem heutigen Top-Programm erwarte ich, dass ich es gegen die besten Spieler der Welt spielen lassen könnte und mir sicher sein kann, dass es dabei eine positive Equity besitzt.


Wenn du auf der Autobahn stehst ist es ziemlich egal ob du mit 100 oder 101 oder 102 km/h überfahren wirst. Tot bist du auf alle Fälle.... 

Nun, wenn ich selbst 100 km/h fahre, ist es relevant, ob der andere 101 oder nur 99 km/h fährt. Im ersteren Fall überholt er mich auf längere Sicht, im zweiteren Fall ich ihn.

FrankBerger

  • Hero Member
  • *****
  • Beiträge: 595
    • BGBlitz Homepage
Re: Snowie 5 on hold
« Antwort #23 am: 24. Februar 2008, 11:56:02 »
Es stet dir frei deinen Ansatz zu wählen wie du möchtest. Ich halte es wegen der mangelnden Transitivität für problematisch für Aussagen wie "GnuBG ist stärker BGB"   (du leitest ja sogar ab:  "GnuBG ist signifikant stärker BGB") Spiele zwischeh anderen einzubeziehen. Insbesondere wenn Analysen Dritter aussagen, dass BGB gegen JF sehr schlechte Würfel hatte.
Wenn du die Diskussion auf GammonU oder bgonline verfolgt hast, war die einmütige Aussage das statistisch nur signifikant ist, das JF nicht mehr in der gleichen Liga spielt.


Wegen des möglichen Glücks oder Unglücks machen wir ja statistische Experimente: wir ziehen Kugeln aus der Urne der möglichen Spielergebnisse, Stichproben halt. Natürlich wäre es denkbar, die Ergebnisse um das Glück zu bereinigen. Da würden wir jedoch wieder einen Bot benutzen, was zu einer Art von Zirkelschluss führen würde. Dieses Verfahren ist deshalb nur bedingt nützlich.

Absolut daccord, dass durch die Glücksbereinigung Ungenauigkeiten reinkommen. Aber es
1.) nicht so, das wir daraus gar keine Schlüsse ziehen können. Wenn andere Leute sagen das JF gegen BGB recht glücklich war dann würde ich persönlich nicht die Daten heranziehen, aber das muss jeder für sich entscheiden.
2.) kommt es auf die Größe des Unterschiedes an. Ich denke das Glücksbereingung an der Stelle durchaus Sinn macht, da die Stichprobe doch recht klein ist. Um zu testen ob ein neues Netz besser ist als ein altes mache ich z.Zt. 2 Millionen Spiele. 1000 25 Punkte Matches sind da doch noch eine etwas andere Größenordnung....

Weil du hattest ja gesagt "signifikant stärker", du hattest aber nicht gesagt was signifikant ist...

Ich hatte gesagt, GnuBG sei signifikant stärker. Ich schließe das aus dem statistischen Test, der wie folgt funktioniert:

1) Ich stelle eine Nullhypothese auf. H0: beide Bots sind gleich stark. Die Alternative lautet H1: die beiden Bots sind nicht gleich stark.
2) Ich wähle aufgrund des Experiments den geeigneten Test. Siehe z.B. hier http://www.students.uni-marburg.de/~Cal/Zeug/Entscheidungsbaum.pdf
3) Der Test liefert mir anhand der Daten eine Wahrscheinlichkeit, ob die beiden Stichproben der selben Population entstammen.
4) Ich hatte keine alpha-Niveau der Signifikanz gewählt. Ich kann wählen alpha = 95%. Ich kann sogar wählen alpha = 99%. In beiden Fällen sagt der Test, dass ich die Nullhypothese H0 abzulehnen habe. Also gilt H1, was damit gleichzusetzen ist, dass GnuBG stärker ist.

Letztere Wahl ist übrigens ein ziemlich scharfes Kriterium. Üblicherweise wählt man nur 95%.
Um wieviel stärker ist Gnu?

Das Kriterium ermöglicht dir nur die Nullhypothese abzulehnen, mehr nicht. Wobei nicht mal das 95% Kriterium zutrifft wenn du die Spiele gegen nicht JF/S4 einbeziehst wofür es gute Gründe gibt. Daraus einen signifikante Unterschied abzuleiten bzw. die Größe des UNterschiedes abzuleiten ist sehr mutig...

Aufgrund der Daten schätze ich, dass GnuBG ca. 24 FIBS-Punkte (ELO) stärker ist.

Der Ansatz dazu sieht so aus: Ich tue so, als ob die 3000 Matches gegen einen unbekannten dritten Gegner gespielt worden wären. Nach der FIBS-Formel ist BGBlitz um 4,2 Punkte besser als der Gegner, GnuBG um 28,6. Aus der Differenz ermittle ich den Spielstärkeunterschied.
Analysier mal die Spiele aus Amsterdam und Turin (nur 3 und 4 aus Turin. M 1 und 2 hatte ich versehentlich de alte KI am Laufen). Da ist der Fibs Unterschied den GnuBG ausrechnet (der zudem für seine eigenen Fehler unsensibler sein sollte) bedeutend geringer. Ich habe es nicht mehr genau im Kopf, aber der Unterschied schwankt zwischen 1,5 bis etwa 15 Punkten pro Match.



In der Tat sind die Ergebnisse, wie Du erwähnt hast, nicht transitiv. Da ich jedoch nur eine begrenzte Menge an Daten habe, begnüge ich mich mit dieser durchaus plausiblen Abschätzung.
Deine Schlüsse stellst du aber als so dar: "GnuBG ist mit 99,2% um 24 Punkte stärker". Und das ist Nonsens und durch die Zahlen nicht zu belegen.


...und ob das praktische Auswirkungen hat!
Ich sprach in einem Beitrag weiter oben vom Nonplusultra der Bots. Damit meinte ich den Besten, nicht nur einen Bot, der mithalten kann. Bots, die für die meisten Spieler ausreichen, gibt es wie Sand am Meer, auf FIBS z.B. noch MonteCarlo und bonehead.
Wenn ich dich recht verstehe ist BGB also ein Bot die es wie Sand am Meer gibt?  Ich habe gerade mal nachgeschaut, MonteCarlo und bonehead stehen auf FIBS bei 1950 bzw 1946. Würdest du einen nenneswerten Betrag darauf wetten, das BGB in 10 25 Punkte-matches gegen einen beliebigen Gegner, analysiert durch Gnu 3-ply nicht mehr als 1950 Punkte hat?

Dein Fehlschluss, den ich im Vorposting auch angesprochen hatte ist die Annahme, dass ein Bot der besser ist *immer* besser ist. Ich weiß nicht ob du der Meinung bist das Snowie 4 oder GnuBG das Nonplus-Ultra ist.
Bei Snowie würde ich dir die Lektüre von dem Buch von Corbett empfehlen wo er auf 200 Seiten die Fehler von S4 aufzeigt. Bei Gnu kann man in r.g.b. mal suchen ich würde als Einstieg empfehlen: http://groups.google.com/groups?dq=&hl=en&lr=&ie=UTF-8&threadm=c9t8f4%24guo%40dispatch.concentric.net&prev=/groups%3Fhl%3Den%26lr%3D%26ie3DUTF-8%26group%3Drec.games.backgammon
Ob du dann noch deinen Rollout traust ist deine Sache...



Wenn du auf der Autobahn stehst ist es ziemlich egal ob du mit 100 oder 101 oder 102 km/h überfahren wirst. Tot bist du auf alle Fälle.... 

Nun, wenn ich selbst 100 km/h fahre, ist es relevant, ob der andere 101 oder nur 99 km/h fährt. Im ersteren Fall überholt er mich auf längere Sicht, im zweiteren Fall ich ihn.

Es ging um einen Fußgänger, oder wolltest du damit ausdrücken, dass du genauso gut (oder sogar besser spielst) als BGBlitz und deshalb diese Unterschiede für dich relevant sind? Wenn ich das so richtig interpretiere, würdest du dann zu einem Match gegen BGB antreten?
« Letzte Änderung: 24. Februar 2008, 11:59:53 von FrankBerger »

Galadriel

  • Administrator
  • Full Member
  • *****
  • Beiträge: 53
Re: Snowie 5 on hold
« Antwort #24 am: 24. Februar 2008, 17:28:34 »
Zitat
Wenn ich dich recht verstehe ist BGB also ein Bot die es wie Sand am Meer gibt?  Ich habe gerade mal nachgeschaut, MonteCarlo und bonehead stehen auf FIBS bei 1950 bzw 1946.

Hallo Frank, ich hatte das schon vor langer Zeit mal gefragt: wann spielt denn BGB auch endlich mal auf fibs? Das kann doch so schwer nicht sein, denn das interface hast Du doch selber in Deinem Wohmzimmer liegen  ;D , oder?

Was für ein fibs-rating dabei wohl rauskäme...