Grosse diférence dans les benchs

Voir le sujet précédent Voir le sujet suivant Aller en bas

Grosse diférence dans les benchs

Message par OlivierL le 03.06.16 18:40

Salutations,

J'aurais besoin de vos lumières. Je regarde souvent les dernières mises à jours de la "Morue" et je constate des différences au niveau de la dernière ligne appelé "Bench".

Comment savoir si la dernière "MAJ" est plus performante que celle d'avant ?

Donc nous avons ceci :

Author: Stéphane Nicolet
Date: Sat May 28 14:57:58 2016 +0200
Timestamp: 1464440278

Pins or discovered attacks on the opponent's queen

Bonus for pins or discovered attacks on the opponent's queen

STC:
LLR: 2.96 (-2.94,2.94) [0.00,5.00]
Total: 32020 W: 5914 L: 5652 D: 20454

LTC:
LLR: 2.97 (-2.94,2.94) [0.00,5.00]
Total: 10946 W: 1530 L: 1375 D: 8041

Bench: 7031649

Et là je vois cela :

Author: joergoster
Date: Fri Jun 3 07:39:27 2016 +0200
Timestamp: 1464932367

Tuned values for piece check and attack unit factors

A middle ground patch of two successful tuning patches,
one at STC, the other at LTC, which now passed both.

LLR: 2.95 (-2.94,2.94) [0.00,4.00]
Total: 67893 W: 12777 L: 12384 D: 42732

LLR: 2.95 (-2.94,2.94) [0.00,4.00]
Total: 30165 W: 4189 L: 3960 D: 22016

bench: 9209507

_________________
Le jeu d'échecs fait naître et fortifie en nous plusieurs qualités précieuses dans le cours de l'existence, telles que la prévoyance, la circonspection, la prudence, et la persévérance. Benjamin Franklin
avatar
OlivierL

Messages : 387
Date d'inscription : 04/06/2014
Age : 42
Localisation : Corbeil-Essonnes

Voir le profil de l'utilisateur http://ajec-echecs.org/index.php

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 03.06.16 19:43

Simple référence à un banc de test connu des développeurs inscrits sur github et qui n'est pas dans une progression arithmétique
Il faut distinguer le produit fini immédiatement exécutable (.exe) proposé dans le lien du portail et les fichiers source (src) à monter (compiler) soi-même quand on est compétent.
Je ne suis pas compétent, je ne connais pas bien l'anglais, je n'adhère pas au groupe.
Donc je m'occupe en utilisateur de la dernière version déjà compilée.
La dernière version est-elle la meilleure ? Pas forcément. Elle est la meilleure sur le cas évoqué mais pas en général.



Je reviendrai plus tard sur le mythe du moteur d'analyses (écrit au pluriel exprès !) plus fort que les autres (du top 10) en cadence normale de correspondance, à plus forte raison dans la même famille stockfish 7.

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par photophore le 03.06.16 20:39

Perso , à tort ou à raison , je me méfie des versions de développeurs inconnus , et fais plutôt confiance à Marco Costalba , qui a fait ses preuves : j'utilise actuellement ( peut-être est-ce pure superstition )  une version sortie le jour de mon anniversaire , et qui me donne satisfaction

_________________
Claude Le Page
Aux commandes de son  Bathyscaphe
L'oeil fixé sur les cadrans du pifomètre
avatar
photophore

Messages : 3129
Date d'inscription : 02/06/2010
Age : 90
Localisation : Montesson

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 03.06.16 20:40

http://www.latribunedesechecs.com/t1120-il-faut-fomenter-le-desarroi-chez-les-moteurs#17363

L'exemple donné dans ce fil se retrouve dans celui-ci

http://www.latribunedesechecs.com/t1294-une-partie-d-echecs-960#20381

partie 2 où j'ai les noirs. Les blancs ont bien joué 3.h3.

Mais l'important n'est pas là. L'important c'est qu'en véritable cadence de correspondance n'importe quel logiciel du top 10 donne autant d'idées que les autres même s'il ne les classe pas pareil, et surtout il est apte à les vérifier. Le véritable élagage est l’œuvre du jpciste.

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 03.06.16 23:11

OlivierL a écrit: je constate des différences au niveau de la dernière ligne appelé "Bench".


complément de réponse.
Tous les classeurs src ont un fichier benchmark.cpp. Le dernier:

https://github.com/official-stockfish/Stockfish/blob/master/src/benchmark.cpp

D'où j'ai isolé cette copie d'écran :


comme cette autre issue d'une autre contribution


En gros, les FEN et leurs évaluations je suppose que c'est la référence bench de la dernière ligne. Bien une suite de tests FEN+temps de résolution classée dans une nomenclature à 7 chiffres, incluant peut-être une date.

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 03.06.16 23:31

ligne 69 1er tableau ci-dessus ça donne ceci :


Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 03.06.16 23:46

ligne 52 ça donne ça :



ligne 76 ça correspond bien :


Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par OlivierL le 04.06.16 7:28

Pourquoi diable n'ai-je pas la même vision. Sur le dernier tableau je ne vois pas les # !!!!

Serait il possible de me dire ce que tu  place dans tes options des tablebases . A moins que ça soit la visu sur une autre option.

[Vous devez être inscrit et connecté pour voir ce lien]



Edit: à quoi correspond ce petit "z" =>> 64 POPCNTz

_________________
Le jeu d'échecs fait naître et fortifie en nous plusieurs qualités précieuses dans le cours de l'existence, telles que la prévoyance, la circonspection, la prudence, et la persévérance. Benjamin Franklin
avatar
OlivierL

Messages : 387
Date d'inscription : 04/06/2014
Age : 42
Localisation : Corbeil-Essonnes

Voir le profil de l'utilisateur http://ajec-echecs.org/index.php

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 04.06.16 8:08

Le z est la conséquence du message "le moteur doit être modifié" quand j'ai précisé le chemin des tb et le nombre de threads. C'est un ajout personnel. Des fois je mets d ou s.
Mes tb c'est les syzygy 731 fichiers 149 go sur un disque externe.

Que tu ne voies pas les # mais des +- ?! Je ne sais pas. Peut-être ton dossier tb n'est-il pas le même, ton système n'est-il pas w10, ton interface n'est-elle pas F12 ? @+

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 04.06.16 8:24

Et pour compliquer encore (à mon grand désespoir !) j'ai pris le même moteur que toi mais là c'est une question de hashtables ! Plein (sur 2048 MB alloués) fait à 2%


Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 04.06.16 8:32

Judas est un traître !


Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 04.06.16 8:44

La dernière version 030616 de VoyagerOne est la seule qui ne donne qu'une variante nulle à prof 66. Peut-être est-ce justement qu'elle correspond le plus exactement au Bench: 8450534 (benchmark.cpp dans le dossier source de la contribution)

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Christophe 2 le 04.06.16 14:38

Sergent-chef Chesterfield a écrit:Le z est la conséquence du message "le moteur doit être modifié" quand j'ai précisé le chemin des tb et le nombre de threads. C'est un ajout personnel. Des fois je mets d ou s.
Mes tb c'est les syzygy 731 fichiers 149 go sur un disque externe.

Que tu ne voies pas les # mais des +- ?! Je ne sais pas. Peut-être ton dossier tb n'est-il pas le même, ton système n'est-il pas w10, ton interface n'est-elle pas F12 ? @+

C'est la même chose pour moi:

Chessbase 13
Windows 7
syzygy (508 fichiers .rtbw) (68,2g)

Peut-être dû au fait de na pas avoir les .rtbz ?? Mystère...






avatar
Christophe 2

Messages : 752
Date d'inscription : 16/05/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par OlivierL le 04.06.16 14:54

Je ne connaissais pas Judas PrO Smile

J'ai cette configuration :

[Vous devez être inscrit et connecté pour voir ce lien]

[Vous devez être inscrit et connecté pour voir ce lien]

Peu être que ma config est mal faite . . .

_________________
Le jeu d'échecs fait naître et fortifie en nous plusieurs qualités précieuses dans le cours de l'existence, telles que la prévoyance, la circonspection, la prudence, et la persévérance. Benjamin Franklin
avatar
OlivierL

Messages : 387
Date d'inscription : 04/06/2014
Age : 42
Localisation : Corbeil-Essonnes

Voir le profil de l'utilisateur http://ajec-echecs.org/index.php

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Christophe 2 le 04.06.16 17:10

Sergent-chef Chesterfield a écrit:

Mais l'important n'est pas là. L'important c'est qu'en véritable cadence de correspondance n'importe quel logiciel du top 10 donne autant d'idées que les autres même s'il ne les classe pas pareil, et surtout il est apte à les vérifier. Le véritable élagage est l’œuvre du jpciste.


Ce débat est toujours intéressant, jusqu'à ce qu'il soit épuisé jusqu'au bout, comme le jeu...

Sergent-chef Chesterfield a écrit:
Le véritable élagage est l’œuvre du jpciste.

Rien à redire la dessus, si c'est qu'il est de plus en plus difficile de le faire avec toutes les ressources défensives trouvées par les moteurs




Sergent-chef Chesterfield a écrit:

Mais l'important n'est pas là. L'important c'est qu'en véritable cadence de correspondance n'importe quel logiciel du top 10 donne autant d'idées que les autres même s'il ne les classe pas pareil, et surtout il est apte à les vérifier.

Là, nous revenons au sujet qui fâche...

N'étant pas toujours de cet avis (ou affirmation) avec une pointe de doute qui parfois (heureusement) me caractérise, je conteste à penser que tous les modules du top 10, même 5 se valent !

Il suffit de regarder le classement saison 8 TCEC (qui est le seul valable) pour constater qu'il y a deux niveaux. Celui des deux premiers et les autres. Pour la simple raison, c'est que l'évaluation, la pertinence dans la recherche est supérieure chez K et SF. Ce classement serait encore plus élogieux pour ces deux modules si le répertoire d'ouverture était soigneusement choisie...

Alors, ok pour dire qu'un autre module va proposer les mêmes idées, mais ce qu'il lui manque, c'est cette précision avec la vitesse, car le travail est colossale quand la position est compliquée (avec déséquilibre matériel c'est pire). Alors, selon moi, celui qui va vite avec une bonne évaluation à ma préférence. Autre point fort, c'est quand le module s'enferme pas dans des ornières et qu'il trouve des ressources sans arrêt, même à grande profondeur...

En bref, comme le niveau n'a jamais été aussi élevé, il faut être apte à distinguer un bon coup d'un excellent coup: SF et K vont souvent trouver les meilleurs, les autres, trouver les bons en passant tout prêt des meilleurs, puis les laisser de côté, ou carrément ne pas les trouver...

Point faible des modules c'est l'optimisme ou son contraire. Toute la force d'un bon joueur est de ne pas se laisser endormir...
Perso, j'utilise toujours le même: SF, il va vite et l'évaluation est plus ou moins juste dans toutes les positions. La chose qui m'agace toujours, c'est quand il me fait perdre du temps avec des fausses pistes.
avatar
Christophe 2

Messages : 752
Date d'inscription : 16/05/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Christophe 2 le 04.06.16 17:15

OlivierL a écrit:Je ne connaissais pas Judas PrO Smile

C'est SF avec un autre nom
avatar
Christophe 2

Messages : 752
Date d'inscription : 16/05/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 05.06.16 2:11

différences d'écran FEN ligne 76


FEN avec tb6 nalimov (469 fichiers, 193 go) chargées par la gui



FEN sur Knowledge4IT (nalimov aussi)



FEN sans tb6 chargées par la gui mais avec syzygy



Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 05.06.16 10:27

Christophe 2 a écrit: La chose qui m'agace toujours, c'est quand il me fait perdre du temps avec des fausses pistes.

S'il n'y avait jamais de temps perdu sur de fausses pistes par rapport à l'objectif on gagnerait toujours ou on ferait toujours nulle.

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par photophore le 05.06.16 12:48

Je reviens à l'objectif initial de ce fil : c'était , si je ne me trompe , de proposer une piste permettant à "l'amateur éclairé" , que nous sommes , de s'y retrouver dans la jungle des versions Bêta , et d'en choisir à bon escient les meilleures du moment
Il s'avère que ce n'est pas si simple , alors que le besoin persiste , aussi je repose la question ;Comment choisit-on ? study smiley33.abgif.gif

_________________
Claude Le Page
Aux commandes de son  Bathyscaphe
L'oeil fixé sur les cadrans du pifomètre
avatar
photophore

Messages : 3129
Date d'inscription : 02/06/2010
Age : 90
Localisation : Montesson

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par OlivierL le 05.06.16 12:53

je fais toujours l'erreur de prendre celui qui arrive en dernier alors, qu'à première vue, ce n'est pas la chose à faire ! Smile

_________________
Le jeu d'échecs fait naître et fortifie en nous plusieurs qualités précieuses dans le cours de l'existence, telles que la prévoyance, la circonspection, la prudence, et la persévérance. Benjamin Franklin
avatar
OlivierL

Messages : 387
Date d'inscription : 04/06/2014
Age : 42
Localisation : Corbeil-Essonnes

Voir le profil de l'utilisateur http://ajec-echecs.org/index.php

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par photophore le 05.06.16 18:24

J'ai déjà dit comment je faisais , mais il n'y a pas eu de réaction : je le répète ici : je n'ai aucune garantie quant aux développeurs que je ne connais pas : je me suis fixé sur les modules compilés par Marco Costalba , qui a déjà à son actif SF6 et SF7 "génériques"
J'aimeraais bien connaître les éventuelles objections

_________________
Claude Le Page
Aux commandes de son  Bathyscaphe
L'oeil fixé sur les cadrans du pifomètre
avatar
photophore

Messages : 3129
Date d'inscription : 02/06/2010
Age : 90
Localisation : Montesson

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 05.06.16 18:25

OlivierL a écrit:je fais toujours l'erreur de prendre celui qui arrive en dernier alors, qu'à première vue, ce n'est pas la chose à faire ! Smile

Mauvaise conclusion.
Je vais prendre 3 exemples.
Les points sur lesquels le dossier source de stockfish est amélioré mis à jour ou changé

Simplify Futility Pruning
caractère insignifiant simplifié, simplification du jugement "à négliger"
Pins or discovered attacks on the opponent's queen
attaques découvertes sur la reine de l'adversaire
Only use doubled pawn malus when the doubled pawns are on consecutive squares.
malus dans l'évaluation des pions doublés sur cases conjuguées

On voit bien qu'il s'agit chaque fois de points de détail ou marginaux
La base reste toujours stockfish 7 mais on peut sans souci prendre la dernière version qui est présumée la meilleure sur son point de détail et en aucun cas moins bonne sur les autres points.

Dans ce fil on n'a jamais parlé que de stockfish et ce ne sont pas des versions béta.

Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Invité le 05.06.16 18:31

photophore a écrit:J'ai déjà dit comment je faisais , mais il n'y a pas eu de réaction : je le répète ici : je n'ai aucune garantie quant aux développeurs que je ne connais pas : je me suis fixé sur les modules compilés par Marco Costalba , qui a déjà à son actif SF6 et SF7 "génériques"
J'aimeraais bien connaître les éventuelles objections

Il n'y a pas assez de références à Costalba ici (dernière version parrainée autorisée par Costalba) ?


Invité
Invité


Revenir en haut Aller en bas

Re: Grosse diférence dans les benchs

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum