Les impatients en trouveront les résultats complets, catégorie par catégorie, ici.
La World Beer Cup, organisée par la Brewers Association étasunienne, a lieu tous les deux ans, conjointement avec la Craft Brewers Conference. C'est donc à l'origine une compétition "mondiale" très centrée sur les Etats-Unis, tout comme les World Series de baseball, mais un effort énorme a été fait au cours des années pour ouvrir le concours aux bières venant du reste du monde (on est pourtant passé de 58 pays en 2008 à 44 en 2010...), mais aussi pour recruter des juges non-étasuniens (62% du total cette année).
De fait, et malgré la prépondérance qu'y exercent encore les brasseries étasuniennes, c'est probablement un des concours de bières les plus "solides" au monde du point de vue représentativité, avec l'European Beer Star.
Les chiffres de l'édition 2010 sont en soi impressionnants : 3'330 bières en concours, présentées par 642 brasseries de 44 pays. En face, 179 juges en provenance de 26 pays - dont un 15-20% de femmes, à vue de nez.
(Plus de chiffres, et une comparaison avec les éditions précédentes ici, pour les amateurs de statistiques...)
Concrètement, pour chaque juge, cela signifie, sur deux jours, quatre sessions deux à trois heures, comptant chacune trois tours d'une douzaine de bières, donc en très gros 140 échantillons évalués, environ 70 par jour...
Et la question, légitime: comment peut-on assurer une évaluation fiable de 70 bières dans la journée, en sachant que le palais s'émousse sérieusement à partir de 4 à 8 bières. C'est simple : en posant un cadre minimisant le problème. Le problème est que ce cadre est relativement complexe, et sa mise en oeuvre ne l'est pas moins. C'est le sujet de ce qui suit... c'est relativement long, mais la question vaut d'être examinée en détail.
Il s'agit avant tout, lors de ce briefing, pour Chris Swersey, responsable du concours, de rappeler (ou de présenter aux nouveaux juges) le déroulement du processus d'évaluation, les choses à faire ou à ne pas faire, afin que tout le monde travaille sur des bases aussi cohérentes que possible.
Supposons que 40 à 48 bières soient inscrites dans une catégorie donnée : elle sera jugée sur deux tablées, chacune des quatre demi-tablées jugeant 10 à 12 bières au premier tour, et transmettant trois bières en finale. Cette finale, avec 12 bières (quatre fois trois) étant jugée par une des deux tablées dans son entier. (Il va de soi que des catégories comptant un plus grand nombre de bières en concours sont jugées en trois tours ou plus...)
Donc à la table, le major de table commence par rappeler le cadre spécifique d'évaluation, fixé dans la définition de la catégorie selon les directive de concours de la Brewers Association. Ceci assure que tout le monde à la table juge les bières de la catégorie selon des critères uniques, et est un préalable indispensable à la dégustation.
C'est ensuite qu'on reçoit jusqu'à 12 échantillons, dans des petits gobelets en plastique (ça peut faire hurler les puristes, mais on s'y fait très bien, et de tout avoir dans du verre serait ingérable du point de vue logistique) portant chacun un numéro. Aucune autre marque d'identification, vu qu'il faut éviter que les juges sachent quelel bière est dans le gobelet.
Mais avant même de commencer à déguster, une petite formalité : modifier l'ordre des échantillons afin d'assurer que l'on ne juge en aucun cas les bières dans le même ordre que ses voisins de tablée.
Il s'agit d'éviter de s'influencer mutuellement, et aussi de gommer le fait que les premières bières dégustées semblent toujours plus intenses donc sont en principe favorisées. Quoique: sur ce dernier point, un juge expérimenté jugera nécessairement les premières bières de la série de manière relativement prudente...
Une fois les échantillons bien mis en désordre, on dégaine les petits calepins reçus des organisateurs, qui contiennent les formulaires d'évaluation (cliquer sur les images pour les agrandir...) Formulaires carbone qui donnent directement un duplicata sur papier jaune.Et là, surprise, l'évaluation n'est pas chiffrée !
Aucune attribution de points, qui est nécessairement un peu arbitraire. Non, là, c'est avant tout une fiche de dégustation technique, où la notion centrale est de savoir si les divers aspects sont appropriés ou non pour la catégorie, ainsi que la présence éventuelle de défauts techniques. Là aussi le but est de gomme l'effet de fatigue du palais après quelques bières et de se concentrer sur des critères relativement indiscutables. Le formulaire prévoit aussi de laisser des commentaires succincts, afin que le brasseur ait une idée des ce qui a pu être reproché - ou non - à sa bière.
Une fois que tout le monde sur la demi-tablée a fini son évaluation individuelle, on passe à l'étape la plus importante : la discussion. Les trois ou quatre juges confrontent leurs impressions, avec un objectif : passer les trois meilleures au tour suivant. Là aussi, on a un mécanisme visant à contrer les phénomènes de fatigue du palais en assurant plusieurs avis croisés.
On procède donc en général par élimination, en discutant des bières qui semblent présenter un défaut technique objectif à l'un ou l'autre. Puis on passe aux bières qui pourraient ne pas être conformes aux critères définissant la catégorie (au "style"). C'est là que le fait d'avoir une définition aussi précise que possible de chaque catégorie est indispensable, permettant de discuter sur une base commune, loin des j'aime / j'aime pas, et réduisant la marge d'interprétation.
Ensuite une des deux tables reprend donc la catégorie jugée en premier tour en finale, le processus est analogue, mais pas identique...
En finale, toute la tablée reçoit les 12 bières en lice. Tous les échantillons arrivent avec de nouveaux numéros, on fait table rase pour assurer que l'on reprenne la catégorie sans influence du tour précédent.
On déguste aussi les échantillons dans le désordre, mais sans formulaire : une prise de notes succincte à titre personnel suffit. Et on discute non à trois ou quatre, mais à sept ou huit, ce qui peut rendre les discussions un peu plus, euh, animées, voire bruyantes... jusqu'à arriver à un consensus sur les trois meilleures et surtout dans quel ordre.
Là aussi,on procède par élimination, mais il arrive souvent qu'il y ait plus de trois bières qui restent, ou que l'ordre des trois premières soit difficile à établir. A ce moment-là, le major de table peut demander un reversage (repour) à savoir une nouvelle série d'échantillons frais des bières concernées... et là, nouvelle surprise, on fait à nouveau table rase du tour précédent: les échantillons arrivent marqués A, B, C, etc.
L'air de rien, c'est pas évident de déterminer laquelle était laquelle à ce moment-là...et c'est de toute manière une perte de temps, on est là pour juger ce qu'on a sur la table, pas ce qu'on avait quelques minutes plus tôt !
Bref, on arrive généralement assez facilement à un consensus sur les trois premières dans les catégories où la description pose une cible assez étroite. Sur des catégories aux limites plus floues comme les saisons, les bières épicées ou les bières vieillies dans du bois, les avis pouvant diverger lourdement, il peut arriver que les discussions se prolongent, voire s'échauffent (je n'ai pas eu ce plaisir, me concentrant sur des styles britanniques et germaniques aux définitions assez étroites)...
Mais on y arrive manifestement toujours, envers et contre tout, malgré les différences culturelles entre étasuniens et européens, et malgré l'indéniable fatigue, tant des papilles gustatives que des juges eux-mêmes ce genre de sport gustatif réclamant une concentration soutenu sur des périodes assez longues.
Au bout du compte, la Brewers Association a clairement réussi à mettre en place un processus d'évaluation, qui s'il nécessite d'avoir une armée de bénévoles à disposition dans les coulisses en plus d'un régiment de juges expérimentés rompus à une dégustation technique, est très abouti, parfaitement étanche du point de vue de l'anonymat des bières, et qui évite intelligemment un certain nombre d'écueils inhérents à la dégustation en série. Participer au processus en tant que juge est sans aucun doute très riche en enseignements, et justifie de se farcir un vol transatlantique de 9 heures.
Le seul problème avec ce genre de système est somme toute que les directives définissant les catégories, qu'il s'agisse de celles de la Brewers Association (BA) ou du Beer Judge Certification Programme (BJCP) soient ensuite reprises sans aucune distance comme parole d'évangile par quelques brebis égarées pensant y avoir trouvé la vérité ultime en termes de typologie des bières...
-
11 commentaires:
Intéressant!
Petites questions cependant: qui définit concrètement les catégories? Il y a la BA et la BJCP, mais sont-elles menées par des leaders ou le fruit d'un réel consortium?
Et réalistiquement, qui peut citer la liste entière des styles et qui peut précisément classer n'importe quelle bière dégustée à l'aveugle dans le style "adéquat"??? Si ce n'est pas le cas, n'est-ce pas un peu abstrait?
A ton avis, est-ce que 90 catégories c'est raisonnable? N'est-ce pas un peu diluer le mérite de chacun des médaillés? Dans le sens où si deux-trois (voire plus) catégories qui semblent bien proches seraient réunies, le vainqueur se démarquerait encore plus des autres?
Pour ce qui est des bières en concours, y a-t-il une présélection ou peut-il y avoir des bières avec de réels défauts? Et est-ce les brasseries qui s'inscrivent qui définissent la catégorie dans laquelle elles veulent concourir avec leurs produits? Pas qu'une bière ne sorte mal jugée parce qu'inscrite dans la mauvaise catégorie? Et ce ne sont pas toujours les brasseurs les mieux placés pour définir le style exact de leurs bières, surtout quand elles sont d'inspiration libre.
Sinon ça doit être vraiment sympa d'y participer, surtout pour les débats post évaluation!
Bon alors...
- La BA et le BJCP ont des comités ad hoc chargés de déterminer ces catégories, leur étendue etc. aussi en fonction des évolutions (genre personne ou presque ne parlait de bières vieillies en fût de chêne il y a 10 ans). L'arrivée en masse de juges européens à la WBC a aussi bien permis d'affiner les descriptions des catégories d'origine européennes.
- Le but n'est en aucun cas de pouvoir citer toutes les catégories par coeur (quoique, le BJCP, pour passer l'exa, c'est un peu ça et c'est en soi crétin). Pour le concours, on a les catégories par écrit pour pouvoir s'y référer en tout temps.
- 90 catégories, çA peret d'avoir des catégories avec un nombre de bières gérable du point de vue évaluation. Et non, ça ne dilue pas la mérite, au contraire, vu que ça permet aussi d'avoir des catégories comme "ordinary english bitter" qui titrent 3 à 4%, docn pas spectaculaires en soi... vu que le danger est toujours dans une catégorie large, de primer les GROSSES bières plutôt que les subtiles et équilibrées...
- Le brasseurs présentent leur bière à leur convenance, dans la catégorie qu'ils veulent, pas de présélection. Et quelques pièges genre la tendance à vouloir glisser des IPA parmi les pale ales, ce genre de truc, où il faut être vigilant... Donc il y a nécessairement des scories, mais pas trop, en fait...
Et oui, une bière excellente qui n'est pas inscrite dans la bonne catégorie est déclassée, mais c'est pour ça qu'on donne un retour détaillé à l'adresse des brasseurs.
Mais en fait, la liste détaillée des catégories est disponible au moment où les brasseurs s'inscrivent, donc les brasseurs qui inscrivent leur bière dans la mauvaise catégorie ne peuvent s'en prendre qu'à eux-mêmes...
Merci pour cet article très instructif Laurent!!
C'est vrai que le process semble très équitable, par contre il me parait assez compliqué d'évaluer le temps que durera le jugement, car il peut y avoir beaucoup de discussions pour chercher le consensus, plusieurs dégustations de mêmes échantillons, c'est plus ça qui me choque plutot que le nombre de personnes necessaires.
Surtout que j'imagine qu'il y a une heure buttoir pour finaliser afin d'annoncer les gagnants à un horaire préétabli non?
Oui, ben il y a eu quelques tablées qui ont pris une heure de retard sur l'une ou l'autre finale, mais l'un dans la'utre, il y a assez de réserve pour encaisser ça si nécessaire... je suppose que le cas échéant, en cas de très gros retard accumulé, un dernier tour pourrait être confié à une autre table, ce genre de chose...
Moi, ce qui m'ennuie un peu, c'est de vouloir à tout prix construire un classement qui se veut objectif, c'est à dire valable pour tout le monde. Ça n'est pas un reproche envers ce concours en particulier, ni même spécifiquement envers les concours de bière (c'est pareil pour bien d'autres choses, de l'assurance auto la moins chère au joueur de foot qui a fait le plus de passes dans un match...), mais ça m'agace quand même.
Je veux dire, il est clair qu'il y a de "bonnes" bières et de "mauvaises" bières, qu'entre une Bud et une Budveiser Budvar, je sais toujours laquelle je choisirais. Et cela justifie la notion de classement, parce que ça n'est pas évident pour le consommateur non averti (ou averti mais qui ne connait pas les milliers de bières existantes), parce que c'est aussi une récompense pour les brasseurs qui font l'effort d'obtenir un produit de qualité, etc.
Mais le problème, c'est qu'on ne s'arrête pas là (et quand je dis "on", c'est les organisateurs de ce genre de concours, mais c'est aussi bien sûr les buveurs et brasseurs qui plébiscitent ces compétitions !). On va jusqu'à un classement premier-deuxième-troisième qui affirme sans discussion que la première est "la" meilleure, la deuxième peut aller se recoucher -- et après la troisième, toutes pareilles, aussi bonnes ou mauvaises, la quatrième qui aurait pu être troisième (voir mieux) comme la dernière qui n'a aucun goût. Sans rentrer dans le "des goûts et des couleurs", il est quand même indéniable que le jugement n'est pas 100 % objectif : tout le monde ne préférera pas la même au début et à la fin, certains jurés influenceront plus les autres, etc. Il y a des gardes-fou, bien sûr, comme le nombre de catégories qui fait, comme tu dis, qu'on évite de comparer des choses trop différentes et trop nombreuses, mais ça a ses limites et ça n'évite pas tout. Le classement ne reflète pas les préférences d'un individu, ni la notoriété d'une brasserie, oui, mais il ne reflète certainement pas ce qu'un autre jury aurait décidé, dans des conditions similaires mais pas identiques.
Et surtout, ça masque le problème fondamental qu'il n'existe pas de classement absolu entre les "bonnes" bières (une fois éliminé celles qui n'ont pas de goût, ont un défaut évident ou ne correspondent pas à ce qu'elles proclament être -- encore que, ça peut être un problème marketing mais pas forcement gustatif, mais passons). Et que, en publiant des classements absolus, tout le monde accrédite cette idée fausse, des associations organisatrices aux buveurs en passant par les cavistes et les brasseurs...
J'aimerais qu'un tel concours, comme tu le décris, s'arrête à la finale, qu'aucun classement ne soit donné entre les 3 ou 5 meilleures (ou même entre toutes celles qui se retrouvent "quality beer, but other entries are better contenders"). Mais personne ne veut d'une telle égalité, et j'en reviens à ma remarque initiale, on est dans une société où on veut absolument pouvoir tout classer, tout comparer de manière absolue. C'est un peu triste, je trouve, et c'est encore plus triste de voir que ça ne choque personne.
Ben c'est clair que dans un monde idéal on ne donnerait que des certificats d'excellence.
ais en même temps, on vit dans un monde de blaireaux qui ont toujours besoin de se mesurer aux autres, donc il leur faut un classement premier-deuxième-troisième...
C'est clair aussi que ces résultats ne sont valables que pour le brassin qui est en concours le jour où... Ce n'est jamais qu'un pointage ponctuel, dont il est dangereux de vouloir tirer des généralités !
Il n'empêche que purement de par le processus et le réservoir de juges, un concours comme la World Beer Cup donne à mon avis des résultats plus fiables et représentatifs que les classements de RateBeer, que d'aucuns n'hésitent pas non plus à agiter comme étant absolus et indiscutables...
D'ailleurs il est notoire que pas mal de brasseries "montantes" se sont profillées à l'origine sur le plan de la qualité de leurs produits en faisant de bons résultats dans ce genre de concours...
Oh oui, bien sûr, ce genre de concours non seulement répond à une attente forte, mais en plus celui-ci est nettement plus objectif que bien d'autres. Seulement, j'apprécierais aussi de la part d'organisation qui sont censées ne pas avoir d'avis partisan, qu'elles mettent en avant la faiblesse intrinsèque de ce genre de classements, quelque soit la rigueur du processus. Le rôle d'une association spécialisée est aussi d'éduquer les gens, et si ça veut dire aller à contre-courant des attentes communes, et ben c'est comme ça.
À la limite, côté résultats (je ne parle pas de la méthode), je préfère les médailles du concours agricole français à la "Champion Beer of Britain" de la CAMRA : il peut y avoir au concours agricole, si je ne m'abuse, plusieurs médailles d'or ou d'argent (ou aucune, suivant les années) dans chaque catégorie. Là, une médaille ne veut pas dire (ou du moins n'est pas censé vouloir dire) "la meilleure" mais "parmi les meilleures", ce qui est un peu plus honnête. Bon, je ne dis pas que le concours agricole soit parfait, hein, c'est juste un exemple pour illustrer.
Ah ouais, le concours agricole, c'est plutôt les juges, le problème. ;o>
De ces propos enthousiastes et intéressants sur les classements et les "meilleurs", me vient un truc tout con auquel je n'avais jamais pensé, ne prêtant guère d'intérêt à ces concours en tant que consommateur.
Une médaille d'or booste-t-elle les ventes???
Parce que si oui tant mieux pour la brasserie en espérant qu'elle est honnête(qualité constante).
Et si non, ça devrait soulager Rémy, car ça signifie que ça reste une réunion de spécialistes qui, soit dit en passant, se devraient d'être critiques envers ces mêmes concours... Mais que finalement ça n'influence pas le consommateur.
Oui, ça booste les ventes, ce genre de truc... en Grande-Bretagne, des micros se sotn trouvées à devoir déléguer une partie de la production à des collègues simplement pour faire face à la demande générée par une victoire au Champion Beer of Britain.
Mais où sont donc les Lager Spezial ? :-)) Bon: Peter Dürr a encore du chemin à faire ...
Enregistrer un commentaire