Prestaties AI-model WielerOrakel in 2023

Het is de meest gestelde vraag aan iedereen binnen WielerOrakel: “Hoe goed doet die computer het nou met de voorspellingen?”. Voor 2023 hebben we daar nu een antwoord op: best aardig.

WielerOrakel voorspelt de uitslag van alle grote wedstrijden voor mannen en vrouwen. Daarbij kijkt het model naar de kwaliteiten van renners, het parcours van de wedstrijd en de sterkte van het deelnemersveld. Meer detail en achtergrondinformatie over het AI-model is te lezen in deze blog. Hoewel het vooruitkijken en verheugen op de eerstvolgende koers de drijfveer van WielerOrakel is, willen we ook weleens stilstaan bij de kwaliteit van de voorspellingen. In hoeverre komt de uitslag overeen met de voorspelling? En zijn er wedstrijden die de computer ‘beter’ weet te voorspellen?

Om de kwaliteit van de voorspelling te beoordelen worden punten gegeven aan renners in de voorspelling en hun prestatie. Als een renner uit de top-10 van de voorspelling in de top-20 van de wedstrijd eindigt levert dat punten op voor het model. De computer krijgt meer punten bij een hogere uitslag. Daarnaast is de prestatie van de voorspelde winnaar belangrijker dan die van de nummer 10 in de voorspelling. Daarom krijgen renners die hoog in de voorspelling staan een hoge factor. Een overzicht van de punten en factoren staan in tabel 1.

De gescoorde punten kunnen we vervolgens afzetten tegen de maximaal mogelijke score en dat levert een percentage op. Welk percentage van de best mogelijke voorspelling behaalt het AI-model van WielerOrakel?

Eendagskoersen mannen

Kijken we naar de top-10 voorspelling van de 14 grootste eendagswedstrijden bij de mannen dan komt de computer uit op een gemiddelde score van 65%. De voorspelling van het AI-model behaalt in deze koersen dus gemiddeld 65 procent van de maximaal mogelijke punten volgens het scoresysteem. Deze score varieert tussen 36 en 83 procent per koers. De best voorspelde wedstrijd van 2023 was de E3-Classic. De computer voorspelde het podium helemaal goed: van Aert won, voor van der Poel en Pogacar. Ook Mohoric, Pedersen en Küng stonden bij de eerste 10 in de voorspelling en haalden punten voor de computer door top-20 te finishen.

Omloop Het Nieuwsblad was de eendagswedstrijd die de computer het slechts voorspelde: een score van 36 procent op de top-10 voorspelling. De voorspelde winnaar Laporte eindigde nog op het podium en nummer 2 in voorspelling Kristoff werd vierde, maar verder wisten alleen Pidcock en Pasqualon uit de top-10 ook daadwerkelijk in de top-20 van de seizoensopener te eindigen.

6 van de 14 voorspelde winnaars wonnen ook daadwerkelijk en 28 van de 42 voorspelde renners uit de top-3 wisten ook op het podium te eindigen. Naast de E3-Classic werden ook de Ronde van Vlaanderen, Parijs-Roubaix, Ronde van Lombardije, WK Tijdrijden erg goed voorspeld door het AI-model (score van dik boven de 70%). De Waalse Pijl en Gent-Wevelgem waren twee koersen die minder goed werden voorspeld (ruim onder de 60%).

Tour de France Femmes

In de Tour de France Femmes had de computer een redelijke stabiele vorm te pakken. Etappe 5 (gewonnen door Bauernfeind vanuit de vlucht) werd door de computer het slechtst voorspeld met een score van 29 procent. Daartegenover staat dat de voorlaatste etappe met finish op de Tourmalet en de afsluitende tijdrit heel goed werden voorspeld met een score van 84 procent. 9 van de 10 wielrensters uit de voorspelde top-10 eindigden bij de eerste 15 in de daguitslag Alleen Norsgaard wist geen punten te scoren voor het model (41^e in plaats van voorspelde 8^e plek). In etappe 7 eindigden zelfs alle 10 de rensters uit de top-10 voorspelling in de top-20.

2 keer voorspelde het model de winnaar juist van een etappe, 7x stond de voorspelde winnaar op het podium en altijd (9/9) in de top-5. In drie etappes (1, 4 en 6) was de volledige top-3 voorspelling correct, waar het niet dat er één vluchter voor het peloton uitbleef. Dat het AI-model Van Vleuten als eindwinnaar voorspelde is geen schande na haar 5 opeenvolgende zeges in het klassement van de grootste etappekoersen. Vollering stootte haar van de kroon en daarmee komt de kwaliteit van de GC top-10 voorspelling op 68 procent.

Tour de France

Als de prestatie van het AI-model in de Tour de France van 2023 wordt geëvalueerd valt op dat vlakke etappes en tijdritten het best te voorspellen te zijn voor de computer. Ook in bergetappes waar de klassementsmannen voor de etappewinst gaan en de voorspelling van het algemeen klassement scoren aardig. Het zijn de etappes waar de ‘vlucht van de dag’ voor de zege strijdt die het model moeilijk kan voorspellen.

De top-10 voorspelling van etappe 16, de tijdrit naar Combloux, was het beste. De voorspelde winnaar (Pogacar) werd tweede, maar alle podium-finishers (Vingegaard, Pogacar en van Aert) waren ook in de top-3 gezet door het AI-model. Slechts één renner uit de voorspelde top-10 eindigde buiten de top-20 (Hindley werd 24^e). De kwaliteit van de voorspelling komt daarmee uit op 92 procent van maximaal. Ook de computervoorspelling van etappe 4 en 11 (beide gewonnen door Philipsen), 14 (Carlos Rodríguez) en 21 (Meeus op de Champs Elysees) scoorde boven de 80 procent.

Tegenover de goede prestaties van het model in bovengenoemde etappes staat een matige voorspellingskwaliteit in etappe 5, 9, 10, 12 en 15. Van de voorspelde top-10 in etappe 5 eindigde alleen Daniel Felipe Martinez (voorspelling 4^e)) in de top-20: 7^e in de door Hindley gewonnen etappe naar Laruns. Dat is een schamele 4% van de maximaal mogelijke score. Etappe 10 werd wel voor de vluchters (Bilbao en Zimmermann), maar de computer voorspelde de verkeerde vluchters (van der Poel en Wright): 8 procent score dankzij een top-10 van Alaphilippe.

Kijken we ten slotte naar de prestatie van de GC-voorspelling in de Tour de France dan mag de computer best tevreden zijn. De voorspelde nummer 1 en 2 eindigde in dezelfde volgorde: Vingegaard versloeg Pogacar. Nummers 3, 5 en 6 in de voorspelling verlieten de Tour helaas vroegtijdig (Mas, Carapaz en Bardet) en verder presteerde Adam Yates als meesterknecht van Pogacar beter dan verwacht (3^e in plaats van 8^e). De top-3 voorspelling scoort 83 procent van maximaal en de top-10 van het computermodel voorafgaand aan de Tour de France behaalt een score van 77 procent.

Op naar 2024

In 2024 zullen we wat frequenter en uitgebreider stilstaan bij de prestaties van het AI-model door deze te beoordelen volgens de gebruikte methode in deze blog. Het bestuderen van de sterke en minder sterke kanten van de computer helpt om het AI-model te verbeteren.

Mocht je vragen of suggesties hebben; we staan open voor constructieve ideeën en bijdrages met betrekking tot ons AI-model. Laat het ons weten via een DM op Instagram of je kunt ons mailen op [email protected].