Un modelo da una probabilidad, no un ganador
Un modelo de predicción deportiva convierte datos — fuerza del equipo, forma reciente, lanzadores abridores o mariscales de campo, localía, descanso, lesiones — en una probabilidad para cada resultado. No dice quién va a ganar. Dice con qué frecuencia gana un equipo en esta situación.
Por eso "el modelo se equivocó" casi nunca tiene sentido sobre un solo partido. Un favorito al 70% pierde tres de cada diez veces. La pregunta correcta es si las probabilidades del modelo se sostienen a lo largo de muchos partidos.
Calibración: ¿los números significan lo que dicen?
En un modelo calibrado, los pronósticos al 60% ganan cerca del 60% de las veces, los del 70% cerca del 70%, y así sucesivamente. La calibración se revisa agrupando los pronósticos por su probabilidad y comparando cada grupo con lo que realmente pasó.
Un modelo puede acertar muchos ganadores y aun así estar mal calibrado — por ejemplo, si dice 80% en partidos que solo se ganan el 65% de las veces. Esas probabilidades demasiado confiadas engañarían a cualquiera que las use para juzgar un precio.
El Brier score
El Brier score mide el acierto y la calibración a la vez. Para cada pronóstico, toma la probabilidad asignada al resultado, réstale 1 si ocurrió o 0 si no, y eleva el resultado al cuadrado. Promedia esos números en todos los pronósticos. Mientras más bajo, mejor.
Un pronóstico del 70% que acierta da (0.7 − 1)² = 0.09. Si falla da (0.7 − 0)² = 0.49. Quien siempre dice 50% obtiene 0.25 en cada partido de dos resultados, así que un modelo útil necesita promediar menos que eso — y, sobre todo, menos que la línea base simple que busca mejorar.
Evaluación de reserva
Un modelo puede verse brillante en los partidos con los que se construyó y aun así fallar en partidos nuevos. La solución es una evaluación de reserva: calificar el modelo en una temporada de partidos que nunca vio durante su desarrollo, y exigir que supere una línea base antes de lanzarlo.
El modelo de SharpDeck para la NFL previo al partido se lanzó así: evaluado con 543 partidos de temporada regular que nunca había visto, superó al modelo al que reemplazó tanto en Brier score como en acierto. Los modelos que superan esa evaluación llevan la etiqueta "Modelo validado".
El historial público es la prueba final
Las evaluaciones de reserva ocurren antes del lanzamiento. Después, la única evidencia honesta es un pronóstico registrado antes del partido y calificado después, con las pérdidas a la vista. Por eso cada pronóstico de SharpDeck se publica en puntos de control fijos — 24 horas y 60 minutos antes del inicio, y en vivo donde está disponible — y se califica en un historial público que cualquiera puede revisar.
Cuando evalúes cualquier servicio de pronósticos, hazte tres preguntas: ¿los pronósticos se publicaron antes de los partidos?, ¿las pérdidas siguen visibles?, y ¿la muestra es lo bastante grande para significar algo?
Notas de campo de SharpDeck. Explicaciones del producto y ejemplos resueltos, no recomendaciones de apuesta.