Error de Muestra y Error Verdadero

En esta sección queremos contestar estas preguntas:

• Dada una hipótesis $h$ y una muestra de datos con $n$ ejemplos tomados aleatoriamente siguiendo la distribución de probabilidad $D$, Cuál es el mejor estimado de la precisión de $h$ sobre instancias futuras tomadas con la misma distribución?
• Cuál es el error probable en este estimado de precisión?

Necesitamos entender dos nociones de precisión o error:

• Tasa de error de la hipótesis sobre la muestra disponible, que es lo que podemos calcular
• Tasa de error de la hipótesis sobre toda la distribución desconocida $D$ de ejemplos, que es lo que quisiéramos calcular

El error de muestra para la hipótesis $h$ con respecto a la función $f$ se define como:

• $error_S(h)=\frac{1}{n}\sum\limits_{x \in S} {\delta(f(x),h(x))}$
• $n$ es el número de ejemplos en $S$
• $\delta(f(x),h(x))$ es 1 si $f(x) \neq h(x)$ y 0 de otro modo

El error verdadero de una hipótesis es la probabilidad de que se equivoque para una instancia tomada aleatoriamente con la distribución $D$ y se define como:

• $error_D(h) \equiv Pr_{x \in D}[f(x) \neq h(x)]$
• $Pr_{x \in D}$ denota que la probabilidad se toma sobre la instancia de distribución $D$

Lo que quisieramos conocer es el error verdadero $error_D(h)$ de la hipótesis. Sin embargo, lo que podemos medir es el error de muestra $error_S(h)$ porque sólo tenemos una muestra de los datos disponible.

Ahora surge la pregunta:

• Qué tan buen estimador es $error_S(h)$ de $error_D(h)$?

Para saberlo, vamos a utilizar el concepto de intervalos de confianza pruebas de hipótesis.