Pocos datos y otras consideraciones

Un posible problema que puede surgir es cuando se tienen pocos datos. Algunas de las posibles soluciones es o tratar de introducir nuevos datos artificialmente y/o reducir la dimensionalidad usando un proceso de selección de variables.

La eficiencia de LWR depende de cuantos datos se tengan. Se puede usar una representación de kd-trees para accesar datos cercanos más rápidamente.

En general, LWR es más caro que vecinos más cercanos y promedios pesados.

Por otro lado, cualquier representación se puede usar para construir el modelo local (e.g., árboles de decisión, reglas, redes neuronales, etc.).

Una forma sencilla de hacerlo, es tomar los vecinos más cercanos y entrenar un modelo/clasificador con ellos.

Lo que se requiere para implantar un LWR es:

• Una función de distancia. Aquí la suposición más grande de LWR es que datos más cercanos son los más relevantes. La función de distancia no tiene que cumplir con los requerimientos de una métrica de distancia.
• Criterio de separabilidad. Se calcula un peso para cada punto dado por el kernel aplicado a la función de distancia. Este criterio es aparte de la función de predicción ( $C = \sum_i [ L(\hat{y}_i,y_i) K(d(\mathbf{x}_i,\mathbf{q})) ]$
• Suficientes datos para construir los modelos
• Datos con salida $y_i$.
• Representación adecuada.

Algunas posibles direcciones futuras de investigación incluyen:

• Combinar datos continuos y discretos
• Mejores formas de sintonización de parámetros
• Sintonización local a múltiples escalas
• Usar gradientes para sintonizar parámetros
• Definir cuánta validación cruzada es suficiente
• Usar métodos probabilísticos
• Olvidar datos
• Mejorar aspectos computacionales con muchos datos
• No hacer el aprendizaje completamente lazy