¿Cómo evitar el sobreajuste en machine learning?

Existen varias maneras de evitar el sobreajuste de los modelos de Machine Learning, algunos de los cuales se mencionan a continuación:

La mejor manera de evitar el sobreajuste es seguir los procedimientos recomendados de ML, entre los que se incluyen los siguientes:

El sobreajuste es un concepto en la ciencia de datos, que ocurre cuando un modelo estadístico se ajusta exactamente a sus datos de entrenamiento. Cuando esto sucede, el algoritmo desafortunadamente no puede funcionar con precisión contra datos invisibles, frustrando su propósito.

Para evitar o solucionar el overfitting en machine learning, podemos recurrir a diversas técnicas que mejoran el entrenamiento del modelo y corrigen las desviaciones inapropiadas en los resultados. Algunas de ellas son: Continuar con el entrenamiento aportando un nuevo conjunto de datos.

El mejor método para detectar modelos sobreajustados es probar los modelos de machine learning en más datos con una representación completa de los posibles valores y tipos de datos de entrada. Por lo general, parte de los datos de entrenamiento se utilizan como datos de prueba para comprobar si hay sobreajuste.

Cómo Combatimos Underfitting

Si el modelo memoriza el ruido y se ajusta demasiado al conjunto de entrenamiento, se "sobreajusta" y es incapaz de generalizarse bien a nuevos datos. Si un modelo no se puede generalizar bien a nuevos datos, no podrá realizar las tareas de clasificación o predicción para las cuales se ha creado.

Un modelo con underfitting es aquel en donde los errores tanto de entrenamiento como de validación son similares y relativamente altos. Por otra parte, en un modelo con overfitting se obtiene un error de entrenamiento relativamente bajo y uno de validación relativamente alto.

¿Qué es el subajuste? El subajuste, en ciencia de datos, se refiere a los casos en los que un modelo de datos no es capaz de capturar de forma precisa la relación entre las variables de entrada y salida, de modo que se genera un alto índice de errores en el conjunto de entrenamiento y en los datos no vistos.

En el registro general, el término inglés accuracy se usa a menudo como sinónimo de precision, y puede corresponder en español a 'exactitud' (por ejemplo, de un reloj), 'precisión' (por ejemplo, de un mapa), 'fidelidad' (por ejemplo, de una traducción) u otras posibilidades de traducción.

El aprendizaje supervisado utiliza un conjunto de datos de entrenamiento para enseñar a los modelos a generar la salida deseada. Este conjunto de datos de entrenamiento de datos incluye entradas y salidas correctas que, a su vez, permiten que el modelo aprenda con el tiempo.

El overfitting ocurre cuando un modelo de aprendizaje automático, como una red neuronal, se ajusta demasiado bien a los datos de entrenamiento y no generaliza bien a datos nuevos.

En aprendizaje automático, el sobreajuste (también es frecuente emplear el término en inglés overfitting) es el efecto de sobreentrenar un algoritmo de aprendizaje con unos ciertos datos para los que se conoce el resultado deseado.

Los métodos no supervisados (unsupervised methods) son algoritmos que basan su proceso de entrenamiento en un juego de datos sin etiquetas o clases previamente definidas. Es decir, a priori no se conoce ningún valor objetivo o de clase, ya sea categórico o numérico.

Como ya sabemos, ocurre sobre-ajuste (overfitting) cuando el modelo se ajusta demasiado al ruido del conjunto de entrenamiento. Esto provoca que, al evaluar el modelo en el conjunto de test o de validación, ese ruido se traslade a errores de predicción.

¿Cómo detectar el underfitting o subajuste? Un modelo no se ajusta cuando es demasiado simple con respecto a los datos que está tratando de modelar. Una forma de detectar tal situación es utilizar el enfoque de variación de sesgo.

El sesgo (o bias) es la diferencia entre el valor medio predicho por el modelo y el valor medio real. Si la diferencia entre estas dos magnitudes es elevada, estamos ante un modelo demasiado simple que no ha aprendido las relaciones relevantes entre las variables disponibles y la variable a predecir.

El batch size en Deep Learning forma parte de la optimización de hiperparámetros que se aplican en el estudio de las redes neuronales profundas para el manejo de los macrodatos.

La métrica accuracy representa el porcentaje total de valores correctamente clasificados, tanto positivos como negativos.

El dropout es una técnica de regularización que se basa en la eliminación de neuronas en las capas de la red neuronal que es aplicada en base a la probabilidad dada por la distribución de Bernoulli. El dropout se ha utilizado desde su concepción como un método de regularización de los modelos.

La regresión lineal es un método estadístico habitual que se han adoptado en Machine Learning y se ha mejorado con muchos métodos nuevos de ajuste de las líneas y medición de los errores. Simplemente, la regresión se refiere a la predicción de un objetivo numérico.

Recall o sensibilidad: indica la proporción de ejemplos positivos que están identificados correctamente por el modelo entre todos los positivos reales.

La forma más común de medir la precisión de un pronóstico (forecast accuracy) es comparar los resultados del pronóstico contra los valores reales del siguiente periodo. El objetivo es encontrar valores cercanos a 1 para emitir juicios favorables sobre el modelo de pronóstico seleccionado.

Con la exactitud se mide cuánto se aproximan los resultados al valor verdadero o conocido. Con la precisión, por otra parte, se mide cuánto se aproximan los resultados entre sí. Ambas mediciones son útiles para dar seguimiento e informar sobre los resultados de un proyecto.

Tipos de Machine Learning

El aprendizaje supervisado se utiliza cuando se conocen las etiquetas de los datos, como en la clasificación o la regresión, mientras que el aprendizaje no supervisado se utiliza para explorar y descubrir patrones en los datos sin tener etiquetas.

El mejor momento para utilizar el aprendizaje no supervisado es cuando no existen datos preexistentes sobre los resultados preferidos.