¿Qué significa Overfitting en aprendizaje supervisado?

El overfitting en machine learning es un fenómeno que hace que un algoritmo predictivo presente un bajo porcentaje de acierto en sus resultados, ofreciendo previsiones con una alta varianza.

El sobreajuste u overfitting, en pocas palabras, significa tener en cuenta demasiada información de sus datos y / o conocimientos previos, y utilizarla en un modelo.

El sobreajuste se produce cuando el modelo no se puede generalizar y se ajusta demasiado al conjunto de datos de entrenamiento.

Un modelo con underfitting es aquel en donde los errores tanto de entrenamiento como de validación son similares y relativamente altos. Por otra parte, en un modelo con overfitting se obtiene un error de entrenamiento relativamente bajo y uno de validación relativamente alto.

Cómo Detectar el Overfitting

El mejor método es tomar una parte de los datos de entrenamiento para validar el desempeño del modelo, haciendo estos las veces de data nueva. Luego, mediremos el desempeño de la red en ambos conjuntos de datos, mediante la métrica pertinente (por ejemplo, accuracy), y las compararemos.

¿Cómo prevenir el overfitting en machine learning?

El overfitting ocurre cuando un modelo de aprendizaje automático, como una red neuronal, se ajusta demasiado bien a los datos de entrenamiento y no generaliza bien a datos nuevos.

El aprendizaje supervisado utiliza un conjunto de datos de entrenamiento para enseñar a los modelos a generar la salida deseada. Este conjunto de datos de entrenamiento de datos incluye entradas y salidas correctas que, a su vez, permiten que el modelo aprenda con el tiempo.

Para evitar el sobreajuste, se debe validar el modelo para confirmar que tiene el nivel de complejidad adecuado. De lo contrario, deberá utilizar la regularización para reducir la complejidad del modelo.

Como ya sabemos, ocurre sobre-ajuste (overfitting) cuando el modelo se ajusta demasiado al ruido del conjunto de entrenamiento. Esto provoca que, al evaluar el modelo en el conjunto de test o de validación, ese ruido se traslade a errores de predicción.

¿Cómo detectar el underfitting o subajuste? Un modelo no se ajusta cuando es demasiado simple con respecto a los datos que está tratando de modelar. Una forma de detectar tal situación es utilizar el enfoque de variación de sesgo.

Si el modelo memoriza el ruido y se ajusta demasiado al conjunto de entrenamiento, se "sobreajusta" y es incapaz de generalizarse bien a nuevos datos. Si un modelo no se puede generalizar bien a nuevos datos, no podrá realizar las tareas de clasificación o predicción para las cuales se ha creado.

Cómo Combatimos Underfitting

La mejor manera de evitar el sobreajuste es seguir los procedimientos recomendados de ML, entre los que se incluyen los siguientes:

¿Qué es el subajuste? El subajuste, en ciencia de datos, se refiere a los casos en los que un modelo de datos no es capaz de capturar de forma precisa la relación entre las variables de entrada y salida, de modo que se genera un alto índice de errores en el conjunto de entrenamiento y en los datos no vistos.

En el registro general, el término inglés accuracy se usa a menudo como sinónimo de precision, y puede corresponder en español a 'exactitud' (por ejemplo, de un reloj), 'precisión' (por ejemplo, de un mapa), 'fidelidad' (por ejemplo, de una traducción) u otras posibilidades de traducción.

La capacidad de aprendizaje de las redes neuronales es sin duda su rasgo distintivo. A diferencia de otros métodos de cómputo, la virtud de la rede neuronal no reside en recoger y archivar datos en la memoria, sino generalizar la información que extraen durante el entrenamiento a una amplia variedad de casos novedosos.

Algoritmo de retropropagación

Las redes neuronales artificiales aprenden de forma continua mediante el uso de bucles de retroalimentación correctivos para mejorar su análisis predictivo.

Hay varios algoritmos de entrenamiento utilizados en las redes neuronales, incluyendo el algoritmo de retropropagación. En este algoritmo, se calcula el error de la salida de la red en comparación con la salida deseada y se ajustan los pesos de las conexiones para minimizar ese error.

Estos dos tipos principales de aprendizaje supervisado, clasificación y regresión, se distinguen por el tipo de variable objetivo. En los casos de clasificación, es de tipo categórico, mientras que, en los casos de regresión, la variable objetivo es de tipo numérico.

Los algoritmos de aprendizaje supervisado basan su aprendizaje en un juego de datos de entrenamiento previamente etiquetados. Por etiquetado entendemos que para cada ocurrencia del juego de datos de entrenamiento conocemos el valor de su atributo objetivo.

Hay una diferencia clave entre el aprendizaje supervisado y no supervisado. El aprendizaje supervisado utiliza conjuntos de datos etiquetados, mientras que el aprendizaje no supervisado usa conjuntos de datos no etiquetados. El término “etiquetado” significa que los datos ya están etiquetados con la respuesta correcta.

¿Qué es el Subajuste? El subajuste, en ciencia de datos, se refiere a los casos en los que un modelo de datos no puede capturar la relación entre las variables de entrada y salida con precisión, lo que genera una alta tasa de error tanto en el conjunto del entrenamiento como en los datos no vistos.

Un modelo válido implica encontrar un patrón de residuos al azar, es decir, que no haya sesgos en los residuos (tendencias) ni una dispersión (varianza) no constante ni valores que desvíen el comportamiento observado (outliers); esto ocurre solamente en la figura "a".

Se trata de explicar una variable que tiene importancia para nosotras, en función de otro conjunto de variables mejor conocidas o más fáciles de medir.

Underfitting es un término utilizado en el aprendizaje automático que se refiere a un modelo que no puede capturar la complejidad de los datos de entrenamiento y, por lo tanto, no se ajusta adecuadamente a ellos.

El Bias o sesgo en un modelo de machine learning es muy fácil de entender, simplemente es un tipo de error que indica la diferencia que existe entre la predicción del modelo y el valor actual. Si lo vemos desde la perspectiva de la estadística es la tendencia a sobrestimar o subestimar un parámetro.