¿Qué es el sobreajuste en el aprendizaje supervisado?

El sobreajuste es un comportamiento de aprendizaje automático no deseado que se produce cuando el modelo de aprendizaje automático proporciona predicciones precisas para los datos de entrenamiento, pero no para los datos nuevos.

El overfitting en machine learning es un fenómeno que hace que un algoritmo predictivo presente un bajo porcentaje de acierto en sus resultados, ofreciendo previsiones con una alta varianza.

Cuando el modelo memoriza el ruido y se ajusta demasiado al conjunto de entrenamiento, el modelo se "sobreajusta" y no puede generalizar bien a los nuevos datos. Si un modelo no puede generalizarse bien a nuevos datos, entonces no podrá realizar las tareas de clasificación o predicción para las que fue diseñado.

El desajuste ocurre cuando su modelo es demasiado simple para sus datos. El sobreajuste ocurre cuando su modelo es demasiado complejo para sus datos .

Los modelos insuficientes experimentan un alto sesgo: dan resultados inexactos tanto para los datos de entrenamiento como para el conjunto de pruebas. Por otro lado, los modelos de sobreajuste experimentan una alta variación: dan resultados precisos para el conjunto de entrenamiento pero no para el conjunto de prueba. Más entrenamiento de modelos da como resultado menos sesgo, pero la variación puede aumentar.

En aprendizaje automático, el sobreajuste (también es frecuente emplear el término en inglés overfitting) es el efecto de sobreentrenar un algoritmo de aprendizaje con unos ciertos datos para los que se conoce el resultado deseado.

Podemos determinar si un modelo predictivo está sobreajustando o sobreajustando los datos de entrenamiento observando el error de predicción en los datos de entrenamiento y los datos de evaluación . Su modelo no se ajusta adecuadamente a los datos de entrenamiento cuando el modelo funciona mal con los datos de entrenamiento.

Formas de prevenir el overfitting:

Para evitar el sobreajuste, se debe validar el modelo para confirmar que tiene el nivel de complejidad adecuado. De lo contrario, deberá utilizar la regularización para reducir la complejidad del modelo.

La mejor manera de evitar el sobreajuste es seguir los procedimientos recomendados de ML, entre los que se incluyen los siguientes:

Underfitting es un término utilizado en el aprendizaje automático que se refiere a un modelo que no puede capturar la complejidad de los datos de entrenamiento y, por lo tanto, no se ajusta adecuadamente a ellos.

¿Qué es el desajuste? El desajuste es un escenario en la ciencia de datos en el que un modelo de datos no puede capturar con precisión la relación entre las variables de entrada y salida, lo que genera una alta tasa de error tanto en el conjunto de entrenamiento como en los datos invisibles.

El ajuste del modelo es una medida de qué tan bien se generaliza un modelo de aprendizaje automático a datos similares a aquellos con los que fue entrenado . Un modelo bien ajustado produce resultados más precisos. Un modelo sobreajustado coincide demasiado con los datos. Un modelo insuficientemente adaptado no coincide lo suficiente.

La regularización es una técnica que penaliza el coeficiente. En un modelo sobreajustado, los coeficientes generalmente están inflados. Así, la Regularización añade penalizaciones a los parámetros y evita que pesen mucho . Los coeficientes se suman a la función de costos de la ecuación lineal.

Las bajas tasas de error y la alta variación indican un sobreajuste. Por lo tanto, una parte del conjunto de datos de entrenamiento generalmente se reserva como "conjunto de prueba" para buscar sobreajustes y evitarlo. El sobreajuste ocurre cuando los datos de entrenamiento tienen una tasa de error baja y los datos de prueba tienen una tasa de error alta.

¿Por qué es importante el sobreajuste? El sobreajuste hace que el modelo tergiverse los datos de los que aprendió . Un modelo sobreajustado será menos preciso con datos nuevos y similares que un modelo que se ajuste de manera más general, pero el modelo sobreajustado parecerá tener una mayor precisión cuando lo aplique a los datos de entrenamiento.

Un modelo con underfitting es aquel en donde los errores tanto de entrenamiento como de validación son similares y relativamente altos. Por otra parte, en un modelo con overfitting se obtiene un error de entrenamiento relativamente bajo y uno de validación relativamente alto.

Tal vez se pueda traducir overfitting como “sobreajuste” y underfitting como “subajuste” y hacen referencia al fallo de nuestro modelo al generalizar -encajar- el conocimiento que pretendemos que adquieran.

La línea verde representa un modelo sobreajustado, la línea roja representa un modelo regularizado y los puntos azul y morado son dos clases diferentes de los datos de entrenamiento.

Definición de aprendizaje automático

El aprendizaje automático es un subconjunto de inteligencia artificial que permite que un sistema aprenda y mejore de forma autónoma mediante redes neuronales y aprendizaje profundo, sin tener que ser programado explícitamente, a través de la ingesta de grandes cantidades de datos.

Cómo Detectar el Overfitting

El mejor método es tomar una parte de los datos de entrenamiento para validar el desempeño del modelo, haciendo estos las veces de data nueva. Luego, mediremos el desempeño de la red en ambos conjuntos de datos, mediante la métrica pertinente (por ejemplo, accuracy), y las compararemos.

La validación cruzada es una poderosa medida preventiva contra el sobreajuste . La idea es inteligente: utilice los datos de su entrenamiento inicial para generar múltiples divisiones de mini pruebas de tren. Utilice estas divisiones para ajustar su modelo.

¿Cómo detectar el underfitting o subajuste? Un modelo no se ajusta cuando es demasiado simple con respecto a los datos que está tratando de modelar. Una forma de detectar tal situación es utilizar el enfoque de variación de sesgo.

El descenso de gradientes es un algoritmo iterativo que se utiliza para encontrar un mínimo global, mínimo local o un máximo local de una función dada. El método de descenso de gradientes es ampliamente usado en machine learning o aprendizaje automático y en deep learning, también llamado aprendizaje profundo.

¿Cuáles son los tipos de redes neuronales?

Desventajas principales:

En lo que respecta a un algoritmo de aprendizaje automático, un buen ajuste es cuando tanto el error de los datos de entrenamiento como los de prueba son mínimos . A medida que el algoritmo aprende, el error en los datos de entrenamiento para el modal disminuye con el tiempo, al igual que el error en el conjunto de datos de prueba.