¿Por qué la "derivada" es necesaria en el aprendizaje profundo? (¿Es solo álgebra lineal?)
1. Introducción: la duda razonable del desarrollador
Al estudiar aprendizaje profundo, te encuentras con dos grandes pilares matemáticos: "Álgebra Lineal" y "Cálculo". Como desarrollador, hay un punto que seguramente te hará fruncir el ceño.
"Pero el nombre es "Álgebra Lineal". La forma y = ax + b es una función lineal... ¿la derivada de una función lineal es solo la constante (a)? ¿No basta con resolver la ecuación?"
Exacto. Si el modelo de aprendizaje profundo fuera realmente una función lineal perfecta, podríamos encontrar la respuesta (x) con una simple operación de inversa matricial.
Pero los problemas reales que manejamos no son tan sencillos. Hoy veremos por qué necesitamos recurrir a la compleja herramienta de la "derivada" y cuál es la razón real, explicada en lenguaje de desarrollador.
2. Derivada = "¿Cómo cambia el resultado si modifico esta configuración?" (verificación de sensibilidad)
Veamos la derivada no como una fórmula matemática, sino desde la perspectiva de operaciones de sistema.
Imagina que estás afinando un servidor negro con miles de perillas.
- Objetivo: reducir la latencia (pérdida) lo más cerca posible a 0.
- Problema: no sabes qué perilla girar para acelerar la respuesta. Las perillas están interconectadas.
En este contexto, hacer una derivada es una acción muy simple.
"Si giro la perilla 1 ligeramente a la derecha 0.001 mm, ¿la latencia disminuye? ¿Aumenta?"
La respuesta a esa pregunta es la derivada (pendiente).
- Si la derivada es positiva (+) 👉 "¡Girar la perilla lo hace más lento! Gira en la dirección opuesta."
- Si la derivada es negativa (-) 👉 "¡Acelera! Gira un poco más en esa dirección."
- Si la derivada es 0 👉 "No hay cambio, es un punto óptimo o una perilla irrelevante."
En última instancia, en aprendizaje profundo la derivada no resuelve un problema matemático, sino que actúa como un "navegador" que indica en qué dirección ajustar los parámetros para reducir el error.
3. ¿Por qué no se puede resolver con una ecuación de una sola vez? (la magia de la no linealidad)
Volvamos a la pregunta inicial: "Si es lineal, ¿por qué no basta con resolverlo?"
El poder del aprendizaje profundo radica en insertar funciones de activación no lineales como ReLU o Sigmoid entre operaciones lineales (multiplicaciones matriciales).
- Solo linealidad: No importa cuántas capas añadas, al final es solo una gran multiplicación matricial. (y = a(b(cx)) se reduce a y = abcx, ¿verdad?)
- Con no linealidad: El gráfico deja de ser una línea recta y se convierte en una cadena de montañas onduladas. No se puede encontrar la solución óptima con una sola ecuación.
Por eso abandonamos la búsqueda de una solución matemática instantánea y optamos por la derivada como una herramienta para bajar la montaña gradualmente (gradiente descendente). Esa es la esencia del aprendizaje profundo.
4. ¿Derivada de un vector? Simplemente "verificar miles de configuraciones a la vez"
¿Suena complicado decir "derivar un vector"? Desde la perspectiva de un desarrollador, es procesamiento por lotes.
Si el parámetro (configuración) es uno, es una derivada escalar. Pero los modelos actuales tienen miles de millones de parámetros (LLM, etc.). No podemos probar cada perilla individualmente.
Derivada de vector/matriz (gradiente) procesa todas esas preguntas en una sola operación.
"¡Ey, todos los 7.000 millones de parámetros! Cada uno, un poco, ¿qué pasa con el resultado? Entrega un informe."
Ese informe es el vector de gradiente. PyTorch, usando GPU, calcula ese informe gigantesco en un instante.
5. Conclusión: el siguiente paso es la "retropropagación"
Ahora sabemos que la derivada es el "navegador" que indica la dirección para reducir el error. Pero el modelo de aprendizaje profundo tiene decenas o cientos de capas**.
- Para reducir el error de la capa de salida, debes corregir la capa anterior.
- Para corregir esa capa, debes corregir la capa anterior, y así sucesivamente...
Esta cadena de derivadas se calcula de manera eficiente con el algoritmo famoso retropropagación (Backpropagation).
En el próximo artículo veremos cómo la retropropagación atraviesa una red profunda con una sola regla de la cadena (Chain Rule) y cómo funciona su elegante mecanismo.
No hay comentarios.