4.9: Algoritmos de conexión - Una visión general

En las últimas secciones hemos explorado la ciencia cognitiva conexionista a nivel computacional de análisis. Las afirmaciones sobre la separabilidad lineal, la potencia en principio de las redes multicapa y la interpretación de la actividad de la unidad de salida se han establecido mediante análisis formales.

En las siguientes secciones consideramos la ciencia cognitiva conexionista desde otra perspectiva que comparte con la ciencia cognitiva clásica: el uso de investigaciones a nivel algorítmico. Las secciones que siguen exploran cómo se entrenan las redes modernas, que desarrollan representaciones internas con unidades ocultas, y también describen cómo se podrían interpretar las representaciones internas de una red después de haber aprendido a realizar una tarea de interés. Tales interpretaciones responden a la pregunta ¿Cómo convierte una red un patrón de entrada en una respuesta de salida? — y así proporcionar información sobre algoritmos de red.

La necesidad de investigaciones a nivel algorítmico se introduce al señalar en la siguiente sección Sección 4.9 que la mayoría de las redes coneccionistas modernas son multicapa, lo que significa que tienen al menos una capa de unidades ocultas que se encuentran entre las unidades de entrada y las unidades de salida. En esta sección se introduce una técnica general para el entrenamiento de dichas redes, denominada regla delta generalizada. Esta regla extiende el empirismo a sistemas que pueden tener poderosas representaciones internas.

La Sección 4.10 proporciona un ejemplo de cómo se pueden interpretar las representaciones internas creadas por la regla delta generalizada. Describe el análisis de una red multicapa que ha aprendido a clasificar diferentes tipos de acordes musicales. Un examen de los pesos de conexión entre las unidades de entrada y las unidades ocultas revela una serie de formas interesantes en las que esta red representa regularidades musicales. Un examen del espacio de unidad oculto de la red muestra cómo estas regularidades musicales permiten a la red reorganizar diferentes tipos de tipos de acordes para que luego puedan ser tallados en regiones de decisión apropiadas por las unidades de salida.

En la sección 4.11 se introduce un enfoque de inspiración biológica para descubrir algoritmos de red. Este enfoque implica realizar escuchas telefónicas de las respuestas de las unidades ocultas cuando la red se presenta con diversos estímulos, y luego usar estas respuestas para determinar las características desencadenantes que detectan las unidades ocultas. También se muestra que cambiar la función de activación de una unidad oculta puede generar complejidades interesantes en la definición de la noción de una característica desencadenante, ya que algunos tipos de unidades ocultas capturan familias de características desencadenantes que requieren un análisis adicional.

En la Sección 4.12 describimos cómo interpretar la estructura interna de una red comienza a arrojar luz sobre la relación entre algoritmos y arquitecturas. También se describe una red que, como resultado del entrenamiento, traduce un modelo clásico de una tarea en una conexionista. Esto ilustra una reducción interteórica entre teorías clásicas y conexionistas, planteando la posibilidad de que ambos tipos de teorías puedan describirse en una misma arquitectura.