4.15: Coneccionismo arquitectónico - Una visión general

En las últimas secciones, nos hemos preocupado por interpretar la estructura interna de redes neuronales artificiales multicapa. Si bien algunos han afirmado que todo lo que se puede encontrar dentro de cerebros y redes es goo (Mozer & Smolensky, 1989), los ejemplos anteriores han demostrado que las interpretaciones detalladas de la estructura interna de la red son tanto posibles como informativas. Estas interpretaciones revelan detalles a nivel algorítmico sobre cómo las redes neuronales artificiales utilizan sus unidades ocultas para mediar asignaciones de entradas a salidas.

Si el objetivo de la ciencia cognitiva conexionista es hacer nuevos descubrimientos representacionales, entonces esto sugiere que se practique como una forma de psicología sintética (Braitenberg, 1984; Dawson, 2004) que incorpora tanto síntesis como análisis, y que involucra tanto ingeniería hacia adelante como ingeniería inversa.

El aspecto analítico de la ciencia cognitiva conexionista implica el peering dentro de una red para determinar cómo su estructura interna representa soluciones a problemas. Las páginas anteriores de este capítulo han proporcionado varios ejemplos de este enfoque, que parece idéntico a la ingeniería inversa practicada por los científicos cognitivos clásicos.

La fase de ingeniería inversa de la ciencia cognitiva coneccionista también está vinculada a la ciencia cognitiva clásica, en el sentido de que es probable que los resultados de estos análisis proporcionen las preguntas que impulsan las investigaciones a nivel algorítmico. Una vez que se descubre un nuevo formato de representación en una red, un tema clave es determinar si también caracteriza la cognición humana o animal. Uno esperaría que cuando los científicos cognitivos coneccionistas evalúen sus descubrimientos representacionales, lo hagan reuniendo el mismo tipo de complejidad relativa, estado intermedio y evidencia de error que los científicos cognitivos clásicos reúnen cuando buscan una fuerte equivalencia.

Antes de que uno pueda aplicar ingeniería inversa a una red, hay que crearla. Y si el objetivo de tal red es descubrir sorprendentes regularidades representacionales, entonces debería crearse minimizando los supuestos representacionales tanto como sea posible. Uno toma los bloques de construcción disponibles en una arquitectura coneccionista particular, crea una red a partir de ellos, codifica un problema para esta red de alguna manera e intenta entrenar a la red para mapear entradas a salidas.

Esta fase sintética de investigación implica explorar diferentes estructuras de red (por ejemplo, diferentes decisiones de diseño sobre números de unidades ocultas, o tipos de funciones de activación) y diferentes enfoques para la codificación de entradas y salidas. La idea es darle a la red tantos grados de libertad como sea posible para descubrir regularidades representacionales que no han sido impuestas o predichas por el investigador. Todas estas decisiones involucran el nivel arquitectónico de investigación.

Un problema, sin embargo, es que las redes son codiciosas, en el sentido de que explotarán los recursos que tengan a su disposición. Como resultado, es probable que se encuentren detectores bastante idiosincrásicos y especializados si se proporcionan demasiadas unidades ocultas a la red, y es posible que el rendimiento de la red no se transfiera bien cuando se le presenten estímulos novedosos. Para hacer frente a esto, se deben imponer restricciones buscando la red más simple que aprenda de manera confiable el mapeo de interés. La idea aquí es que tal red podría ser la que más probabilidades de descubrir una representación lo suficientemente general como para transferir la capacidad de la red a nuevos patrones.

Es importante destacar que a veces cuando uno toma decisiones arquitectónicas para buscar la red más simple capaz de resolver un problema, uno descubre que la red requerida es simplemente un perceptrón que no emplea ninguna unidad oculta. En las secciones restantes de este capítulo proporciono algunos ejemplos de redes simples que son capaces de realizar tareas interesantes. En la sección 4.15 se describe la relevancia de los perceptrones para las teorías modernas del aprendizaje asociativo. En la sección 4.16 presento un modelo perceptrón de la tarea de reorientación. En la sección 4.17 se da una interpretación para la estructura de un perceptrón que aprende una progresión aparentemente complicada de acordes musicales.