10.8: Organización Jerárquica de PFC- Subtareas, Objetivos, Secuenciación Cognitiva

Figura\(10.16\): Selección de acción jerárquica a través de múltiples bucles de ganglios basales prefrontales. En el extremo derecho, en el nivel más anterior, el PFC representa información contextual que es cerrada por su correspondiente bucle BG basado en la probabilidad de que mantener este contexto para guiar acciones de nivel inferior sea predictivo de recompensa. El bucle medio implica tanto la activación de entrada como de salida. El mecanismo de activación de entrada permite que las representaciones de estímulo S actualicen una capa PFC_maint, mientras que el mecanismo de activación de salida cierra un subconjunto de información mantenida condicional al contexto en PFC anterior. Su capa BG asociada aprende la probabilidad de recompensa de la activación de salida dado el estímulo mantenido S y el contexto. Finalmente, el bucle motor más a la izquierda aprende a computar respuestas motoras simples en función de sus probabilidades de recompensa condicionadas al estímulo, como en el modelo BG de bucle único descrito en el capítulo Motor, pero donde aquí las características de estímulo relevantes son seleccionadas por los bucles más anteriores. Reproducido de Frank & Badre (2012).

Para modelos relacionados que simulan el control jerárquico sobre la acción a través de múltiples circuitos PFC-BG, consulte Reynolds & O'Reilly, 2009; Frank & Badre, 2012 y Collins & Frank (2013). Este último modelo considera situaciones en las que existen múltiples conjuntos de reglas potenciales que significan qué acciones seleccionar en estados sensoriales particulares, y donde el conjunto de reglas apropiado podría depender de un contexto de nivel superior. (Por ejemplo, tu tendencia a saludar a alguien con un abrazo, beso, apretón de manos, u ola puede depender de la situación: tu relación con la persona, ya sea que estés en la calle o en el trabajo, etc. Y cuando vayas a un nuevo país (o ciudad), la regla establecida a aplicar puede ser la misma que la que has aplicado en otros países, o podría requerir la creación de un nuevo conjunto de reglas). De manera más general, nos referimos a la regla de nivel superior como un “conjunto de tareas” que contextualiza cómo actuar en respuesta a muchos estímulos diferentes. Las redes PFC-BG jerárquicas pueden aprender a crear estos conjuntos de tareas PFC, y simultáneamente, qué acciones seleccionar en cada conjunto de tareas. Críticamente, con esta representación jerárquica, las representaciones de PFC aprendidas son abstractas e independientes de los contextos que las orientan, facilitando la generalización y transferencia a otros contextos, al tiempo que identifican cuándo es necesario crear nuevos conjuntos de tareas. También permiten agregar nuevos conocimientos a las estructuras de tareas abstractas existentes, que luego pueden transferirse inmediatamente a otros contextos que los indiquen (como aprender una nueva palabra en un idioma: inmediatamente puede reutilizar esa palabra en otros contextos y con otras personas). Para ver esta red en acción, incluyendo demostraciones de generalización y transferencia, vea la red Collins & Frank enlazada aquí. Diversos datos empíricos que prueban este modelo han demostrado que de hecho los humanos (¡incluidos los bebés!) representan tales conjuntos de tareas de manera jerárquica (incluso cuando no se les indica que lo hagan, e incluso cuando no sea beneficioso para el aprendizaje) de tal manera que facilite la generalización y la transferencia; y que la extensión de esta estructura jerárquica esté relacionada con las firmas neuronales en PFC y BG (ver por ejemplo, Badre & Frank , 2012; Collins et al., 2014; Collins & Frank, 2016; Werchan et al, 2016).

Para poner muchos de los elementos explorados anteriormente para su uso más importante, exploramos cómo las interacciones coordinadas de varias regiones del PFC (incluyendo las áreas afectivas exploradas anteriormente), junto con BG gates, permiten que el sistema se comporte de manera coherente, impulsada por tareas sobre múltiples secuenciales pasos del procesamiento cognitivo. Este es realmente el sello distintivo de la inteligencia humana: podemos resolver problemas complejos realizando una secuencia de pasos cognitivos más simples, de una manera flexible y adaptativa. Modelos cognitivos más abstractos como ACT-R proporcionan una agradable caracterización de las propiedades funcionales de este nivel de cognición. El objetivo con el modelo que exploramos aquí es entender cómo los mecanismos neuronales más detallados pueden trabajar juntos para producir esta funcionalidad.

• Los niveles más altos (más anteriores) de PFC codifican contexto/objetivos/planes para organizar la secuencia de acciones cognitivas, las cuales son impulsadas por áreas de PFC más bajas y posteriores. Críticamente, estas áreas superiores no especifican secuencias rígidas de acciones, sino que codifican los estados de resultado deseados de la secuencia de acciones, y proporcionan el contexto adecuado para que se seleccionen pasos apropiados de nivel inferior.

• Cada paso en una secuencia de acciones implica una consideración de los resultados de recompensa y los costos de esfuerzo de la acción en relación con otras opciones posibles.

TODO: ¡inventar este modelo!