3.2: Aplicaciones inspiradas en sistemas fotosensoriales naturales

3.2 Aplicaciones inspiradas en los sistemas fotosensoriales naturales

La primera aplicación fotosensorial es la idea propia del autor de utilizar filtros gaussianos para la emulación de filtros espacio-temporales de paso bajo de los fotorreceptores y células horizontales y hacerlo en tres niveles, cada uno dando como resultado retrasos inherentes que se utilizan para los modelos de detección de movimiento elemental (EMD). Los tres niveles diferentes permiten modelar las conocidas señales de contraste centro-surround (propagadas por células bipolares) que comprenden las señales de la vía magnocelular y parvocelular. También permite dos EMD diferentes en cada ubicación. El EMD adicional proporciona un grado de libertad necesario para determinar la velocidad del borde.

El siguiente grupo de esfuerzos de investigación se centra en modelar la capa plexiforme externa (OPL) de la retina (fotorreceptores, células horizontales y células bipolares) utilizando circuitos VLSI. La biología está hecha de material con una plasticidad natural para adaptarse a las necesidades de los organismos. El silicio es quebradizo, pero muy confiable como tecnología para implementar el comportamiento del OPL. Siguiendo esos esfuerzos están los que combinan los conceptos de retina de silicio con flujo óptico para un píxel adaptativo más completo que emula mejor el OPL.

A continuación se presentan algunos ejemplos de explotación de la visión foveal natural. Los fotorreceptores densamente empaquetados en el centro mismo de la retina proporcionan una agudeza espacial mucho mejor que la periferia, donde los fotorreceptores no están tan densamente empaquetados. Esto puede ser engañoso ya que nuestra capacidad de ver detalles en el centro mismo supera con creces a la de la periferia, y el empaque fotorreceptor es una parte muy pequeña de eso. Hay alrededor de 5 veces el número de células bastonciformes que de células cónicas en la retina, pero ninguna en la fóvea (así una tenue estrella puede desaparecer cuando la miramos bien). Además, las celdas están más interconectadas en la periferia para proporcionar una mejor resolución temporal a costa de la resolución espacial. La mayoría de las aplicaciones inspiradas en la visión fovea se refieren a la mayor resolución en una región de interés y no a las distribuciones representativas de celdas de varilla y cono y el nivel no uniforme de interconexiones celulares.

El siguiente grupo se centra en la señalización asincrónica basada en eventos que, como la biología, da como resultado un pico (o potencial de acción) cuando ocurre un evento significativo (o se excede un umbral). Divergiendo de la biología a un posible reino de capacidades de procesamiento de señales mucho más altas es la noción de hacer el mismo procesamiento de señal OPL pero con fotónica en lugar de electrónica. Esto sería una desviación significativa de la biología, pero como se señaló antes muchas veces los investigadores están utilizando la biología para obtener ideas novedosas y no necesariamente intentan duplicar la biología. Otra frontera que se persigue es la incorporación de información de polarización en los sistemas de visión como se indica en la sección final.

3.2.1 Modelo combinado de canal EMD y Magno/Parvo [Brooks18]

El modelo de detección de movimiento elemental Hassenstein-Reichardt (HR-EMD) [Hass56] revisado anteriormente no puede medir con precisión la velocidad del flujo óptico. En la Figura 3.2.1-1 se muestra una versión simplificada del HR-EMD. Existe una velocidad óptima para la respuesta pico del EMD basada en el diseño del elemento de retardo. Si el contraste espacial es débil pero se mueve a través de la imagen a esa velocidad, la respuesta puede ser moderada y puede ser la misma que un contraste espacial más fuerte que se mueve a una velocidad subóptima. Se necesita otra dimensión de información para determinar la velocidad de borde; un enfoque es medir la densidad espectral de potencia (PSD) de la imagen y combinarla con una respuesta EMD global en forma de tabla de consulta [Wu12] aunque no se sabe que exista una medición PSD de una imagen en biología. Estos y similares enfoques han utilizado el retardo inherente a los filtros de paso bajo (LPF) tradicionales como los filtros Butterworth (populares debido a que son máximamente planos en banda de paso). Nuevamente, los filtros Butterworth no son conocidos en biología. El mejor modelo de LPF en biología son los filtros gaussianos, que no son populares en aplicaciones convencionales debido a propiedades como la no ortogonalidad. Sin embargo, los filtros gaussianos son naturales en biología debido a la fuga de iones, la distribución de la carga entre las células receptoras y las señales excitadoras e inhibidoras de las capas adyacentes de neuronas.

Un objeto en movimiento que estimula un receptor y luego el otro activará el movimiento correcto en ambos bordes delantero y trasero de la estimulación del objeto; la intensidad del objeto puede ser mayor o menor que el fondo.

Los filtros gaussianos también pueden modelar las vías magnocelular y parvocelular (MP y PP); cada canal del MP o PP se puede modelar como una diferencia de filtro gaussiano entre el receptor central (o grupo de receptores) y los receptores circundantes, denominados señales antagónicas de entorno central. Para modelar el MP o PP se necesitan dos gaussianos, una menor varianza gaussiana para el campo central y una varianza gaussiana mayor para el campo circundante. Posiblemente (un sujeto para experimentación futura) ambos canales se puedan modelar con un total de 3 filtros gaussianos, donde la varianza de la señal PP circundante es la misma que la varianza de la señal MP central. Estos tres filtros gaussianos se identifican en la Figura 3.2.1-2 como que tienen frecuencias de corte altas, medias y bajas. Ten en cuenta que estos son filtros espacio-temporales, por lo que las frecuencias son multidimensionales para incluir tanto el tiempo como el espacio. En el sistema de visión de primates estos filtros espacio-temporales se implementarían en cada ubicación del receptor por los efectos de conexiones interfotorreceptoras débiles, los efectos de la inhibición lateral de las células horizontales, la propagación de células bipolares, la mediación adicional por las células amacrinas como señal se pasa a través de las células ganglionares.

Los efectos de filtro gaussianos espacio-temporales son bien conocidos en la visión. Los tres gaussianos de la Figura 3.2.1-2 proporcionan la información necesaria para el modelado de canales MP y PP, así como dos canales EMD separados, denominados en la figura como EMD de Parvo y EMD Magno. Tener dos canales EMD separados proporciona el grado de libertad adicional necesario para la determinación de la velocidad del objeto. El LPF inicial (con alta frecuencia de corte) se utiliza como señal 'receptor' en la Figura 3.2.1-1 para ambos EMD, y la señal retardada es la salida del segundo LPF (corte medio) para el EMD de Parvo mientras que la señal retardada es la salida del tercer LPF (corte bajo) para el EMD Magno.

La velocidad del objeto es una función de la ubicación en la imagen, y se esperaría ambigüedad si solo estuviera disponible una medición EMD. Sin embargo, en este modelo están disponibles dos salidas EMD independientes, por lo que la velocidad del objeto estaría determinada por alguna combinación de las respuestas del EMD de Parvo y el EMD Magno. Otro tema para la experimentación futura sería cómo se combinan las señales para dar la velocidad única. Esto es muy consistente con los conceptos de codificación gruesa que vemos a lo largo de los sistemas sensoriales biológicos (y probablemente una función cerebral superior).

La Figura 3.2.1-3 muestra cómo se pueden combinar los dos EMD separados para dar una velocidad específica de movimiento del objeto en la ubicación dada en el campo receptivo. La salida de los receptores izquierdo y derecho en esta figura sería la salida del LPF de alto corte de la Figura 3.2.1-2. La salida de retardos D ₁ y _D2 corresponden a las salidas del LPF de corte medio y el LPF de corte bajo de la Figura 3.2.1-2, respectivamente.

Cada píxel representa un receptor sensorial en el espacio 2D. A medida que se repite el algoritmo de actualización de píxeles, se reduce la frecuencia de corte espacio-temporal del LPF. Las salidas de tres conjuntos sirven para proporcionar señales PP y MP biológicamente relevantes, así como entradas a EMD que pueden proporcionar una velocidad y dirección del objeto muy precisas. El uso de Parvo y Magno EMD se utiliza para distinguir qué conjunto de salida se usa, ya que se usa la misma señal para la entrada negativa a los canales respectivos.

El segundo y tercer conjunto de iteraciones de actualización de píxeles que se muestran en la Figura 3 se muestran aquí como elementos de retardo D ₁ y _D2 respectivamente. La entrada al EMD inferior (o Magno) permite utilizar la combinación de retardos para los dos conjuntos. Debido a que los retardos son diferentes, cada EMD se sintonizará a un valor diferente en el rango de movimiento. La tabla de consulta (LUT) podría ser una comparación simple para determinar una velocidad precisa a partir de las dos muestras proporcionadas por los EMD individuales.

La efectividad de este modelo magno/parvo EMD se puede simular en MATLAB u otra herramienta de visualización. Dejando que γ controle la cantidad de dispersión espacial entre fotogramas (limitándolo a un valor entre 0 y 1), entonces el valor de píxel retenido será γ veces el valor actual que se agregará a (1- γ) veces el promedio de los 4 valores de píxeles actuales vecinos más cercanos. Dejar que α controle la cantidad de suavizado temporal para que el valor de píxel actual se multiplique por α y se agregue a (1- α) veces el píxel actual procesado espacialmente. Los efectos espacio-temporales son proporcionados por las celdas horizontales, por lo que hacemos referencia a esa señal como H _{i, j}, donde i es el índice de fila y j es el índice de columna. Dejando que P _{i, j} representen el valor de píxel (el valor del receptor modelado) en la fila iésima y la columna jésima y usando T como variable temporal (para mayor claridad) tenemos el siguiente algoritmo de actualización:

T = 0.25 (1- γ) (H _{(i-1), j} + H _{i, (j-1)} + H _{i, (j+1)} + H _{(i+1), j}) + γ P _{i, j}

H _{i, j} = (1- α) T + α H _{i, j}

Las constantes γ y α representan niveles de suavizado espacial y suavizado temporal respectivamente, lo que en ambos casos da los efectos de filtrado paso bajo de un filtro gaussiano (simultáneamente en ambos dominios de tiempo y espacio). Estos pueden hacerse adaptativos una vez que se determina una métrica de rendimiento. La simulación de los tres filtros en la Figura 3.2.1-2 se logra tocando los resultados en diferentes números de iteraciones a medida que se procesa la información visual. Algunas iteraciones implementan una frecuencia de corte alta (espacio-temporal), más iteraciones darían una frecuencia de corte media e incluso más iteraciones una frecuencia de corte más baja. Hay varios grados de libertad para la experimentación, incluyendo las constantes de suavizado espacial y temporal junto con el número de iteraciones para implementar los filtros gaussianos.

3.2.2 Aerodeslizador autónomo que utiliza flujo óptico basado en insectos [Roub12]

Es bien sabido que insectos como las abejas melíferas navegan por su entorno mediante colas de flujo óptico en el campo visual. El flujo óptico inspirado en insectos se demostró en un pequeño robot aerodeslizador [Roub12] siguiendo de manera autónoma una pared y navegando por un corredor cónico. El diseño se centra en la evitación de obstáculos en el plano acimutal con 4 sensores de flujo óptico (DE) de 2 píxeles a 45 ^O y 90 ^O en ambos lados izquierdo y derecho. El robot aerodeslizador siguió una pared a una distancia determinada, además de navegar con éxito a través de un corredor cónico. Como se ve en experimentos con abejas melíferas [Srini11] la velocidad disminuye a medida que navega con éxito a través de un corredor cónico, una consecuencia natural de mantener constante DE a medida que se acerca el lado. Se presumió que la navegación de las abejas melíferas era el resultado del equilibrio OF en ambos lados del insecto.

El aerodeslizador demostró la capacidad de ajustar la velocidad de avance y el espacio libre de las paredes sin telémetros ni tacómetros. Sin embargo, se utilizó una brújula magnética y un acelerómetro para evitar el movimiento en la dirección del eje de guiñada para que la embarcación continúe avanzando. Esto es necesario ya que el experimento se centró en las colas OF y la capacidad de navegar por el corredor.

El algoritmo fue desarrollado en simulación e implementado en este aerodeslizador. Los 4 sensores (dos a 45° y dos a 90° de la dirección hacia adelante en cada lado) se utilizaron en el algoritmo de navegación que los autores llaman principio de regulación de flujo óptico dual lateral. Demuestra una sugerencia más completa sobre cómo las abejas navegan por su entorno que simplemente equilibrar el flujo óptico desde los dos lados. Este es un ejemplo de un sensor bio-inspirado que se utiliza para ayudar a los biólogos a comprender mejor cómo las abejas navegan por su entorno.

3.2.3 Aerodeslizador autónomo que utiliza flujo óptico para aterrizaje [Dup18]

En este esfuerzo se comparan 12 sensores de píxeles de flujo óptico que implementan una detección de movimiento basada en umbrales con un conjunto más tradicional de 12 píxeles de flujo óptico implementando un método de correlación cruzada. El método de correlación cruzada es más robusto, pero también más complejo computacionalmente. Si un método de umbral suficiente puede funcionar, entonces la complejidad se reduce considerablemente. El inconveniente es que el rendimiento depende en gran medida del umbral, que puede variar de escena a escena y diferentes condiciones de iluminación.

La aplicación en mente es un aerodeslizador que utiliza detección óptica de flujo en el lado ventral (lado inferior) de la nave para garantizar un aterrizaje suave. A medida que un insecto se acerca al punto de aterrizaje, el flujo óptico por debajo aumentará ya que la textura de la imagen se está acercando. Si el insecto mantiene constante el flujo óptico, entonces su velocidad debe estar disminuyendo a medida que el insecto se acerca, hasta el punto donde el insecto esté en reposo en la superficie de aterrizaje. Para medir el rendimiento se fijó el sensor de flujo óptico con un campo visual texturizado pasado frente al sensor.

3.2.4 Retina de Silicio [Maha89]

La retina de silicio [Maha89] está diseñada para emular las capas de procesamiento iniciales de la retina, que incluyen los fotorreceptores, las células horizontales y las células bipolares. Se fabricó una matriz de 48 x 48 píxeles utilizando reglas de diseño de 2.0 µm (ancho de trayectoria conductora) y circuitos de píxeles de aproximadamente 109 x 97 µm de tamaño. Se utiliza una rejilla resistiva hexagonal para que los promedios locales de píxeles estén más influenciados por los seis vecinos más cercanos que los más alejados.

La sinapsis de la tríada (que conecta estos tres tipos de células) se modela en silicio como un amplificador de transconductancia conectado a seguidores. Un condensador almacena la señal espacio-temporal del fotorreceptor, y un amplificador propaga la diferencia si esta señal y la señal del fotorreceptor, modelando la señal antagónica del entorno central de la célula bipolar. El circuito fotodetector es un transistor bipolar polarizado con una región de agotamiento que responde logarítmicamente con la intensidad de la luz entrante, lo que corresponde a grabaciones fisiológicas de fotorreceptores naturales.

El diseño se revisó posteriormente con un circuito fotorreceptor adaptativo modulado por tres trayectorias de retroalimentación y constantes de tiempo individuales. La ganancia del receptor es adaptativa, y el circuito fue más robusto a los desajustes de transistores y derivas de temperatura que la retina de silicio original. Otra mejora fue la incorporación de la posición de la señal de borde sin necesidad de sustracción fuera del chip [Maha91].

3.2.5 Procesador neuromórfico de retina analógico IR [Mas93]

Sobre la base del diseño de retina de silicio, el Laboratorio de Investigación de la Fuerza Aérea (AFRL, Eglin AFB) financió el desarrollo de un sensor de infrarrojos. Uno de los problemas de emulación de las retinas biológicas con tecnología VLSI es que el área requerida para modelar las constantes de tiempo observadas en biología hacen que el diseño de una matriz 2D de píxeles sea irrazonablemente grande. Este diseño de sensor IR utilizó tecnología de condensador de conmutación con condensadores pequeños para emular constantes de tiempo de condensadores más grandes. Aunque dicha tecnología no tiene contraparte biológica, logró lograr tasas de respuesta espacio-temporal biomimética. El inconveniente de esta tecnología es el ruido adicional causado por las velocidades de conmutación de 10kHz requeridas para el diseño.

Una matriz de 128 x 128 de elementos detectores de Antimoniuro de Indio (InsB) a un paso de 50 µm se conectó de 4 a 1 para crear una matriz de 64 x 64 a un paso de 100 µm. Este plano detector estaba unido a un chip de lectura donde cada píxel utilizó el área de paso de 100 µm para el condensador conmutado y la circuitería de lectura. Los diodos InsB se conectaron en modo fotovoltaico y respondieron logarítmicamente como lo hacen los fotorreceptores biológicos. Los transistores CMOS configurados como condensadores conmutados se utilizaron entre nodos de píxeles para proporcionar el suavizado espacio-temporal inherente a las capas celulares horizontales conectadas lateralmente de la retina.

El resultado fue una cámara IR de onda media (MWIR) con control de ganancia localizada. La cámara capturó imágenes de una antorcha de gas frente a una lámpara con una gran bombilla de inundación. Las cámaras convencionales en ese momento se saturarían en todas las áreas iluminadas a menos que hubiera un control de ganancia global en su lugar, en cuyo caso no se verían los objetos en las partes más oscuras de la imagen. En este experimento se pudo ver claramente el filamento de la bombilla, el contorno de la llama de la antorcha, así como el objeto en las partes más oscuras de la imagen. Este es el beneficio del control de ganancia localizado de las retinas biológicas naturales y los sensores bioinspirados que las modelan.

3.2.6 Píxeles autoadaptativos Michaelis-Menten M ² ApiX [Maf15]

El sistema de visión de los primates (y otros animales) proporciona respuestas en una amplia gama de luminosidades mientras que al mismo tiempo proporciona una buena sensibilidad a los cambios de contraste locales, dando al sistema de visión la capacidad de distinguir simultáneamente un objeto brillante contra un fondo brillante en una parte de la imagen y un objeto oscuro sobre un fondo oscuro en otra parte de la imagen. La amplia gama de luminosidades se ve facilitada por la apertura y cierre del iris, así como la respuesta logarítmica natural de los fotorreceptores. La buena sensibilidad se ve facilitada por la inhibición lateral de las neuronas procesadoras posfotorreceptoras, las células horizontales.

Muchos diseñadores de visión artificial han buscado desarrollar sensores de amplio rango dinámico y han buscado inspiración en el sistema de visión natural. El píxel adaptativo Delbruck [Del94] utilizó el circuito logarítmico fotorreceptor de la retina de silicio original [Maha88] y se utiliza en comparación con el píxel autoadaptativo Michaelis-Menten (M ² APIX) propuesto aquí [Maf15].

La ecuación de Michaelis-Menten [Mich1913] se derivó para modelar la cinética enzimática en bioquímica. Describe la velocidad de reacciones enzimáticas en términos de la velocidad máxima alcanzada cuando el sustrato está saturado y una constante que representa la concentración del sustrato cuando la velocidad de reacción es la mitad de la velocidad máxima [WiKIMM]. Se adapta en [Maf15] para describir la respuesta del fotorreceptor, V, en términos de la respuesta máxima a la saturación de laminación, V _m, la intensidad de la luz, I, y un parámetro de adaptación, σ, dado en [Maf15] como

\(V=V_{m} \frac{I^{n}}{I^{n}+\sigma^{n}}\)

Sustituyendo V por la velocidad de reacción enzimática, V _m con la velocidad máxima cuando la concentración de sustrato está saturada, I con la concentración de sustrato y σ con la constante de Michaelis, que es la concentración de sustrato cuando la velocidad es la mitad de V _m, y dejando n = 1 esta ecuación se reduce a la ecuación bioquímica original [WikiMM].

El píxel adaptativo Delbruck proporciona un rango de adaptación a la luz de 7 décadas y un rango de sensibilidad de contraste de 1 década. Se plantearon algunas cuestiones relacionadas con las respuestas en estado estacionario que aumentan con la intensidad de la luz y las respuestas transitorias inconsistentes bajo gran sensibilidad al contraste Otros métodos que utilizaron rejillas resistivas para emular redes celulares horizontales dieron como resultado 4 décadas de sensibilidad, pero requirieron fuentes de voltaje externas para establecer puntos de polarización [Maf15].

Se fabricó una matriz de fotorreceptores de 12 M ² píxeles APIX y 12 píxeles Delbruck y se utilizó para la comparación. La retina de silicio de 2 x 2 mm se fabricó en un paquete de 9 x 9 mm con las dos matrices de 12 píxeles lado a lado para comparación. Los resultados experimentales confirmaron que los píxeles M ² APIX respondieron a un rango de luminosidades de 7 décadas y con un rango de sensibilidades de contraste de 2 décadas. La ventaja sobre el píxel adaptativo Delbruck es que produce una respuesta de contraste más constante a lo largo de las 7 décadas de luminosidades de manera que el bit menos significativo (LSB) será un valor menor y por lo tanto una mejor resolución de contraste [Maf15]

3.2.7 Aerodeslizador autónomo que utiliza flujo óptico basado en insectos [Van17]

Un ojo de inspiración biológica está diseñado para permitir la navegación pasiva de un vehículo aéreo a través de corredores y un aterrizaje suave al tener sensores de visión que responden al flujo óptico en la parte delantera, dos lados y la parte inferior. Un ejemplo dado sería un quadrotor explorando un edificio manteniendo cierta distancia de las paredes.

Llamado “OcTom ² APIX”, el sensor de 50 gm incluye 8 píxeles autoadaptativos Michaelis-Menten (M ² APIX): 3 medición de flujo óptico (DE) en el lado izquierdo, 3 medición DE en el lado derecho y 2 en la parte inferior midiendo DE en el suelo debajo del vehículo. El píxel central de cada lado mide DE en ángulo recto con el rumbo; uno apunta entre el lado y el frente, mientras que el otro apunta entre el lado y el trasero. Cada lado cubre aproximadamente 92° en el plano horizontal. El objetivo es permitir que el vehículo corrija el rumbo en función de las diferentes mediciones de OF de los tres píxeles a cada lado.

Los resultados experimentales fueron con el sensor OCTom ² APIX estacionario y una superficie texturada moviéndose a su lado en varios ángulos con respecto al rumbo (simulado), o la dirección del frente del sensor. El rumbo experimental incluyó 0°, donde el vehículo estaría siguiendo una superficie similar a una pared, +20°, donde el vehículo (no simulado) eventualmente colisionaría con la superficie si no se corrige, -20°, donde el vehículo se separaría de la superficie, y -45°, donde el vehículo se separaría en un tasa más rápida. El DE en los píxeles de los lados delantero y trasero deben compensarse entre sí cuando el rumbo es paralelo a la superficie, y la diferencia entre los píxeles del lado delantero y trasero proporcionaría señales para el rumbo con respecto a la pared, y así permitir que el vehículo ajuste su rumbo si el objetivo fuera a seguir la pared en un tasa constante. Los resultados experimentales se muestran calculando el rumbo desde el píxel central y delantero, el píxel central y trasero, y el píxel delantero y trasero, siendo este último la mejor estimación cuando los tres sensores tenían la superficie a la vista. Esto tiene sentido ya que esta sería la separación más amplia.

3.2.8 Emulando fóvea con múltiples regiones de interés [Azev19]

Hay muchas aplicaciones donde la resolución de la imagen es alta en alguna región de interés (ROI) y baja en la parte restante de la imagen. Se trata de un parecido crudo de una imagen foveada pero podría argumentarse como bio-inspirada por la fóvea. Tanto en diseños naturales como sintéticos, la idea es conservar los recursos computacionales mediante el uso de un muestreo más alto en un ROI (mirada central para la biología) y menor muestreo en otros lugares. El muestreo no uniforme se observa en todos los sistemas sensoriales naturales ya que la biología se ha adaptado a los diferentes niveles de relevancia de los estímulos naturales (pasivos o activos). En muchas aplicaciones comerciales y militares se podrían emplear múltiples ROI, pero esto es raro en biología si existe. (Los sistemas de visión tienen una sola fóvea, pero se podría argumentar que existen múltiples regiones de mayor muestreo, por ejemplo, en el sentido del tacto como sugeriría el conocido mapa somatotópico).

Un sistema de rastreo de vehículos diseñado para autos autónomos utiliza múltiples ROI y afirma inspiración fóvea. El posterior procesamiento de imágenes se desarrolla utilizando redes neuronales de aprendizaje profundo, lo que nuevamente implica cierto nivel de bio-inspiración. El sistema utiliza puntos de onda vehicular, que son las ubicaciones futuras esperadas de los vehículos, y continuamente recorta la imagen buscando otros vehículos. Esto es análogo a que los conductores miran hacia abajo por la carretera que están recorriendo. Los resultados experimentales afirmaron una mejora en la detección de autos de largo alcance de 29.51% a 63.15% sobreusando una sola imagen completa [Azev19]. Como se señaló anteriormente, muchos investigadores están más enfocados en resolver problemas de ingeniería (como deberían ser) y no demasiado preocupados por el nivel de biomimética. Por lo tanto, puede haber un abismo entre los niveles de biomimética entre diversos esfuerzos que reivindican diseños bio-inspirados.

3.2.9 Uso de muestreo biológico no uniforme para una mejor realización virtual [Lee18]

Hay otras aplicaciones que no están imitando la biología sino considerando la alta agudeza espacial de la fóvea. Por ejemplo, una pantalla montada en la cabeza puede considerar la dirección de la mirada para la visualización de escenas 3D con múltiples capas de imágenes 2D. El objetivo es mejorar la calidad de imagen recibida y la precisión de las señales de enfoque aprovechando la pérdida de agudeza espacial en la periferia sin necesidad de rastrear la pupila del sujeto [Lee18]. Otro ejemplo es un producto (llamado Foveator) que rastrea el movimiento de la pupila y limita la renderización de alta resolución solo en la dirección necesaria. La aplicación pretendida es para mejorar la experiencia de realidad virtual (VR) [ver www.inivation.com]. Estas ideas aprovechan la información de diseño natural para relajar los requisitos de un sistema visual para evitar proporcionar más de lo necesario en lugar de usar el diseño de fóvea natural para inspirar diseños más nuevos.

3.2.10 Retinas asíncronas basadas en eventos [LiU15a]

Los sistemas de cámara convencionales tienen imágenes pixeladas, digitalizadas y enmarcadas para procesamiento posespacial, temporal y cromático. Los sistemas de visión natural envían potenciales de acción asíncrona (picos) cuando el potencial de voltaje neuronal excede un umbral, lo que ocurre en cualquier momento, en lugar de en el borde de avance de un ciclo de reloj digital. La información se recopila así de forma asíncrona, y estos picos de información solo ocurren cuando hay algo que los cause. Imitando este comportamiento biológico están los sistemas asíncronos emergentes basados en eventos. El progreso ha sido lento debido en parte a la falta de familiaridad de la industria del silicio con los circuitos no sincronizados (asincrónicos). La emulación de los tipos de células es limitante ya que la industria es reacia a reducir las áreas de relleno de píxeles para dejar espacio para una funcionalidad adicional [LiU15a]. En los mamíferos la luz viaja a través de las capas de neuronas retinianas y luego a través de muchas capas de fotopigmento, permitiendo numerosas oportunidades de captura de fotones que una sola pasada (como la región de agotamiento de una unión pn). El chip real para procesamiento asíncrono (analógico) en la retina no entra en conflicto con el fotorreceptor capturador de fotones, ya que la retina es transparente a la información fotónica entrante.

Un diseño asíncrono de retina de silicio incluye un intento de imitar las vías magno y parvocelulares (MP y PP) del nervio óptico [Zag04]. Se persigue la naturaleza sostenida del PP y la naturaleza transitoria del MP lo que resulta en células ganglionares ON y OFF tanto para MP como PP, que es lo que se observa en los sistemas de visión natural. El beneficio es la adaptación natural del contraste además del filtrado espacio-temporal adaptativo. El control de ganancia automático localizado resultante proporciona un amplio rango dinámico y pone a disposición dos representaciones separadas filtradas de paso de banda espacio-temporal de la imagen. Uno de los desafíos de usar este sistema de visión es la gran falta de uniformidad entre las respuestas de píxeles [LiU15a]. La falta de uniformidad bruta entre receptores y neuronas es común en los sistemas sensoriales naturales, ya que la naturaleza adaptativa (plástica) de las neuronas compensa tales no uniformidades.

3.2.11 Emulación de células de retina usando redes fotónicas de láseres puntiformes [Rob20]

Las retinas y cócleas de silicio como las de [Liu15] utilizan silicio duro para emular el comportamiento de redes neuronales biológicas que son adaptativas y exhiben plasticidad. Sin embargo, estos diseños bioinspirados muestran la promesa de las aplicaciones de tales sistemas sensoriales novedosos. De manera similar, los láseres emisores de superficie de cavidad vertical (VCSEL) se utilizan para emular respuestas de ciertas neuronas en la retina y se denominan neuronas VCSEL. En biología la energía fotónica se convierte en un potencial graduado (o análogo) por la bioquímica de los fotopigmentos de las células fotorreceptoras. Al mantener la información fotónica, las velocidades de los cálculos pueden superar los 7 órdenes de mejora de magnitud. Esta mejora dramática en el rendimiento del procesamiento de la información tiene amplias aplicaciones para marcos de algoritmos computacionalmente intensos, como la inteligencia artificial y el aprendizaje profundo.

Este esfuerzo demuestra la emulación de células retinianas utilizando componentes VCSEL listos para usar que operan a longitudes de onda de telecomunicaciones convencionales. Las neuronas VCSEL se configuraron para emular el comportamiento de adición de las células bipolares ON y OFF así como de las células ganglionares retinianas. En estas aplicaciones de silicio y fotónica, vemos la biología como una inspiración para nuevas estrategias de procesamiento de información, pero luego combinamos esas estrategias con tecnología disponible que no emula la forma en que funciona la biología. Un ejemplo similar de este concepto también se ve cuando la fóvea se emula en las próximas aplicaciones.

3.2.12 Integración de la polarización de la visión de insectos con otros principios de visión [Giak18]

Los sistemas sensoriales visuales de muchas especies están diseñados para procesar estímulos proporcionados por el medio ambiente que tienen dimensiones de espacio, tiempo y color. También se ha demostrado que los artrópodos y algunas especies marinas tienen sensibilidad a la polarización de la luz. Por ejemplo, la retina del pulpo tiene segmentos externos fotorreceptores fuertemente empaquetados compuestos por microvellosidades que están en ángulo recto con las microvellosidades de las células fotorreceptoras vecinas. La orientación de las microvellosidades alterna entre estos ángulos rectos y se cree que esto da al pulpo sensibilidad a la luz polarizada [Smith00].

En este esfuerzo se utilizan filtros de polarización de nanohilos de aluminio [Giak18] para emular las microvellosidades del ommatidio, los componentes que componen el ojo compuesto. Se realizaron mediciones de polarización para caracterizar la polarización de varios polímeros. Se utiliza un sistema de cámara neuromórfica previamente diseñado con filtros de polarización para mostrar una mejora en el reconocimiento visual de una cuchilla giratoria si se usa información de polarización [Giak18].