1.1: El “problema del carro” y los autos autónomos- La configuración moral de tu auto (Noah Levin)
- Page ID
- 101320
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)
( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\id}{\mathrm{id}}\)
\( \newcommand{\Span}{\mathrm{span}}\)
\( \newcommand{\kernel}{\mathrm{null}\,}\)
\( \newcommand{\range}{\mathrm{range}\,}\)
\( \newcommand{\RealPart}{\mathrm{Re}}\)
\( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)
\( \newcommand{\Argument}{\mathrm{Arg}}\)
\( \newcommand{\norm}[1]{\| #1 \|}\)
\( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)
\( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)
\( \newcommand{\vectorA}[1]{\vec{#1}} % arrow\)
\( \newcommand{\vectorAt}[1]{\vec{\text{#1}}} % arrow\)
\( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vectorC}[1]{\textbf{#1}} \)
\( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)
\( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)
\( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)
\( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)
\( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)
\(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)Noah Levin 1
“Hemos decidido poner en manos del consumidor las decisiones morales relacionadas con nuestras características de evitación de choques y conducción autónoma. Después de todo, es tu vehículo y estarás al volante. O tal vez no lo serás. Nuestro sistema patentado le permite personalizar todos los ajustes dependiendo de quién está en el vehículo, quién conduce y qué condiciones se presentan en la carretera”, dijo Bob, el vendedor, a Hillary.
“¿Qué quieres decir con 'decisiones morales'?” Preguntó Hillary.
“Hay un problema clásico en la filosofía conocido como 'El problema del trole' y es una versión simple de un escenario que nos gusta analizar para ayudar a determinar tus ajustes. ¿Estás familiarizado con él? ¿No? Puede ayudar a explicar lo que tenemos en mente, así que es un buen punto de partida. Déjame mostrarte cómo funciona”, dijo Bob mientras tocaba su pantalla algunas veces provocando que una proyección holográfica de un carro rojo (del tipo que todavía estaban en uso en las calles de San Francisco) apareciera en la mesa entre ellos.
“Verás, este es un carro desbocado y está volando cuesta abajo en la pista. Hay una bifurcación adelante y se dirige hacia el camino a la derecha. Resulta que estás parado en las vías del carro y tu mano está en la palanca controlando la horquilla, así puedes elegir qué pista baja”, explicó Bob mientras el holograma se alejaba un poco para revelar la horquilla en las pistas mientras una palanca aparecía frente a Hillary indicando que el interruptor enviaría actualmente el carro por el camino correcto.
“Bien, entonces, ¿cuál es el problema? No hay nadie en el carro y no sé a dónde quiere ir, entonces, ¿qué tengo que hacer?” Preguntó Hillary, un poco intrigada por la simulación. No había comprado un auto en años y no estaba preparada tanto para el sofisticado nivel de tecnología en su vehículo potencial como para las tácticas utilizadas por los vendedores.
“Correcto, no hay nadie en el carro, pero hay gente por las dos vías. Verás, una filósofa loca —lo sé, ten paciencia conmigo, esto fue popularizado por la filósofa Judith Jarvis Thompson después de todo— ha atado a varias personas. Específicamente, hay 5 personas en la pista el carro se dirige hacia abajo y 1 en la otra pista”, dijo Bob mientras el holograma se alejaba aún más para mostrar la situación. Las 6 personas en las pistas tenían rasgos indiscernibles hasta el punto de que Hillary no pudo distinguir ningún detalle, ni siquiera la edad o el género en general.
“Ahora, tienes que tomar una decisión”, continuó Bob mientras el carro rodaba lentamente hacia la horquilla. “Se puede hacer una de dos cosas: nada o tirar del interruptor. Si no haces nada, el carro matará a las 5 personas. Si actúas y tiras de la palanca, entonces el carro cambiará de vía y matará a la sola persona. ¿Qué vas a hacer? Todo lo que necesitas hacer es tirar de ese interruptor para cambiar la pista”.
“Esas no pueden ser las únicas dos opciones. ¿Puedo gritarle a esa gente? ¿Desatarlos a tiempo? ¿Súbete al carro y tira de los frenos? ¿Poner el interruptor en el medio para que el carro se descarrile?” dijo mientras movía delicadamente el interruptor tratando de conseguir que se pegara en el medio, sin tener suerte.
“¡No! Sólo hay esas dos opciones. Cualquier otra cosa que intentes hacer no funcionará, y tomará cualquier tiempo que tengas que tomar una decisión lo que significaría que el carro continuará por su pista y matará a las 5 personas. Ese es el punto de esto: debes elegir entre esas dos opciones”, dijo Bob.
Hillary pensó mientras el carro continuaba en su camino hacia la bifurcación. No le tomó mucho más tiempo deliberar, y puso la palanca a la pista con la 1 persona en ella.
“Bueno, es matar 1 o 5, ¿verdad? Prefiero morir menos gente. Todo esto es realmente culpa del 'Filosofer Loco' de todos modos”, afirmó.
“La mayoría de la gente toma la decisión que acabas de tomar, y por esas mismas razones. No obstante, hay algo en lo que pensar: en lugar de salvar a esas 5 personas, ¿acabas de matar a 1? Después de todo, esa persona no iba a morir hasta que no hicieras nada”, preguntó Bob.
“En cierto sentido, supongo que sí, pero alguien iba a morir. Si no hubiera hecho nada, entonces esas 5 personas morirían, y había algo que podría haber hecho para evitarlo. Es lamentable para esa persona, pero espero que lo entiendan”, afirmó.
“Hay esas personas que creen que hay una gran diferencia moral entre permitir que algo suceda y hacerlo usted mismo. Pero puedo decir que no lo crees. Pase lo que pase en esta situación está en tus manos, y en última instancia eres en parte responsable de los resultados que parecería. Por eso es tan importante que pienses en qué ajustes quieres usar en tu nuevo auto”, declaró Bob.
“Pero, ¿qué ajustes hay exactamente? Si es solo para elegir a cuántas personas ahorrar, entonces eso es fácil: salvar a más personas. ¿Por qué no elegiría esa opción?” Preguntó Hillary.
“¡Gran pregunta! Cambiemos esto un poco. En lugar de que el tren se dirija por la vía con las 5 personas, se dirige por la vía con solo 1 persona”, como dijo Bob esto, las 5 personas se desplazaron a la otra vía en el holograma, pero la vía por la que bajaba el carro permanecía vacía.
“Ahora bien, Hillary, no me refiero a ninguna ofensa con esto, y no quiero que te sorprendas, pero hemos encontrado que esto es muy efectivo para ayudarte a decidir qué ajustes son los correctos para ti y tu familia” y, como dijo esto, una niña de apenas cinco años apareció en la pista a la que el Trolley se dirigía hacia abajo.
“¿Vanessa? ¿Qué está haciendo ahí? ¡¿Por qué está mi hija en tu pequeño juego?!” ella gritó.
“Mis disculpas, la voy a sacar”, como decía esto, la chica fue reemplazada por una versión chico de Vanessa. “Entiendes el punto. ¿Qué harías si tuvieras que elegir entre la vida de tu hija y 5 extraños?” Preguntó Bob.
“¡Bueno, hija mía, claro! ¿Qué clase de monstruo mataría a su propio hijo?” Hillary volvió a gritar.
“Por supuesto que la salvarías. Pero recuerda lo que acababas de decir sobre salvar más vidas que menos —eso solo te importa cuando no sabes nada de las personas que podrían ser asesinadas. Ahora, le aseguro, que hay gente que elige, lamentablemente, sacrificar a su propio hijo para salvar esas 5 vidas. No es una decisión fácil de tomar, pero creen que su hijo querría hacer ese sacrificio”, dijo Bob, tratando de calmar a Hillary. Claramente estaba acostumbrado a este tipo de reacciones.
“Realmente no veo qué tiene que ver esto con mi nuevo auto. ¿Cuándo estaría mi hija en el camino y la única manera de evitarla es matando a 5 desconocidos? ¿Y dónde estoy? Ni siquiera soy parte de esto. Yo solo estoy de pie en el exterior”, preguntó Hillary.
“¡Tienes razón! No estás realmente involucrado en esta situación, así que no es exactamente algo que pueda suceder cuando conduces tu nuevo auto. Es por eso que hemos ideado un escenario diferente para ayudarte a entender las opciones reales en nuestro algoritmo de toma de decisiones morales y elegir los parámetros más adecuados para tu familia. The Trolley Problem fue solo el comienzo para que puedas apreciar mejor este escenario”, dijo Bob mientras comenzaba a tocar en su pantalla una vez más. La simulación holográfica del carro desapareció y la minivan que Hillary estaba considerando apareció conduciendo por una carretera de montaña con curvas.
“Ahora, digamos que estás fuera para un relajante paseo por la montaña. Necesitas algo de tiempo para ti y solo necesitas escaparte, así que estás volando tus canciones favoritas en nuestro galardonado sistema de sonido de 12 altavoces usando nuestro modo de manejo de asistencia de seguridad, que te pone en control pero vigila las cosas para que no te metas en un accidente, no es que lo harías, sino por si acaso te pierdes demasiado en tu música, el auto te tiene cubierto. De pronto, giras una esquina y ves a una familia de 5 personas parada en medio de la carretera ya que acaban de salir de su auto destrozado cuando chocó contra una roca que recientemente se había caído de la ladera de la montaña. Conducían un auto muy viejo que no contaba con las últimas tecnologías de frenado automático, pero que, por suerte, todos habían sobrevivido con solo lesiones leves. Tienes el control de la rueda y tienes el tiempo justo para reaccionar. Ves que solo hay 2 opciones: chocar contra la parte trasera de su auto y arriesgarse a lesionarte gravemente o evitarlo y golpear a la familia. Hundirse por el acantilado sería una muerte segura (¡todavía no tenemos asientos de eyección!) , por lo que es golpear a la familia o arriesgarse a chocar. Nuestros sistemas de seguridad son de primera categoría y recibimos la calificación de choque más alta año tras año. Pero nunca se sabe lo que va a pasar en un accidente como este. La familia también podría estar bien si los golpeas o podrían saltar fuera del camino a tiempo, pero no están rodeados de 7 bolsas de aire diferentes como tú. Ahora, ¿qué harías?” Según explicó Bob el escenario, el holograma cambió para que coincidiera. Sólo que en lugar de un interruptor, había dos botones frente a Hillary: uno que decía “Golpeó al auto” y otro que decía “Golpeó a la familia”.
“No puedo evitar ver a mi familia ahí parada cuando miro a estas personas. No pude golpearlos, así que me arriesgaría a mí mismo”, dijo Hillary mientras presionaba el botón que indicaba su elección. El holograma se detuvo justo antes del impacto.
“Eso es bastante noble de tu parte. Pero —ahora, de nuevo, no te sorprendas— ¿y si tu familia estuviera contigo en el auto? Mantengámoslo limitado. No toda tu familia, sino solo tú y... Vanessa, ¿verdad?” Preguntó Bob, ahora sonando más como un vendedor de ataúdes que como un vendedor de autos.
“No puedo arriesgarla como me arriesgaré a mí mismo. Mi trabajo como padre de familia es protegerla. Esa familia no debería haber estado parada en medio de la carretera de todos modos, así que no sería del todo mi culpa”, declaró, tranquilizándose de su decisión.
“Por supuesto, entiendo. Por lo que has dicho, parece que te interesan nuestros escenarios más populares, que eligen un 91% de los propietarios de autos nuevos. Hay muchas opciones, pero puedo resumir cómo va a funcionar en el mundo real para ti, si quieres”, dijo Bob como una lista con al menos 50 casillas de verificación apareció en lugar de la simulación.
“Por favor, adelante”, dijo Hillary.
“Estás dispuesto a sacrificarte por el bien de los demás —de nuevo, eso es muy encomiable de tu parte— y siempre quieres salvar la mayor cantidad de vidas que puedas, a menos que tu familia esté en juego—”, dijo Bob antes de que Hillary lo interrumpiera.
“No, no toda mi familia, solo hijos. Sobrinos, sobrinas y cualquier otro niño incluidos”, aclaró Hillary.
“¡Y nietos algún día, claro! Mis disculpas, hablé mal. Sí, priorizaremos la vida de cualquier niño en su nuevo vehículo, pero cuente a los adultos en su vehículo igual que los que están fuera de él. Mientras estamos en el tema, ¿también deberíamos priorizar la vida de los niños fuera del automóvil también? Podemos ponerles cualquier ponderación que desee cuando el sistema haga sus cálculos en el desafortunado caso de catástrofe inevitable. La mayoría de los clientes optan por una relación de valor de 2:1: los menores cuentan el doble que los adultos. Sin embargo, sí tenemos clientes que valoran a los adultos mayores a un ritmo más alto. Podemos establecer los parámetros como quieras, y no necesitamos tomar estas decisiones ahora”, dijo Bob.
“2:1 para niños menores de 15 años, y 1. 5:1 para niños entre 16-21. Cualquiera mayor que eso puede valerse por sí mismo”, declaró Hillary.
“Sí, claro. Siempre puedes cambiar tus LVR, Ratios de Valor de Vida, más tarde, y ajustarlos exactamente a tu gusto en función de los rasgos que elijas especificar. ¡Incluso hay un escenario específico para los exmaridos!” Bob bromeó. Hillary dejó escapar una risa forzada.
“Lo siento, para continuar, el sistema priorizará la mayor cantidad de vidas, ponderada a sus especificaciones, pesando a los adultos dentro y fuera del vehículo igual, pero dando un mayor valor a los niños, y dando a los que están en el auto los valores más altos. También hay un ajuste que dará prioridad a los ocupantes en el automóvil en caso de que el algoritmo resulte en empate. ¿Suena bien?” Bob explicó.
“Sí, eso suena bastante bien. ¿Un techo corredizo viene de serie?” Preguntó Hillary. Toda esta plática de seguridad se estaba volviendo tediosa, y de pronto recordó lo mucho que disfrutaba del techo solar de su viejo auto.
Para revisión y discusión
1. ¿Cuál es tu opinión sobre el problema del carrito “clásico”? ¿Cambiarías de pista (para matar a una persona) o dejarías que matara a las cinco personas? ¿Crees que hay diferencia entre “hacer” y “permitir” en este escenario?
2. ¿Qué ajustes morales usarías en tu auto autónomo y por qué?
3. ¿Quién sería el responsable de un accidente fatal en caso de que un auto autónomo lesione a alguien porque tomó una decisión basada en un algoritmo moral? ¿El chofer? ¿La compañía de autos? ¿Nadie? ¿Por qué?