10.5: Evaluar interacciones

Gestionar la calidad de una interacción con respecto a su intención u objetivo es una parte crucial de cada paso desde el diseño hasta la implementación y especialmente durante la operación. Evaluar la calidad de las interacciones en diferentes momentos del proceso de diseño (concepto de diseño, prototipo, implementación y operación) revela fortalezas y debilidades a los diseñadores u operadores del sistema organizador.

Durante las etapas de diseño e implementación, las interacciones deben probarse frente a los objetivos originales de la interacción y las limitaciones que impone el sistema organizador, sus recursos y condiciones externas. Es muy común que los procesos en las interacciones sean ajustados o sintonizados para cumplir mejor con los objetivos e intenciones originales para la interacción. La evaluación durante estas etapas a menudo intenta proporcionar una forma calculable de medir este cumplimiento y respalda el proceso de ajuste fino. Debe ser una parte integral de un proceso de diseño iterativo.

Durante las etapas posteriores de implementación y operación, se evalúan las interacciones con respecto a las condiciones dinámicamente cambiantes del sistema organizador y su entorno. Las expectativas de los usuarios, así como las condiciones o restricciones ambientales pueden cambiar y deben verificarse periódicamente. Una evaluación sistemática de las interacciones asegura que los cambios que afectan a una interacción se observen tempranamente y puedan integrarse para ajustar e incluso mejorar la interacción. En estas etapas, aspectos de evaluación más subjetivos como la satisfacción, la experiencia, la reputación o el “sentir” también juegan un papel en el ajuste fino de las interacciones. Esta parte subjetiva del proceso de evaluación es tan importante como la parte cuantitativa y objetiva. Muchos factores durante los procesos de diseño e implementación necesitan ser considerados y hechos para trabajar juntos. La evaluación continua de la calidad y la retroalimentación garantizan que las interacciones funcionen según lo previsto.

Los aspectos de evaluación pueden distinguirse de numerosas maneras: por el esfuerzo y el tiempo para realizarlos (tanto la recolección como el análisis de datos); por cuán cuantificables son o cuán comparables son con medidas en otros sistemas de organización; por qué componente del sistema de interacción u organización se enfocan; o por la disciplina, pericia o metodologías que se utilizan para la evaluación.

Una distinción común e importante es la diferencia entre eficiencia, efectividad y satisfacción. Una interacción es eficiente cuando realiza sus acciones de manera oportuna y económica, efectiva cuando realiza sus acciones correcta y completamente, satisfactoria cuando realiza como se espera. La satisfacción es el menos cuantificable de los aspectos de evaluación porque es altamente dependiente de los gustos y experiencias individuales.

Supongamos que Shopstyle.com desarrolla una nueva interacción que le permite comparar longitudes de abrigo de las ofertas de sus diversos minoristas. Una vez diseñada la interacción, se realiza una evaluación para determinar si todas las capas y sus longitudes están integradas en la interacción y si las longitudes de capa se miden y comparan correctamente. Los diseñadores no sólo querrían saber si las longitudes de pelaje están representadas correctamente sino también si la interacción funciona de manera eficiente. Cuando la interacción esté lista para ser lanzada (generalmente primero en estado beta o prueba), se preguntará a los usuarios y minoristas si la interacción mejora su experiencia de compra, si la comparación funciona como esperaban y qué cambiarían. Estos estilos de evaluación trabajan de la mano para mejorar la interacción.

Eficiencia

Al evaluar la eficiencia de un sistema de organización, nos enfocamos en el tiempo, energía y recursos económicos necesarios para lograr los objetivos de interacción del sistema. Comúnmente, cuantos menos recursos se necesiten para lograr una interacción exitosa, más eficiente será la interacción.

Las medidas de eficiencia suelen estar relacionadas con aspectos de ingeniería como el tiempo para realizar una acción, el número de pasos para realizar una interacción o la cantidad de recursos informáticos utilizados. La eficiencia con respecto a los costos humanos de la carga de memoria, la atención y el procesamiento cognitivo también es importante si se quiere que haya una experiencia de usuario fluida donde los usuarios puedan interactuar con el sistema de manera oportuna.

Para muchas interacciones organizativas del sistema, sin embargo, la efectividad es el aspecto más importante, particularmente para aquellas interacciones que hemos mirado hasta ahora. Si los resultados de búsqueda no son correctos, entonces los usuarios no quedarán satisfechos ni siquiera por la interfaz más utilizable. Muchas interacciones son evaluadas con respecto a su capacidad para devolver recursos relevantes. Por qué y cómo se evalúa esto es el foco del resto de esta sección.

Efectividad

La efectividad evalúa el resultado correcto o los resultados de una interacción. Una interacción efectiva logra resultados relevantes, previstos o esperados. El concepto de relevancia y su relación con la efectividad es fundamental en la recuperación de información y las interacciones de aprendizaje automático. (“Relevancia”) Las medidas de efectividad a menudo se desarrollan en los campos que desarrollaron el algoritmo para la interacción, recuperación de información o aprendizaje automático. La precisión y el recuerdo son las medidas fundamentales de relevancia o efectividad en la recuperación de información o las interacciones de aprendizaje automático. (“The Recall/Precision Tradeoff”)

Relevancia

La relevancia es ampliamente considerada como el concepto fundamental de recuperación de información y, por extensión, toda la ciencia de la información. A pesar de ser uno de los conceptos más intuitivos de la comunicación humana, la relevancia es notoriamente difícil de definir y ha sido objeto de mucho debate a lo largo del siglo pasado.

Históricamente, la relevancia se ha abordado en la lógica y la filosofía desde que se codificó la noción de inferencia (para inferir B de A, A debe ser relevante para B). Otros campos también han intentado tratar de relevancia: sociología, lingüística y psicología en particular. La visión del conocimiento del sujeto, la visión de la literatura temática, la visión lógica, la visión del sistema, la visión del destino, la visión de pertinencia, la visión pragmática y la interpretación teórica de utilidad son diferentes perspectivas sobre la cuestión de cuándo algo es relevante. ^[1]

En 1997, Mizzaro encuestó 160 artículos de investigación sobre el tema de relevancia y llegó a esta definición: “la relevancia puede verse como un punto en un espacio de cuatro dimensiones, siendo los valores de cada una de las cuatro dimensiones: (i) Subrogada, documento, información; ( ii) consulta, solicitud, necesidad de información, problema; (iii) tema, contexto y cada combinación de ellos; y (iv) los diversos instantes de tiempo desde el surgimiento del problema hasta su solución. ” ^[2]

Esta definición bastante abstracta apunta a la ambigüedad terminológica que rodea el concepto.

Para el propósito de organizar sistemas, la relevancia es un concepto para evaluar la efectividad que describe si una necesidad de información declarada o implícita se satisface en un contexto de usuario particular y en un momento determinado. Uno de los desafíos para la evaluación de la relevancia en los sistemas de organización es la brecha entre la necesidad de información de un usuario (a menudo no expresada directamente), y una expresión de esa necesidad de información (una consulta). Esta brecha podría resultar en resultados ambiguos en la interacción. Por ejemplo, supongamos que alguien habla la palabra “París” (consulta) en una aplicación de teléfono inteligente buscando consejos sobre cómo viajar a París, Francia. La respuesta incluye ofertas para el Hotel Paris en Las Vegas. ¿El resultado satisface la necesidad de información? ¿Y si el buscador recibe asesoramiento sobre París pero ya ha visto cada uno de los recursos que ofrece el sistema organizador? ¿Cuál es la decisión correcta sobre relevancia aquí?

La clave para calcular la efectividad es estar al tanto de lo que se está midiendo. Si se mide la necesidad de información expresada en la consulta, se analiza la relevancia de la actualidad o actualidad, una perspectiva del lado del sistema. Si se mide la necesidad de información como en la mente de una persona, se analiza la pertinencia, utilidad o relevancia situacional, una perspectiva subjetiva y personal. Esta yuxtaposición es el punto de mucha investigación y contención en el campo de la recuperación de información, porque la relevancia tópica es objetivamente medible, pero la relevancia subjetiva es el objetivo real. Para evaluar la relevancia en cualquier interacción, un requisito previo esencial es decidir cuál de estas nociones de relevancia considerar.

El retiro del mercado/compensación de precisión

La precisión mide la precisión de un conjunto de resultados, es decir, cuántos de los recursos recuperados para una consulta son relevantes. Recordar mide la integridad del conjunto de resultados, es decir, cuántos de los recursos relevantes de una colección fueron recuperados. Supongamos que una colección contiene 20 recursos relevantes para una consulta. Una interacción de recuperación recupera 10 recursos en un conjunto de resultados, 5 de los recursos recuperados son relevantes. La precisión de esta interacción es del 50% (5 de cada 10 recursos recuperados son relevantes); la recuperación es del 25% (se recuperaron 5 de 20 recursos relevantes). ^[3]

Es en la naturaleza de las interacciones de recuperación de información que el recuerdo y la precisión se intercambian entre sí. Para encontrar todos los recursos relevantes en una colección, la interacción tiene que lanzar una amplia red y no será muy precisa. Para ser muy precisos y devolver solo recursos relevantes al buscador, una interacción tiene que ser muy discriminatoria y probablemente no encontrará todos los recursos relevantes. Cuando una colección es muy grande y contiene muchos recursos relevantes para cualquier consulta dada, la prioridad suele ser aumentar la precisión. Sin embargo, cuando una colección es pequeña o la necesidad de información también requiere encontrar todos los documentos relevantes (por ejemplo, en jurisprudencia, búsquedas de patentes o soporte de diagnóstico médico), entonces la prioridad se pone en aumentar el recuerdo.

La integridad y granularidad de los principios organizativos en un sistema de organización tienen un gran impacto en el equilibrio entre el recuerdo y la precisión. (Ver Recursos en Sistemas Organizadores.) Cuando los recursos se organizan en sistemas de categorías de grano fino y se describen muchas propiedades de recursos diferentes, las búsquedas de alta precisión son posibles porque un recurso deseado se puede buscar con la misma precisión que la descripción u organización del sistema lo permita. Sin embargo, una descripción y organización muy especializadas pueden evitar que se encuentren ciertos recursos; en consecuencia, se podría sacrificar el recuerdo. Si la organización es superficial —como tu cajón de calcetines, por ejemplo — puedes encontrar todos los calcetines que quieras (alta recuperación) pero tienes que clasificar muchos calcetines para encontrar el par adecuado (baja precisión). El equilibrio entre el recuerdo y la precisión está estrechamente asociado con la extensión de la organización.

Satisfacción

La satisfacción evalúa la opinión, experiencia o actitud de un usuario hacia una interacción. Debido a que la satisfacción depende de las opiniones individuales de los usuarios, es difícil de cuantificar. Las medidas de satisfacción surgen de la experiencia del usuario con la interacción; en su mayoría son aspectos de las interfaces de usuario, la usabilidad o las impresiones subjetivas y estéticas.

La usabilidad mide si la interacción y la interfaz de usuario diseñada para ello se corresponden con las expectativas del usuario sobre cómo debe funcionar. Se centra particularmente en la utilidad de la interacción. La usabilidad analiza la facilidad de uso, la capacidad de aprendizaje y el esfuerzo cognitivo para medir qué tan bien los usuarios pueden usar una interacción para lograr su tarea.

Aunque la eficiencia, la efectividad y la satisfacción se miden de manera diferente y afectan diferentes componentes de la interacción, son igualmente importantes para el éxito de una interacción. Aunque una interacción sea rápida, no es muy útil si llega a resultados incorrectos. Incluso si una interacción funciona correctamente, la satisfacción del usuario no está garantizada. Uno de los desafíos en el diseño de interacciones es que estos factores implican invariablemente compensaciones. Un sistema rápido no puede ser tan preciso como uno que prioriza el uso de la información contextual. Una interacción efectiva puede requerir mucho esfuerzo por parte del usuario, lo que no hace que sea muy fácil de usar, por lo que la satisfacción del usuario podría disminuir. Las prioridades del sistema organizador y sus diseñadores determinarán qué propiedades optimizar.

Continuemos con nuestro ejemplo de interacción de comparación de longitud de capa de Shopstyle. Cuando el cálculo de la longitud del pelaje se realiza en una cantidad de tiempo aceptable y no consume gran parte de los recursos de los sistemas organizadores, la interacción es eficiente. Cuando todas las longitudes de pelaje se miden y comparan correctamente, la interacción es efectiva. Cuando la interacción se integra a la perfección en el proceso de compra, soportada visualmente en la interfaz, y no cognitivamente agotadora, es probablemente satisfactoria para un usuario, ya que brinda un servicio útil (especialmente para alguien con dimensiones corporales irregulares). ¿Qué aspecto debería priorizar Shopstyle? Probablemente pesará las consecuencias de la efectividad versus la eficiencia y la satisfacción. Para un sistema de organización orientado al comercio minorista y al consumidor, la satisfacción es probablemente uno de los aspectos más importantes, por lo que es muy probable que la eficiencia y la efectividad se sacrifiquen (con moderación) en favor de la satisfacción.

---

1. El espacio no permite una discusión significativa de estos puntos de vista aquí, ver (Saracevic 1975), y (Schambar et al. 1990).

   
   

2. (Mizzaro 1997).

   
   

3. El recuerdo y la precisión son solo la base de medidas que se han desarrollado en la recuperación de información para evaluar la efectividad de los algoritmos de búsqueda. Ver (Baeza-Yates y Ribeiro 2011), (Manning et al. 2008) Ch. 8; (Demarrini y Mizzaro 2006).