How should i explain? A comparison of different explanation types for recommender systems. Gedikli, F., Jannach, D., & Ge, M. International Journal of Human Computer Studies, 72(4):367-382, 2014.
abstract   bibtex   
Recommender systems help users locate possible items of interest more quickly by filtering and ranking them in a personalized way. Some of these systems provide the end user not only with such a personalized item list but also with an explanation which describes why a specific item is recommended and why the system supposes that the user will like it. Besides helping the user understand the output and rationale of the system, the provision of such explanations can also improve the general acceptance, perceived quality, or effectiveness of the system. In recent years, the question of how to automatically generate and present system-side explanations has attracted increased interest in research. Today some basic explanation facilities are already incorporated in e-commerce Web sites such as Amazon.com. In this work, we continue this line of recent research and address the question of how explanations can be communicated to the user in a more effective way. In particular, we present the results of a user study in which users of a recommender system were provided with different types of explanation. We experimented with 10 different explanation types and measured their effects in different dimensions. The explanation types used in the study include both known visualizations from the literature as well as two novel interfaces based on tag clouds. Our study reveals that the content-based tag cloud explanations are particularly helpful to increase the user-perceived level of transparency and to increase user satisfaction even though they demand higher cognitive effort from the user. Based on these insights and observations, we derive a set of possible guidelines for designing or selecting suitable explanations for recommender systems. © 2014 Elsevier Ltd.
@article{
 title = {How should i explain? A comparison of different explanation types for recommender systems},
 type = {article},
 year = {2014},
 identifiers = {[object Object]},
 keywords = {Collaborative filtering,Decision support,Explanations,Interface design,Recommender systems,Tag clouds,User evaluation},
 pages = {367-382},
 volume = {72},
 id = {9a565e6f-a817-34fd-99c1-8f3141af0540},
 created = {2018-02-27T12:20:42.507Z},
 file_attached = {false},
 profile_id = {2ed0fe69-06a2-3e8b-9bc9-5bdb197f1120},
 group_id = {e795dbfa-5576-3499-9c01-6574f19bf7aa},
 last_modified = {2018-12-14T12:16:32.353Z},
 read = {true},
 starred = {false},
 authored = {false},
 confirmed = {true},
 hidden = {false},
 citation_key = {Gedikli2014},
 notes = {Los sistemas de recomendación en muchas ocasiones no sólo ofrecer recomendaciones a los usuarios, sino que les dan también una explicación de por qué ese item ha sido recomendado. Dar explicaciones a los usuarios les ayuda a entender de forma racional el output del sistema, pero también mejora la aceptación, la calidad percibida o la efectividad del sistema.<br/>En este artículo se presentan los resultados obtenidos en un estudio a usuarios de un sistema recomendador que da diferentes tipos de explicaciones (10 tipos, algunos obtenidos en la literatura y otros desarrollados por los autores). Se miden sus efectos en los usuarios en diferentes dimensiones y las dependencias entre estas dimensiones. Basándose en los resultados obtenidos se definen guías de diseño de explicaciones adecuadas para sistemas de recomendación<br/><br/>Concepto de Explicación:<br/>Una explicación puede ser considerada una porción de información que es presentada en un proceso de comunicación y que puede servir para diferentes objetivos, por ejemplo para justificar una recomendación.<br/>Dimensiones de explicaciones en un sistema de recomendación:<br/>-Eficiencia (Efficiency): reducir el tiempo usado por un usuario para completar una tarea. Se evalúa midiendo el tiempo utilizado por un usuario para elegir el mejor item dado un gran conjunto de candidatos con explicaciones.<br/>-Efectividad (Effectiveness): ayudar a los usuarios a hacer mejores decisiones. Se mide preguntando a los usuarios por la calidad de las recomendaciones según su explicación y después midiendo el rate que le da a ese item.<br/>-Persuasión (Persuasiveness): cambiar el comportamiento de un usuario. Se evalúa midiendo el alcance del cambio de opinión de un usuario en base a su explicación.<br/>-Transparencia (Transparency): explicar por qué una determinada recomendación se ha hecho. Se ha medido a través de cuestionarios que se han pasado a los usuarios.<br/>-Satisfacción (Satisfaction): incrementar la usabilidad y el disfrute. Se pregunta directamente a los usuarios y se tienen en cuenta también la medida obtenida en otras dimensiones (eficacia, efectividad y transparencia).<br/>-(Scrutability): hacer el modelo de usuario del sistema más corregible.<br/>-Confianza (Trust): incrementar la confianza del usuario en el sistema.<br/><br/>Tipos de explicaciones estudiadas:<br/>Siete tipos de explicaciones fueron propuestas en [Herlocker et al., 2000], y dos son basadas en tag clouds, propuestas en [Gedikli et al., 2011] . <br/>Algunas de estas explicaciones son tablas de ratings de vecinos, número de vecinos o porcentaje de confianza en predicciones de MovieLens, etc.<br/>Tag Clouds: la base de esta explicación está en que cada item recomendable puede ser caracterizado por una serie de tags o palabras clave. Pueden ser dados por la comunidad o extraídos automáticamente de alguna fuente externa. Pueden ser:<br/>-No personalizado: el tag cloud contiene un conjunto de tags relevantes para el item recomendado.<br/>-Personalizado: en la visualización de los tags se integra información adicional si el usuario tiene un sentimiento positivo (color azul), negativo (rojo) o neutral (gris) sobre el concepto detrás del tag. En el artículo se define una forma de medir estas preferencias.<br/><br/>Experimentación:<br/>Se hizo un experimento en dos fases: el primero consistió en un análisis del comportamiento (logs) y opiniones (cuestionarios) de usuarios interactuando con un recomendador de películas que muestra diferentes tipos de explicaciones. En la segunda fase, se hicieron entrevistas con 20 usuarios para validar los datos obtenidos.<br/><br/>Procedimiento:<br/>1.Se pide al usuario puntuar al menos 15 items.<br/>2.Se generan recomendaciones a ese usuario.<br/>3.Se pregunta al usuario cómo de buenas son las recomendaciones de las películas según las explicaciones (no se proporciona el título de la película).<br/>4.Se vuelve a preguntar al usuario por las mismas recomendaciones, dándoles más detalles sobre la película en cuestión.<br/>5.Cuestionario de satisfacción y transparencia.<br/><br/>Con ello se mide la eficacia, la efectividad y la dirección de la persuasión. <br/><br/>Resultados y conclusiones:<br/>Tras análisis de datos con estadística se obtienen las siguientes guías:<br/>-Usar datos de dominio específico de los datos en las explicaciones estimula la efectividad.<br/>-Usar conceptos con los que el usuario ya está familiarizado hace que tengan que esforzarse menos cognitivamente y sean preferidos por los usuarios.<br/>-Incrementar la transparencia en las explicaciones provoca mayor satisfacción al usuario.<br/>-La eficiencia no debería ser la dimensión a optimizar. Los usuarios se toman su tiempo en tomar buenas decisiones y están dispuestos a tomarse su tiempo analizando las explicaciones. <br/><br/>Confianza: <br/>-Prerequisito: la satisfacción <br/>-Factor importante de la satisfacción: transparencia.<br/>-Eficiencia no es particularmente importante en la satisfacción},
 private_publication = {false},
 abstract = {Recommender systems help users locate possible items of interest more quickly by filtering and ranking them in a personalized way. Some of these systems provide the end user not only with such a personalized item list but also with an explanation which describes why a specific item is recommended and why the system supposes that the user will like it. Besides helping the user understand the output and rationale of the system, the provision of such explanations can also improve the general acceptance, perceived quality, or effectiveness of the system. In recent years, the question of how to automatically generate and present system-side explanations has attracted increased interest in research. Today some basic explanation facilities are already incorporated in e-commerce Web sites such as Amazon.com. In this work, we continue this line of recent research and address the question of how explanations can be communicated to the user in a more effective way. In particular, we present the results of a user study in which users of a recommender system were provided with different types of explanation. We experimented with 10 different explanation types and measured their effects in different dimensions. The explanation types used in the study include both known visualizations from the literature as well as two novel interfaces based on tag clouds. Our study reveals that the content-based tag cloud explanations are particularly helpful to increase the user-perceived level of transparency and to increase user satisfaction even though they demand higher cognitive effort from the user. Based on these insights and observations, we derive a set of possible guidelines for designing or selecting suitable explanations for recommender systems. © 2014 Elsevier Ltd.},
 bibtype = {article},
 author = {Gedikli, Fatih and Jannach, Dietmar and Ge, Mouzhi},
 journal = {International Journal of Human Computer Studies},
 number = {4}
}

Downloads: 0