Comment mesurer la performance d’un test diagnostique: présentation et comparaison d’indicateurs

Comment mesurer la performance d’un test diagnostique: présentation et comparaison d’indicateurs. Degoul, S. Ph.D. Thesis, Université du droit et de la santé, Lille ; 1969-2017, France, 2016.
abstract bibtex

Contexte. Ce travail vise à comparer le comportement statistique d’indicateurs synthétiques de performance d’un test diagnostique binaire pour aider le chercheur dans le choix de l’indicateur le mieux adapté pour son étude. Méthode. Les indicateurs étudiés sont l’aire sous la courbe ROC, le coefficient kappa de Cohen et la proportion de sa valeur maximale, la F-mesure, la concordance observée et le coefficient phi. Au moyen de simulations informatiques basées sur plusieurs valeurs de sensibilité et spécificité du test et de taux de prévalence de l’état à diagnostiquer, les valeurs moyennes et les intervalles de fluctuation de ces indicateurs ont été comparés graphiquement. Différentes situations particulières mais rencontrées en pratique ont été évaluées. Résultats. Les coefficients kappa et phi se montrent symétriques par rapport aux variations de taux de prévalence, avec une valeur maximale quand les échantillons sont équilibrés. Au contraire, la F-mesure semble anormalement optimiste quand le taux de prévalence est élevé. Elle est de plus le seul des indicateurs étudiés sensible à l’inversion des états « pathologique » et « sain ». La concordance observée surestime systématiquement la performance du test. Il en est de même pour la proportion du kappa maximal, sauf lorsque le taux de prévalence est faible. Enfin, l’aire sous la courbe montre de larges fluctuations de l’intervalle de variation pour des taux de prévalence extrêmes, à l’opposé des autres indicateurs. Conclusion. Les coefficients kappa et phi semblent être les indicateurs les plus à même de refléter, dans les situations étudiées, la performance d’un test diagnostique en terme d’utilisabilité par les cliniciens. Néanmoins, la valeur d’un indicateur seule ne saurait contenir toute l’information sur cette performance.

@phdthesis{degoul_comment_2016,
address = {Lille ; 1969-2017, France},
type = {Thèse d'exercice},
title = {Comment mesurer la performance d’un test diagnostique: présentation et comparaison d’indicateurs},
shorttitle = {Comment mesurer la performance d’un test diagnostique},
abstract = {Contexte. Ce travail vise à comparer le comportement statistique d’indicateurs synthétiques de performance d’un test diagnostique binaire pour aider le chercheur dans le choix de l’indicateur le mieux adapté pour son étude. Méthode. Les indicateurs étudiés sont l’aire sous la courbe ROC, le coefficient kappa de Cohen et la proportion de sa valeur maximale, la F-mesure, la concordance observée et le coefficient phi. Au moyen de simulations informatiques basées sur plusieurs valeurs de sensibilité et spécificité du test et de taux de prévalence de l’état à diagnostiquer, les valeurs moyennes et les intervalles de fluctuation de ces indicateurs ont été comparés graphiquement. Différentes situations particulières mais rencontrées en pratique ont été évaluées. Résultats. Les coefficients kappa et phi se montrent symétriques par rapport aux variations de taux de prévalence, avec une valeur maximale quand les échantillons sont équilibrés. Au contraire, la F-mesure semble anormalement optimiste quand le taux de prévalence est élevé. Elle est de plus le seul des indicateurs étudiés sensible à l’inversion des états « pathologique » et « sain ». La concordance observée surestime systématiquement la performance du test. Il en est de même pour la proportion du kappa maximal, sauf lorsque le taux de prévalence est faible. Enfin, l’aire sous la courbe montre de larges fluctuations de l’intervalle de variation pour des taux de prévalence extrêmes, à l’opposé des autres indicateurs. Conclusion. Les coefficients kappa et phi semblent être les indicateurs les plus à même de refléter, dans les situations étudiées, la performance d’un test diagnostique en terme d’utilisabilité par les cliniciens. Néanmoins, la valeur d’un indicateur seule ne saurait contenir toute l’information sur cette performance.},
language = {français},
school = {Université du droit et de la santé},
author = {Degoul, Samuel},
collaborator = {Chazard, Emmanuel},
year = {2016},
keywords = {Aire sous la courbe -- Dissertation universitaire, Diagnostic -- Dissertation universitaire, Diagnostic -- Thèses et écrits académiques, F-mesure, Informatique médicale -- Dissertation universitaire, Médecine -- Informatique -- Thèses et écrits académiques, Statistique médicale -- Thèses et écrits académiques, Statistiques -- Dissertation universitaire, Test diagnostique, aire sous la courbe, coefficient phi, indicateur de performance, kappa de Cohen},
}

Downloads: 0

{"_id":"9rYZLho62fuR2ECtd","bibbaseid":"degoul-commentmesurerlaperformanceduntestdiagnostiqueprsentationetcomparaisondindicateurs-2016","downloads":0,"creationDate":"2016-09-17T21:13:17.828Z","title":"Comment mesurer la performance d’un test diagnostique: présentation et comparaison d’indicateurs","author_short":["Degoul, S."],"year":2016,"bibtype":"phdthesis","biburl":"https://api.zotero.org/users/1597782/collections/223RCVGS/items?key=gxIPM4PJtMVcB8OpssCWodtP&format=bibtex&limit=1000&sort=date","bibdata":{"bibtype":"phdthesis","type":"Thèse d'exercice","address":"Lille ; 1969-2017, France","title":"Comment mesurer la performance d’un test diagnostique: présentation et comparaison d’indicateurs","shorttitle":"Comment mesurer la performance d’un test diagnostique","abstract":"Contexte. Ce travail vise à comparer le comportement statistique d’indicateurs synthétiques de performance d’un test diagnostique binaire pour aider le chercheur dans le choix de l’indicateur le mieux adapté pour son étude. Méthode. Les indicateurs étudiés sont l’aire sous la courbe ROC, le coefficient kappa de Cohen et la proportion de sa valeur maximale, la F-mesure, la concordance observée et le coefficient phi. Au moyen de simulations informatiques basées sur plusieurs valeurs de sensibilité et spécificité du test et de taux de prévalence de l’état à diagnostiquer, les valeurs moyennes et les intervalles de fluctuation de ces indicateurs ont été comparés graphiquement. Différentes situations particulières mais rencontrées en pratique ont été évaluées. Résultats. Les coefficients kappa et phi se montrent symétriques par rapport aux variations de taux de prévalence, avec une valeur maximale quand les échantillons sont équilibrés. Au contraire, la F-mesure semble anormalement optimiste quand le taux de prévalence est élevé. Elle est de plus le seul des indicateurs étudiés sensible à l’inversion des états « pathologique » et « sain ». La concordance observée surestime systématiquement la performance du test. Il en est de même pour la proportion du kappa maximal, sauf lorsque le taux de prévalence est faible. Enfin, l’aire sous la courbe montre de larges fluctuations de l’intervalle de variation pour des taux de prévalence extrêmes, à l’opposé des autres indicateurs. Conclusion. Les coefficients kappa et phi semblent être les indicateurs les plus à même de refléter, dans les situations étudiées, la performance d’un test diagnostique en terme d’utilisabilité par les cliniciens. Néanmoins, la valeur d’un indicateur seule ne saurait contenir toute l’information sur cette performance.","language":"français","school":"Université du droit et de la santé","author":[{"propositions":[],"lastnames":["Degoul"],"firstnames":["Samuel"],"suffixes":[]}],"collaborator":"Chazard, Emmanuel","year":"2016","keywords":"Aire sous la courbe – Dissertation universitaire, Diagnostic – Dissertation universitaire, Diagnostic – Thèses et écrits académiques, F-mesure, Informatique médicale – Dissertation universitaire, Médecine – Informatique – Thèses et écrits académiques, Statistique médicale – Thèses et écrits académiques, Statistiques – Dissertation universitaire, Test diagnostique, aire sous la courbe, coefficient phi, indicateur de performance, kappa de Cohen","bibtex":"@phdthesis{degoul_comment_2016,\n\taddress = {Lille ; 1969-2017, France},\n\ttype = {Thèse d'exercice},\n\ttitle = {Comment mesurer la performance d’un test diagnostique: présentation et comparaison d’indicateurs},\n\tshorttitle = {Comment mesurer la performance d’un test diagnostique},\n\tabstract = {Contexte. Ce travail vise à comparer le comportement statistique d’indicateurs synthétiques de performance d’un test diagnostique binaire pour aider le chercheur dans le choix de l’indicateur le mieux adapté pour son étude. Méthode. Les indicateurs étudiés sont l’aire sous la courbe ROC, le coefficient kappa de Cohen et la proportion de sa valeur maximale, la F-mesure, la concordance observée et le coefficient phi. Au moyen de simulations informatiques basées sur plusieurs valeurs de sensibilité et spécificité du test et de taux de prévalence de l’état à diagnostiquer, les valeurs moyennes et les intervalles de fluctuation de ces indicateurs ont été comparés graphiquement. Différentes situations particulières mais rencontrées en pratique ont été évaluées. Résultats. Les coefficients kappa et phi se montrent symétriques par rapport aux variations de taux de prévalence, avec une valeur maximale quand les échantillons sont équilibrés. Au contraire, la F-mesure semble anormalement optimiste quand le taux de prévalence est élevé. Elle est de plus le seul des indicateurs étudiés sensible à l’inversion des états « pathologique » et « sain ». La concordance observée surestime systématiquement la performance du test. Il en est de même pour la proportion du kappa maximal, sauf lorsque le taux de prévalence est faible. Enfin, l’aire sous la courbe montre de larges fluctuations de l’intervalle de variation pour des taux de prévalence extrêmes, à l’opposé des autres indicateurs. Conclusion. Les coefficients kappa et phi semblent être les indicateurs les plus à même de refléter, dans les situations étudiées, la performance d’un test diagnostique en terme d’utilisabilité par les cliniciens. Néanmoins, la valeur d’un indicateur seule ne saurait contenir toute l’information sur cette performance.},\n\tlanguage = {français},\n\tschool = {Université du droit et de la santé},\n\tauthor = {Degoul, Samuel},\n\tcollaborator = {Chazard, Emmanuel},\n\tyear = {2016},\n\tkeywords = {Aire sous la courbe -- Dissertation universitaire, Diagnostic -- Dissertation universitaire, Diagnostic -- Thèses et écrits académiques, F-mesure, Informatique médicale -- Dissertation universitaire, Médecine -- Informatique -- Thèses et écrits académiques, Statistique médicale -- Thèses et écrits académiques, Statistiques -- Dissertation universitaire, Test diagnostique, aire sous la courbe, coefficient phi, indicateur de performance, kappa de Cohen},\n}\n","author_short":["Degoul, S."],"key":"degoul_comment_2016","id":"degoul_comment_2016","bibbaseid":"degoul-commentmesurerlaperformanceduntestdiagnostiqueprsentationetcomparaisondindicateurs-2016","role":"author","urls":{},"keyword":["Aire sous la courbe – Dissertation universitaire","Diagnostic – Dissertation universitaire","Diagnostic – Thèses et écrits académiques","F-mesure","Informatique médicale – Dissertation universitaire","Médecine – Informatique – Thèses et écrits académiques","Statistique médicale – Thèses et écrits académiques","Statistiques – Dissertation universitaire","Test diagnostique","aire sous la courbe","coefficient phi","indicateur de performance","kappa de Cohen"],"metadata":{"authorlinks":{}},"downloads":0},"search_terms":["comment","mesurer","performance","test","diagnostique","sentation","comparaison","indicateurs","degoul"],"keywords":["aire sous la courbe – dissertation universitaire","diagnostic – dissertation universitaire","diagnostic – thèses et écrits académiques","f-mesure","informatique médicale – dissertation universitaire","médecine – informatique – thèses et écrits académiques","statistique médicale – thèses et écrits académiques","statistiques – dissertation universitaire","test diagnostique","aire sous la courbe","coefficient phi","indicateur de performance","kappa de cohen"],"authorIDs":[],"dataSources":["XoYwcbxuppMEAuC8b","7BjWiasc5PX5QeAjg"]}