Les Engagements
Sur la base de 10 engagements, l’Accord établit une orientation commune pour la réforme de l’évaluation de la recherche, tout en respectant l’autonomie des organismes.
Les Engagements
- des contributions précieuses que les chercheurs apportent à la science et au bénéfice de la société, y compris les diverses productions au-delà des publications dans des revues et quelle que soit la langue dans laquelle elles sont communiquées ;
- des pratiques qui contribuent à la solidité, à l’ouverture d’esprit, à la transparence et à l’inclusivité de la recherche et du processus de recherche, notamment l’évaluation par les pairs, le travail d’équipe et la collaboration ;
- des activités telles que l’enseignement, le leadership, la supervision, la formation et le mentorat.
- s’appuyer exclusivement sur des indicateurs basés sur les auteurs (par exemple, compter les articles, les brevets, les citations, les subventions, etc.) pour évaluer la qualité et/ou l’impact ;
- évaluer les résultats sur la base d’indicateurs relatifs au lieu de publication, au format ou à la langue ;
- s’appuyer sur d’autres indicateurs qui ne reflètent pas correctement la qualité et/ou l’impact.
- mettre en œuvre des changements dans l’évaluation de la recherche, y compris la planification et le suivi des progrès ;
- susciter une prise de conscience de tous les acteurs ;
- éduquer, former et soutenir les chercheurs et tout autre personnel impliqué dans l’évaluation, y compris les examinateurs et les pairs qui évaluent ; et
- soutenir l’infrastructure nécessaire, telle que les outils et les services, pour la collecte et le traitement transparents des données sur les pratiques d’évaluation de la recherche.
Objet : Cet engagement permettra de mieux reconnaître la diversité des pratiques, des activités et des carrières dans le domaine de la recherche, en tenant compte de la nature spécifique des disciplines de recherche et des autres activités de recherche.
Portée : Les changements dans les pratiques d’évaluation doivent permettre de reconnaître la grande diversité :
Il est également important que l’évaluation facilite la reconnaissance et la valorisation des divers rôles et carrières dans la recherche, y compris : les rôles de gestionnaire de données, d’ingénieur logiciel et de scientifique des données, les rôles techniques, la sensibilisation du public, la diplomatie scientifique, les conseils scientifiques et les rôles de communicateur scientifique, pour n’en citer que quelques-uns. Il est reconnu que la pratique actuelle est souvent trop étroite et restrictive, et l’objectif ne peut donc pas être de remplacer les critères étroits que nous souhaitons abandonner par des critères différents mais tout aussi étroits. L’objectif est plutôt de permettre aux organismes d’élargir le spectre de ce qu’ils valorisent dans la recherche, tout en reconnaissant que cela peut varier d’une discipline à l’autre et qu’il ne faut pas attendre de chaque chercheur qu’il contribue à toutes les activités à la fois.
Objet : Cet engagement permettra d’évoluer vers des critères d’évaluation de la recherche principalement axés sur la qualité, tout en reconnaissant que l’utilisation responsable d’indicateurs quantitatifs peut soutenir l’évaluation lorsqu’elle est significative et pertinente, ce qui dépend du contexte.
Portée : L’évaluation de la recherche doit principalement se baser sur l’évaluation qualitative, pour laquelle l’examen par les pairs est essentiel, et sur l’utilisation responsable d’indicateurs quantitatifs. L’évaluation par les pairs est la méthode la plus solide connue pour évaluer la qualité et présente l’avantage d’être entre les mains de la communauté des chercheurs. Il est important que les processus d’évaluation par les pairs soient conçus pour répondre aux principes fondamentaux de rigueur et de transparence : évaluation par des experts, transparence, impartialité, pertinence, confidentialité, intégrité et considérations éthiques, égalité des sexes et diversité. Pour remédier aux préjugés et aux imperfections auxquels toute méthode est sujette, la communauté des chercheurs réévalue et améliore régulièrement les pratiques d’évaluation par les pairs. Des critères, outils et processus révisés, voire nouveaux, permettant d’évaluer la qualité pourraient être étudiés parallèlement à l’examen par les pairs. L’évolution vers des pratiques d’évaluation reposant davantage sur des méthodes qualitatives pourrait nécessiter des efforts supplémentaires de la part des chercheurs. Les chercheurs doivent être reconnus pour ces efforts et leur contribution à l’évaluation des travaux de leurs pairs doit être valorisée dans le cadre de l’évolution de leur carrière.
Objet : Cet engagement réduira la prédominance d’un ensemble restreint d’indicateurs quantitatifs basés sur les revues et les publications.
Portée : L’utilisation inappropriée d’indicateurs basés sur les revues et les publications dans l’évaluation de la recherche doit être abandonnée. En particulier, cela signifie qu’il ne faut plus utiliser des indicateurs tels que le facteur d’impact des journaux (JIF), le score d’influence des articles (AIS) et le h-index comme indicateurs de la qualité et de l’impact. Les ‘utilisations inappropriées’ incluent les faits suivants :
Objet : Cet engagement permettra d’éviter que les indicateurs utilisés par les classements internationaux, qui ne sont pas adaptés à l’évaluation des chercheurs, ne se répercutent sur la recherche et l’évaluation des chercheurs. Il aidera la communauté et les organismes de recherche à retrouver l’autonomie nécessaire pour façonner les pratiques d’évaluation, plutôt que de devoir se conformer à des critères et à des méthodologies définis par des sociétés commerciales externes. Ceci pourrait inclure le fait de conserver le contrôle des méthodes et des données de classement.
Portée : Avec la reconnaissance du fait que les classements internationaux auxquels se réfèrent le plus souvent les organismes de recherche ne sont actuellement pas ‘justes et responsables’, les critères utilisés par ces classements ne doivent pas se répercuter sur l’évaluation des chercheurs individuels, des équipes de recherche et des unités de recherche. Les organismes de recherche doivent également prêter attention au fait que la communication publique (par exemple, la publicité active du classement d’une institution) peut contribuer à donner l’impression que la qualité de la recherche est liée au classement.
Lorsque les démarches de classement sont jugées inévitables, comme cela peut être le cas dans des formes d’évaluation dépassant le champ d’application du présent Accord, telles que l’analyse comparative et l’examen des performances des pays ou des institutions, les limites méthodologiques de ces démarches doivent être reconnues et les institutions doivent éviter les effets de répercussion sur la recherche et l’évaluation des chercheurs.
Objet : Cet engagement garantira que les organismes allouent les ressources nécessaires, que ce soit sous forme de budget ou de personnel, pour améliorer les pratiques d’évaluation de la recherche dans les délais convenus.
Portée : L’allocation de ressources par les autorités d’évaluation et les organismes de financement et d’exécution de la recherche est une condition nécessaire pour réformer les pratiques d’évaluation. Il convient d’allouer les ressources nécessaires à chaque organisme pour réaliser les changements qui permettront d’adhérer aux Principes et de mettre en œuvre les Engagements. Ceci inclut des ressources destinées à :
Une attention particulière doit être accordée à la mise à disposition de ressources permettant l’engagement des chercheurs à tous les stades de leur carrière dans la réforme de l’évaluation de la recherche.
6.1 CRITÈRES POUR LES UNITÉS ET LES INSTITUTIONS
Avec la participation directe des organismes de recherche et des chercheurs à tous les stades de leur carrière, revoir et développer les critères d’évaluation des unités de recherche et des organismes de recherche, tout en promouvant l’interopérabilité.
Objet : Cet engagement garantira que les autorités nationales, régionales et organisationnelles et les agences d’évaluation examinent et, le cas échéant, élaborent des critères pour l’évaluation des unités et des organismes de recherche, conformément aux Principes. Il favorisera l’utilisation responsable des indicateurs dans l’évaluation des unités et des organismes de recherche et contribuera à prévenir les contradictions ou les incompatibilités entre l’évaluation de la recherche, des chercheurs et des organismes de recherche. Il garantira également l’interopérabilité des processus d’évaluation adaptés ou nouvellement développés.
Portée : Les critères d’évaluation des unités et organismes de recherche, y compris les universités, les centres de recherche et les infrastructures de recherche, doivent être revus et adaptés, et de nouveaux critères doivent être élaborés, le cas échéant, sur la base de données probantes. Cela doit se faire en étroite collaboration avec les évaluateurs et les personnes qui seront évaluées, y compris les organismes de recherche et les chercheurs. Les changements doivent améliorer la capacité à évaluer la qualité en permettant la reconnaissance de toutes les contributions à la recherche de qualité par les unités de recherche et les institutions. Cette reconnaissance comprend le partage rapide des données et des résultats, la collaboration ouverte, le travail d’équipe et la prise en compte des contributions à l’écosystème de la recherche, à la production de connaissances et à l’impact scientifique, technologique, économique, culturel et sociétal. Les autorités nationales, régionales et organisationnelles et les agences d’évaluation doivent se coordonner pour garantir l’interopérabilité de leurs méthodologies et de leurs processus, tout en respectant l’adaptation nécessaire à chaque contexte.
6.2 CRITÈRES POUR LES PROJETS ET LES CHERCHEURS
Avec la participation directe des chercheurs à tous les stades de leur carrière, examiner et élaborer des critères, des outils et des processus d’évaluation des projets de recherche, des équipes de recherche et des chercheurs qui soient adaptés à leur contexte d’application.
Objet : Cet engagement permettra la reconnaissance des diverses activités et pratiques de recherche via la révision et le développement de critères, d’outils et de processus d’évaluation. Il garantira le fait que les organismes revoient leurs processus et apportent des changements concrets en développant des démarches d’évaluation existantes ou nouvelles, individuellement ou en collaboration avec d’autres, conformément aux Principes.
Les critères, les outils et les processus doivent être revus et élaborés en collaboration avec des chercheurs de différentes disciplines et à différents stades de leur carrière. Ils doivent permettre de reconnaître la diversité des activités et des pratiques de recherche qui contribuent à la qualité de la recherche, y compris la diversité des résultats dans différentes langues. Ceci devrait améliorer la capacité à évaluer la qualité en permettant la reconnaissance de toutes les contributions à la recherche de qualité des projets de recherche, des chercheurs et des équipes de recherche. Ceci inclut la reconnaissance du partage rapide des données et des résultats, la collaboration ouverte et le travail d’équipe. Les pratiques réformées d’évaluation des chercheurs individuels doivent tenir compte du potentiel futur en plus des antécédents et doivent prendre en considération le contexte et la carrière des chercheurs. Elles doivent également reconnaître que les chercheurs ne peuvent pas exceller dans tous les types de tâches et prévoir un cadre permettant aux chercheurs de contribuer à la définition de leurs objectifs et aspirations en matière de recherche. L’évaluation de la recherche par les bailleurs de fonds de la recherche doit prendre en compte la recherche disciplinaire, multidisciplinaire, interdisciplinaire et transdisciplinaire, ainsi que les contributions à la génération de connaissances et l’impact scientifique, technologique, économique, culturel et sociétal.
Objet : Cet engagement permettra aux organismes de sensibiliser tous les acteurs à la réforme. Il garantira le fait que les organismes communiquent de manière transparente les critères, outils et processus utilisés pour l’évaluation de la recherche et forment les chercheurs et les évaluateurs à leur utilisation.
Portée : Sans une large sensibilisation à la réforme et sans formation des personnes qui ont été évaluées et, surtout, des évaluateurs, les progrès seront lents, voire impossibles. Les organismes doivent être clairs et transparents sur les processus d’évaluation et les outils et critères qu’ils utilisent. Ils doivent mettre à disposition des orientations sur leurs démarches d’évaluation et former les personnes impliquées dans le processus d’évaluation. Ils doivent permettre aux personnes évaluées d’avoir accès aux critères, aux données et aux résultats des examens ou des délibérations utilisés pour leur évaluation, dans les limites de la confidentialité. Une attention particulière doit être accordée à la sensibilisation des chercheurs, à tous les stades de leur carrière.
Objet : Cet engagement garantira que les organismes échangent et utilisent des informations en vue d’un apprentissage mutuel. Il permettra d’éviter la fragmentation, de contribuer à la cohérence des pratiques d’évaluation entre les organismes et de favoriser la mobilité des chercheurs. De plus, il permettra à ceux qui sont plus avancés de partager les démarches et les leçons apprises, afin d’en faire profiter ceux qui ont encore du chemin à parcourir dans leur parcours de réforme.
Portée : Tout en respectant l’autonomie de chacun, les organismes doivent partager leurs pratiques et leurs expériences afin de faciliter l’apprentissage mutuel. Cet échange doit inclure une contribution à l’élaboration d’orientations et de démarches communes afin de minimiser les contradictions ou les incompatibilités entre les pratiques d’évaluation utilisées par les différents organismes. Il doit également prévoir le partage des enseignements tirés afin d’assurer des améliorations mutuelles continues.
Objet : Cet Engagement permettra aux organismes de s’informer mutuellement des progrès réalisés. Il favorisera une auto-réflexion et un suivi attentifs de leur propre adhésion aux Principes et des progrès accomplis dans la réalisation des Engagements.
Portée : La démonstration des progrès réalisés dans la mise en œuvre des Engagements et l’adhésion aux Principes constitue un élément important de cette initiative. Les organismes doivent s’engager à se tenir régulièrement informés, ainsi que leurs communautés, de leur adhésion et de leurs progrès. Ce processus implique d’être ouvert à l’examen de leurs propres communautés, de partager les succès et les défis, et de communiquer leurs expériences pour faciliter le progrès collectif.
Objet : Cet engagement garantira que les décisions relatives à la démarche de l’évaluation sont fondées sur des données probantes. Il aidera les organismes à réfléchir à leurs propres processus, à comprendre si les pratiques d’évaluation atteignent les objectifs souhaités et à s’engager dans une évaluation évolutive basée sur de nouvelles données probantes au fur et à mesure qu’elles sont disponibles. Il contribuera également à garantir le contrôle et la propriété des données d’évaluation de la recherche par la communauté des chercheurs.
Portée : De plus en plus de données probantes confirment que les processus d’évaluation actuels qui se basent sur des indicateurs basés sur les publications et les revues sont sujets à de multiples préjugés. Alors que des démarches utilisant une évaluation plus qualitative de la recherche sont pilotées par plusieurs organismes (par exemple, des CV narratifs et fondés sur des données probantes, de nouveaux cadres et indicateurs d’évaluation), il est important d’évaluer et de suivre leur impact sur la base de données probantes et de méthodes rigoureuses. Dans cet objectif, les organismes doivent contribuer à l’apport de données probantes sur la base de l’évaluation de la recherche. Par exemple, cela pourrait se faire en mettant à disposition des données qui peuvent être utilisées pour la recherche sur la recherche, en participant à la recherche sur la recherche, ou en finançant la recherche sur la recherche. Le partage des données doit être l’engagement minimum et les données doivent être partagées par le biais d’une infrastructure ouverte, tout en respectant la protection des données à caractère personnel.