La place de la subjectivité dans l’évaluation
Marc Maudinet Directeur du CTNERHI
La loi de janvier 2002 invite l’ensemble des acteurs du secteur social et médico-social à ne plus faire n’importe quoi en matière d’évaluation, qu’il soit question de l’évaluation du projet individuel, d’activité d’établissement ou de prestation de service…ou toutes autres formes d’évaluation auxquelles convie ce texte. A cette invitation1 succède une interrogation : comment ne pas faire n’importe quoi et atteindre par une évaluation la plus objective possible les critères de qualité d’une action, d’une activité, d’une prestation de service, d’un suivi administratif, etc. attendue par l’ensemble des partenaires concourant à un titre ou à un autre à l’action2 (usager, professionnel, commanditaire…) ? Il faut bien convenir face à ce type d’interrogation que l’objectivité tant recherchée, apparaît rapidement comme l’une de ces utopies irréalistes qui emplissent les espaces de représentation individuels, constitutifs de l’idée même d’évaluation.
L’ensemble du corpus analysé par le groupe de réflexion réuni autour de l’analyse critique des démarches et outils d’évaluation au CTNERHI, a en grande partie apporté les arguments permettant d’attester de l’objectif que se proposent d’atteindre les promoteurs, de ces outils ou démarches, à savoir : l’objectivité la plus totale afin que soit éradiqué l’arbitraire lié intrinsèquement à tout jugement – autrement dit ces démarches et outils proposent et ont pour ambition de mettre en place des systèmes et/ou dispositifs, afin qu’il ne soit plus procédé n’importe comment en matière d’évaluation. Il s’agit de prendre appui sur des démarches conscientes empreintes de rigueur et de critique. Les outils proposés étant forgés dans le même métal.
Mon intention est de montrer, à la suite des auditions et en référence aux débats qui se sont tenus durant le séminaire du CTNERHI, que le fait d’inscrire implicitement ou explicitement l’objectivité de l’évaluation comme but à atteindre relève, dans tous les cas, d’une utopie irréaliste . Pour ce faire je partirai de l’hypothèse suivante : la subjectivité est présente dans tout processus d’évaluation - quel qu’il soit - cette subjectivité est nécessaire. Sans elle il ne saurait être question d’évaluation. Autrement dit, il n’y a évaluation que parce qu’il y a de la subjectivité. En l’absence de cette subjectivité il est plus juste de parler de contrôle que d’évaluation.
La préoccupation de chacun de ne pas ou plus « faire n’importe quoi n’importe comment » ne peut être que partagée par une majorité d’acteurs. Que l’évaluation ait pour but l’évaluation de moyen, d’efficacité des processus, du projet individuel, de l’activité - action médico-sociale -, de prestations de service…les décisions qui découlent de ces évaluations sont d’importance. Il est par conséquent essentiel que l’évaluation se fonde sur la réalité et non sur une prétendue neutralité, prétention et revendication éthiques des évaluateurs.
A mon sens ce qui est nécessaire d’éviter ce n’est pas la subjectivité de l’évaluateur mais le potentiel arbitraire de l’évaluation. Combien de projets professionnels (emploi et/ou formation par exemple) se trouvent rejetés sous couvert de leur irréalisme, tout simplement par ce qu’ils ne correspondent pas aux objectifs qu’un établissement, une équipe… se doivent d’atteindre, par exemple en terme de taux de placement. Ou bien et plus simplement, parce que le projet soutenu par une personne n’est pas reconnu comme tel du seul fait qu’il ne corresponde pas aux représentations du monde, aux représentations de la place que le demandeur « ayant des besoins particuliers » se doit de tenir dans un dispositif d’insertion, d’hébergement, d’accompagnement…
Les récents travaux de S. Ebersold sont sur ce point particulièrement intéressants. Ceci ne vaut pas seulement pour le domaine de l’emploi, il en va de même dans différents secteurs de l’action sociale de l’éducation…
Pour nous entendre et avant de poursuivre, reprenons quelques définitions. EVALUER : Estimer, juger pour déterminer la valeur, en particulier reconnaître la valeur de, être sensible aux qualités de… Estimer le résultat d’une action, une qualité, la valeur de quelque chose. Mais aussi juger à l’aide de moyens. Enfin, apprécier, rendre compte de l’importance d’un acte ou encore déterminer, délimiter, fixer avec précision, mesurer. EVALUATION : Action d’évaluer, d’apprécier la valeur (d’une chose) ; technique, méthode d’estimation. Evaluation est le quasi synonyme d’estimation. ESTIMATION : action d’évaluation plus ou moins exacte. Evaluation approximative d’une quantité nombrable (notamment du chiffre d’une population, par référence à des données incomplètes prélevées sur des échantillons d’observation). Au figuré, jugement (favorable ou défavorable) par lequel on détermine, marque la valeur que l’on attribue (ou doit attribuer) à telle personne ou à telle chose abstraite. JUGEMENT : Avis motivé donné par quelqu’un ayant compétence officielle, autorité reconnue sur quelqu’un, sur quelque chose. Démarche intellectuelle par laquelle on se forme une opinion et on l’émet ; résultat de cette démarche. Enfin, avis favorable ou défavorable, opinion personnelle portant approbation ou condamnation que l’on porte, en l’exprimant ou non, sur quelqu’un, sur quelque chose. SUBJECTIVITE : Qualité (inconsciente ou intérieure) de ce qui appartient seulement au sujet pensant. De façon usuelle qualité de ce qui donne une représentation fidèle de la chose observée. Enfin APPRECIATION, attitude qui résulte d’une perception de la réalité, d’un choix effectué en fonction de ses états de conscience.
Ainsi, évaluer c’est produire une estimation, un jugement. Un jugement, est dans son essence même, l’interprétation d’une réalité au regard de valeurs morales, culturelles, économiques… La réalité soumise à interprétation puis à jugement a pour fondement – dans le cas qui nous occupe - une construction sociale. Il résulte qu’une interprétation, résultat d’un jugement ne peut que dépendre de la subjectivité de son auteur (individu ou groupe.) C’est pour cette raison que toute évaluation ne peut être que subjective. Il s’ensuit que l’évaluation est avant tout un acte de pensée. Ceci invalide les approches évaluatives fondées sur la recherche, de la preuve de vérité que l’évaluation permettrait d’objectiver par rapport à un absolu, quelque soit le nom qu’on lui donne. Pour autant, l’invalidation des approches et des outils ayant pour prétention l’objectivité (partielle ou totale) ne signifie pas que l’évaluateur n’a pas intérêt à savoir ce qu’il évalue. Dans le même ordre d’idée la personne ou le groupe, impliqué dans un processus, une action soumise à évaluation, a tout intérêt à ce l’on donne la « vraie » valeur à l’action. Ceci ne remet pas en cause le fait que voir se réaliser une « évaluation objective » relève d’une utopie irréaliste. En effet, une « évaluation objective » de l’action sociale et médico-sociale devrait intégrer et prendre en compte dans sa métrologie, quelles que soient les situations rencontrées, des éléments de réalité permettant la comparaison (preuve de l’objectivité, par la répétition d’un phénomène.) La construction de telle « réalité d’identité » d’action, dans un même champ d’action, ne peut passer que par la standardisation des facteurs contextuels et environnementaux de l’action. Seul moyen de réunir des conditions d’observation identiques. En matière d’évaluation cette recherche d’objectivité est une utopie irréaliste. Cette utopie se trouve soulignée également par le fait que malgré les référentiels, les Codes de bonne pratique, les processus de normalisation, les référentiels de toutes compositions et de tout contenu… les pratiques sociales ou professionnelles marquent leur différence, d’une action à l’autre, en fonction du ou des acteurs qui s’y trouvent impliqués. Toujours dans le même ordre d’idée, l’évaluation dépend de la conception qu’a l’évaluateur de ce qu’il est chargé de mesurer, d’évaluer, d’estimer. L’ensemble de ces éléments et probablement bien d’autres encore, interdisent à l’évaluation toute prétention à une quelconque objectivité. En effet, pour que celle-ci soit possible il faudrait que puisse être établie une liste exhaustive de l’ensemble des objectifs, des critères, des indicateurs, dont relève une action, un acte social. Les conséquences sociales d’un tel projet de totalisation pour l’évaluation se révèleraient très vite inacceptables socialement. En effet, une telle perspective déboucherait inévitablement sur une standardisation extrême, ne permettant plus aucun jeu d’acteurs. Ceci conduirait immanquablement au blocage de l’ensemble des dispositifs sociaux et médico-sociaux. Si nous partons de l’idée, que toute évaluation ne peut être que subjective et qu’elle se distingue clairement du contrôle , l’évaluateur peut être considéré comme la source à partir de laquelle seront produits estimation et jugement sur l’action. Evaluer, c’est alors donner du sens aux résultats observés. Dans cette logique évaluer signifie « recueillir un ensemble d’informations suffisamment pertinentes, valides et fiables et examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères adéquats aux objectifs fixés au départ ou ajustés en cours de route, en vue de prendre une décision. »
Dans le cadre du Code de l’Action Sociale et des Familles (CASF Art.312-8) les résultats de l’évaluation (internes et externes) peuvent conduire «l’autorité ayant délivré l’autorisation » en fonction de l’action à l’arrêt, la poursuite ou la modification de cette dernière. La prise de décision consécutive à l’évaluation est donc pour bon nombre d’acteurs de toute première importance.
Il est apparu, au fil des auditions réalisées par le groupe de travail du CTNERHI et des débats qui ont suivi, qu’il était nécessaire de préciser en quoi la subjectivité intervenait dans les différentes phases d’un processus ou procédures d’évaluation. Pour montrer la place de la subjectivité dans les processus ou procédures d’évaluation, je vais suivre le schéma de base classique de ceux-ci :
a) la question du choix du type de décision et de l’objectif de l’évaluation.
b) le choix des critères
c) le choix des indicateurs
d) le choix de la stratégie de recueil d’information ; e) l’adéquation entre indicateurs et critères, les résultats.
a) La question du choix du type de décision et de l’objectif de l’évaluation.
Si nous considérons que l’évaluation a pour fonction de préparer une décision, celle-ci ne peut être connue par avance (sinon, on ne voit pas très bien en quoi il est utile d’évaluer.) Ce qui doit être connu de l’ensemble des acteurs (évaluateur, évalué... ) c’est le type et la nature des décisions qui pourront être pris au terme de l’évaluation. Sans cette information il est en effet impossible d’orienter le processus d’évaluation. Cette information a pour conséquence concrète que chaque domaine soumis à évaluation doit faire l’objet d’une explicitation quant aux décisions qui pourront être prises. Il est logique qu’en fonction de la palette de décisions possibles au terme du processus d’évaluation, celui-ci puisse trouver les ajustements nécessaires en fonction de l’objectif poursuivi.
Ainsi, par exemple l’ « évaluation continue des besoins et des attentes (Art. L.116-1 C.A.S.F) », « l’évaluation des risques sociaux et médico-sociaux (Art. L.311-1, C.A.S.F) », « l’évaluation des systèmes d’information », « l’évaluation des établissements et services (Art. L. 312-8, CASF) » ne sauraient utiliser les même critères, les même indicateurs, les mêmes outils...Des différentes situations d’évaluation contenue dans le C.A.S.F Art L.312-8, il ressort que le type de décision qui peut être pris au terme de l’évaluation et les objectifs de l’évaluation, s’imposent aux évaluateurs. Les processus de l’évaluation externe étant fixés par un cahier des charges fixé par décret.
Il y a bien quelque part quelqu’un qui choisit le type d’évaluation, ce qui oriente le processus même d’évaluation. Incontournable subjectivité de l’évaluation !
b) Le choix des critères.
Une fois le choix du type de décision arrêté, il convient de s’interroger sur les qualités attendues de ladite évaluation. Par exemple, les critères retenus devront-il permettre, en toute ou partie, la modification de l’action ? A partir de quel niveau les préconisations d’amélioration proposées laissent place à des recommandations de transformation, de fermeture ?
Quels critères pour évaluer l’efficacité ou le manque d’efficacité, l’efficience économique d’une prestation de service, c’est-à-dire le fait que les résultats atteints le sont de la manière la plus « économique » possible ? Quel est le niveau de cohérence des moyens utilisés ? etc.
La multiplicité de choix face aux critères possibles, nécessite que soit effectué un choix, dans la mesure où la gestion d’un nombre trop important de critère relève, à partir d’un certain seuil, d’un niveau de standardisation inacceptable socialement, comme nous avons pu le constater dans la présentation de certains outils audités. Les critères doivent être pertinents, indépendants, peu nombreux et pondérés .
C’est le choix des critères qui permet de différencier l’évaluation du contrôle. En effet, dans le cadre d’un contrôle, les critères ne sont pas choisis mais sont le résultat d’une norme extérieure (manuel de procédure, code de bonne pratique, référentiel…). Choisir les critères les mieux adaptés pour l’évaluation se révèle donc être une opération particulièrement délicate. C’est de ce choix que va dépendre en grande partie la décision finale. Incontournable subjectivité de l’évaluation !
c) Le choix des indicateurs.
Si les critères permettent d’organiser le choix quant à la qualité attendue de l’évaluation, les indicateurs vont quant à eux permettre de savoir si ces critères retenus sont pertinents. Les indicateurs ont pour particularité d’être concrets et particuliers. Là encore se pose la question du choix des indicateurs face à la multiplicité des possibles ouverts. Ce choix ne saurait, bien entendu, être arbitraire. C’est pourquoi l’organisation d’un recueil d’information pertinent est essentielle. Il doit être en mesure d’apporter de l’information sur le critère auquel il se réfère. Par exemple dans le cas d’une évaluation par un organisme externe de la prestation d’un service de suite et d’accompagnement social et/ou professionnel (Art. 312-8. CASF), si l’évaluateur entend évaluer la qualité du dialogue entre un professionnel et une personne (critère), l’analyse des dossiers des personnes accueillies à toute fin de comptabiliser le nombre de personne ayant bénéficié d’une mesure d’accompagnement ou ayant bénéficié d’un entretien individuel, est inutile (critère non-pertinent.) En revanche, dans ce cas de figure, l’évaluateur a tout intérêt à connaître l’avis des personnes qui ont bénéficié de ce type d’action.
Ce qui est recueilli ce ne sont pas des connaissances mais des avis, autrement dit des représentations et des faits. Bien entendu, les indicateurs peuvent être qualitatifs ou quantitatifs. Toutefois, l’utilisation exclusive d’indicateurs qualitatifs ne renforce pas «l’objectivité. » Un seul indicateur, compte tenu de la multiplicité des critères, ne suffit pas si l’on veut que la démarche d’évaluation soit rigoureuse. A ce niveau, c’est le choix de la stratégie du recueil d’information qui est essentiel.
Incontournable subjectivité de l’évaluation !
d) Le choix de la stratégie de recueil d’information.
Le choix de la méthode de recueil d’information par l’évaluateur est d’importance. Il pourra procéder par interview, par questionnaire, avoir recours à l’analyse de documents, faire remplir des grilles d’information… Quelles qu’en soient la méthode ou les méthodes retenues, celles-ci doivent, dans tous les cas, permettre de recueillir une information valide et fiable. La validité de l’information correspond à celle qui est effectivement recherchée. Le choix de la méthode, des techniques et outils utilisés est ici essentiel. La définition de ce qu’est un critère valide et fiable requiert un travail préalable d’analyse en lien avec les objectifs de l’évaluation. Il s’agit de savoir qui recueille et comment est recueillie l’information. C’est dans cette phase que l’évaluateur peut objectiver le plus sa démarche, ce n’est pas par hasard si la quasi-totalité des outils ou démarches qui nous ont été présentés ou adressés centrent leur démonstration sur la présentation des outils de recueil d’information. Pourtant même dans ce domaine la question du choix est essentielle puisqu’un nombre X d’évaluateurs pourra, pour une même évaluation, retenir des stratégies différentes présentant toutes les assurances de rigueur nécessaire, en matière de fiabilité et de validité de recueil d’information. Incontournable subjectivité de l’évaluation !
e) L’adéquation entre indicateurs et critères, les résultats.
Enfin, au terme du processus de base pris en exemple, se pose la question de l’interprétation de l’information recueillie. Ce qui renvoie à la question de l’adéquation entre les critères et les indicateurs retenus ou si vous préférez entre l’idéal et la réalité. Cette opération est la plus essentielle, puisque c’est elle qui va clore le processus d’évaluation et déclencher la prise de décision. C’est également à partir de cette phase que sera déterminée la valeur de ce qui vient d’être soumis à évaluation. C’est le moment où l’évaluateur saura donné du sens, expliciter son travail sous la forme d’un jugement. Dans le cadre des processus et procédures d’évaluation qui nous occupent, il ne s’agira pas simplement de réaliser un constat mettant en relief tel ou tel fonctionnement ou dysfonctionnement, tel ou tel respect de la législation ou non. Il ne s’agira pas non plus d’un contrôle, ni de mesurer un écart, mais bien de donner du sens à un faisceau d’éléments.
Apport de sens, jugement de valeurs, fondés sur un processus que l’évaluateur, au moins nous pouvons l’espérer, aura voulu le plus rigoureux possible, ce qui n’enlève rien au fait que nous sommes toujours en présence d’un jugement de valeurs.
Incontournable subjectivité de l’évaluation !
Quelle que soit la complexité du processus ou des procédures d’évaluation mises en œuvre, c’est-à-dire le nombre ou la quantité de grilles utilisées, le domaine ou le champ évalué, etc., il n’en reste pas moins que tout processus d’évaluation a comme caractère essentiel d’être subjectif. L’évaluateur doit réaliser au cours du processus d’évaluation un nombre de choix qui conditionne, au fur et à mesure du processus, le résultat même de l’évaluation. Il serait vain de vouloir éviter cette subjectivité, c’est justement parce qu’il y a cette subjectivité qu’il y a évaluation. Cependant, les choix qui sont faits tout au long du processus doivent être suffisamment réfléchis afin que tout évaluateur, promoteur de démarches ou d’outils soit en mesure d’expliciter les raisons de ses choix.
En matière d’évaluation, les choix qui sont faits doivent être rendus transparents : subjectivité mais pas arbitraire. A la question : l’objectivité de l’évaluation dans le secteur social et médico-social est-elle possible ?
La réponse est : oui, avec beaucoup d’imagination.
