La nouvelle gouvernance en Wallonie : les parties prenantes au cœur même de la conception de l'évaluation Intervention de Philippe Destatte, directeur de l'Institut Jules Destrée en séance plénière des quatrièmes journées françaises de l'évaluation Société française de l'Evaluation Lille, Nouveau Siècle, 5 juin 2002 - L'évaluation comme outil au service de la prospective territoriale - La Wallonie au futur : évaluer l'évolution de la société - L'évaluation comme processus de responsabilisation - La Société wallonne de l'Evaluation et de la Prospective - La charte de la SWEP : l'évaluation dans la nouvelle gouvernance - Conclusion : valoriser l'évaluation à l'aune de la démocratie délibérative C'est avec raison que, voici à peine deux ans, Jean-Louis Dethier soulignait lors d'une journée consacrée par l'Institut Jules-Destrée à l'évaluation et au développement régional, que l'évaluation, au sens où elle émergeait de ces travaux, apparaît comme une discipline nouvelle, et novatrice en ce qu'elle se distingue, voire s'oppose à l'évaluation-contrôle et à l'évaluation-sanction [1]. Et le vice-président Wallonie-Bruxelles de Deloitte & Touche Management Solutions de motiver le caractère innovant de la démarche évaluative en Wallonie par trois arguments : – son approche systématique, documentée, raisonnée d'un ensemble d'actions ou de fonctions destinées à en mesurer la pertinence, l'efficacité, l'efficience, la durabilité ; – son apport d'un cadre et des éléments de réflexion visant à améliorer la conception et la mise en oeuvre de ces actions ou fonctions ; – son ouverture et la prise en compte de l'ensemble – et donc de chacune – des parties prenantes, qu'elles soient commanditaires, réalisatrices ou bénéficiaires, afin d'assurer la prise en compte des informations dont elles sont porteuses et de leur permettre de s'approprier les enseignements de l'évaluation.  En inscrivant l'évaluation au cœur même de la gouvernance, comme outil de la démocratie délibérative associant les citoyens, les entreprises et l'Etat face à des enjeux communs, la Société wallonne de l'Evaluation et de la Prospective, dont le même Jean-Louis Dethier est devenu le premier président, a voulu positionner les parties prenantes au cœur même de la conception de l'évaluation qu'elle a prônée et prône encore en Wallonie.  La genèse de la création de la SWEP et l'élaboration de sa charte du 29 avril 2000 expliquent largement ce positionnement. L'évaluation comme outil au service de la prospective territoriale  Flashback. Le concept d'évaluation s'est affirmé, en Wallonie, au travers d'au moins quatre démarches parallèles : – une exigence externe classique, appliquée aux territoires européens et provenant de la Commission européenne, particulièrement pour les Fonds structurels après 1994 [2]; – un cheminement interne au travers de l'administration wallonne [3] et d'opérateurs professionnels (consultants privés et universités) : le travail de fonctionnaires comme Jean-Marie Agarkow, Daniel Collet et Luc Vandendorpe à l'économie régionale, celui des professeurs Henri Capron (DULBEA, ULB), Michel Quévit (RIDER, UCL), Alain Schoon (Fucam), etc. ; – la démarche du Parti écologiste qui, lors de son arrivée au sein du gouvernement wallon en juillet 1999, a annoncé clairement son intention de mettre en oeuvre des stratégies d'action et l'évaluation des politiques publiques, contenues dans son programme, nourries par le Rapport Viveret ainsi que par les travaux du Conseil scientifique de l'Evaluation. Plusieurs négociateurs Ecolo ont fait de l'évaluation l'un des chevaux de bataille de leur participation lors de la constitution du Gouvernement wallon lors de l'été 1999 [4]. – la société civile enfin, au travers notamment de la dynamique La Wallonie au futur, de son opérateur l'Institut Jules-Destrée et de la Société wallonne de l'Evaluation et de la Prospective.  C'est ce dernier point qui sera développé ici. La dynamique La Wallonie au futur, a réuni plusieurs milliers de citoyens depuis 1987 en quatre exercices de prospective territoriale dont une conférence-consensus. En 1997 et 1998, l'évaluation a trouvé sa place dans cette démarche. Cette évaluation était certes modeste par ses ambitions, par ses moyens, par ses méthodes. Elle n'en est pas moins importante, pour plusieurs raisons.  D'abord, par sa nature. Que l'on en juge : un organisme non-gouvernemental positionné au sein de la société civile, porteur d'une réflexion sur la Région et d'un dialogue stratégique avec les élus régionaux, décide de lancer une évaluation formelle de ses travaux menés depuis près de dix ans. Il le fait, non pas de manière exploratoire, mais sur base de trois constats formulés par son Comité scientifique : – la société wallonne apparaît frappée dans son développement par un blocage culturel ; – les congrès tenus depuis 1987 et l'analyse qui y avait été faite de la société wallonne n'ont pas permis d'éviter ou de répondre à ces blocages ; – la société a évolué depuis 1987 : si certaines des pistes proposées depuis 1987 ont été suivies, d’autres ne l'ont pas été parce qu’elles ne se sont pas avérées pertinentes ou parce que la société n’était pas prête à les accepter.  Il s'agit donc d'une démarche endogène, autonome, née du souci de comprendre une situation afin d'y répondre, tout en mesurant a posteriori l'action qui a été menée par les acteurs au sein du système.  Ensuite la démarche est importante par l'a priori méthodologique qu'elle adopte immédiatement. La note qui sert de départ aux travaux précise la notion d'évaluation. Son auteur, qui s'appuie sur les travaux de Gérard Figari [5], souligne la nécessité de rendre claire la notion d'évaluation pour qu'elle apparaisse bien comme un processus de collecte de données permettant de construire des décisions potentielles, plutôt que comme un mécanisme de contrôle et de vérification ‑ pour lequel ni l'Institut Jules-Destrée ni le congrès ne sont habilités. La Wallonie au futur : évaluer l'évolution de la société  La démarche d'évaluation de La Wallonie au futur, qualifiée d'étrangère à celle d'un audit externe, se veut construite sur un cadre référentiel précis comportant trois volets : – une évaluation des politiques préconisées par les congrès La Wallonie au futur; – une évaluation des politiques réellement menées par la Région wallonne depuis 1987; – une évaluation des structures et des filières, c'est-à-dire des dispositifs [6], mis en place entre les différents acteurs de la société : les entreprises, les institutions politiques, administratives et sociales, les universités et l'ensemble des institutions éducatives, sur base des interactions préconisées par les congrès La Wallonie au futur.  Dès lors, il s'agit d'appliquer, à la société wallonne tout entière, la technique du pilotage préconisée en 1996, lors d'une conférence-consensus traitant du système éducatif.  Menée à partir du Comité scientifique, l'évaluation a été réalisée par des collaborateurs de l'Institut Jules-Destrée, appuyés méthodologiquement par Jean-Louis Dethier, alors administrateur délégué de la société CEMAC. Le travail mené de septembre 1997 à août 1998 a mis en œuvre plusieurs techniques de collectes et d'analyses : ‑ reconstitution des objectifs et des logiques d'action, ‑ présentation des constats, ‑ réalisation de plus d'une cinquantaine d'interviews de décideurs politiques, économiques et administratifs de très haut niveau (ministériel, secrétaires généraux d'Administration, chefs d'entreprises, ‑  dépouillement de plusieurs centaines de questionnaires et documents d'évaluation en vue de la réalisation d'un rapport thématique.  Ce rapport allait constituer la base d'un travail de plusieurs mois sollicitant des réactions par notes écrites et finalement d'interpellations directes des acteurs pour permettre leur repositionnement. L'évaluation comme processus de responsabilisation  Le congrès de deux jours, tenu en octobre 1998, a fait émerger l'évaluation, à côté de la contractualisation et de la prospective, comme un outil innovant de gouvernance, décrit comme porteur en termes stratégiques [7].  Trois propositions précises, destinées à favoriser le développement d'une évaluation qualifiée de "démocratique" suivaient le constat d'un déficit de culture de l'évaluation au sein de la Région wallonne : – Première proposition : la nécessité de responsabiliser le citoyen. L’enjeu affirmé n’était plus seulement de faire réfléchir les acteurs, mais de leur offrir des lieux où forger des solutions concrètes, défendables et gérables, de façon à créer les conditions de la participation responsable de tous au processus de modernisation de la société. Ainsi, le rapport préconisait la création d'une Société wallonne de l'Evaluation.  – Deuxième proposition : la nécessité de responsabiliser l'administration. Il s'agissait avant tout de souligner l'importance de l'administration comme soutien fondamental au projet de société construit pour la Wallonie. Le Congrès a proposé la création d'une cellule de développement et de stimulation gouvernements - administrations. Cette dynamique impliquait, à court terme, de développer une culture d’évaluation dans l’administration régionale, en généralisant les expériences d’évaluation menées depuis 1994.  – Troisième proposition : la nécessité de pouvoir disposer d'une batterie d'indicateurs fiables, qualifiée de première condition d'une stratégie de développement. Or, le constat du congrès est celui d'un désastre statistique wallon : données lacunaires ou tardives, indicateurs de qualité de vie liés au développement durable, au bien-être social, ou à la santé régionale, peu ou pas existantes, informations trop difficilement accessibles, etc.  En conclusions, le rapporteur général affirmait que l'évaluation – qui n'est ni le contrôle, ni l'audit – est souvent invoquée en Wallonie mais rarement mise en œuvre, car elle subit souvent la méfiance et la culpabilisation potentielle à laquelle elle reste trop souvent assimilée. Constatant que l'évaluation ne saurait déboucher sur une sanction mais était, au contraire, porteuse de remédiation, le rapporteur général appelait à mettre en place, sur l'exemple français, une véritable méthodologie régionale de l'évaluation, avec l'aide des universités, afin d'en promouvoir un usage stratégique qui permette, in fine, une réinterprétation des objectifs et des programmes. La Société wallonne de l'Evaluation et de la Prospective  Dans les mois suivant ce congrès, l'Institut Jules-Destrée a activé une dynamique de formation et de benchmarking (étalonnage ou parangonage) pour s'approprier un minimum d'expertise, au moins théorique, dans le domaine de l'évaluation et se confronter aux acteurs de terrain : EES, SFE, C3E, SCE, SQEP, AES, IOCE, UKES, etc., toute cette cabalistique pour évaluateur averti.  Toutefois, c'est avec un sentiment d'urgence que, au retour de la Conférence de Rome de l'EES, et avec la complicité de Jean-Louis Dethier, la Société wallonne de l'Evaluation et de la Prospective a été ébauchée fin 1998, l'écriture à deux d'une première charte sur une nappe de restaurant datant des premières semaines de 1999. Elle prendra forme le 24 novembre 1999 lors d'une première rencontre d'acteurs très divers ‑ chefs d'entreprises, fonctionnaires, consultants, élus, responsables d'associations, chercheurs – qui ouvrent un vaste chantier de six groupes de travail destinés à construire un socle commun d'expertise et à préparer – parallèlement aux statuts et avant tout dépôt de ceux-ci au journal officiel – la rédaction d'une charte fondatrice de la nouvelle association. Au milieu de ces travaux, le 3 mars 2000, l'Institut Jules-Destrée organisa directement le colloque sur l'évaluation au niveau régional (cité plus haut), en croisant experts internationaux et acteurs locaux, colloque dans lequel la SFE était particulièrement bien représentée.  Si le travail de préparation fut souvent très pédagogique et nuancé dans l'échange fructueux entre acteurs, particulièrement dans les questions touchant à l'éthique, aux modèles et standards dans le groupe de réflexion où on retrouvait Luc Lefebvre et Frédéric Varone [8], la rédaction de la charte s'est résolument inscrite dans une vision que d'aucuns auraient qualifiée de "gauchiste", si elle n'avait pas été directement inspirée par le Programme de Management public (PUMA) de l'OCDE [9].  Ainsi, l'évaluation qui a été prônée – et reste prônée – par la Société wallonne de l'Evaluation et de la Prospective s'inscrit résolument dans les exigences de la bonne gouvernance et notamment, l'émergence de la société civile et le développement de la démocratie participative ainsi que la distinction entre la stratégie du politique et les discours stratégiques émanant de la société civile. On reconnaît d'ailleurs dans cette dernière formule la griffe du professeur Michel Quévit, président du Comité scientifique du Congrès permanent La Wallonie au futur [10]. La charte de la SWEP : l'évaluation dans la nouvelle gouvernance  Les rédacteurs de la charte ont refusé de définir l'évaluation comme un jugement pour lui préférer l'idée océdéenne d'analyse. Le centre de gravité de la charte se situe dans la partie intitulée "l'évaluation à promouvoir" qui précise que :  Toute évaluation nécessite la collaboration et le dialogue de ses principaux participants, à savoir les mandataires, les évaluateurs, les bénéficiaires des politiques, programmes, projets ou fonctions, ainsi que des parties prenantes, c'est-à-dire les particuliers ou les organismes qui s'intéressent à la politique ou au programme évalué ainsi qu'aux résultats de l'évaluation [11].  Cette définition des parties prenantes est, mot pour mot, celle de PUMA.  Certains verront peut-être une forme de contraction, voire d'intégrisme, dans le fait – très discuté lors de l'élaboration du document – que la charte accorde le statut d'évaluation à l'évaluation proprement dite, telle que promue par la Société européenne de l'Evaluation, évaluation qualifiée de "démocratique" et ou "participative", selon les cas. Cette évaluation applique une éthique qui permet le positionnement clair et transparent tant du donneur d'ordre que de ses différents acteurs par rapport au résultat de l'évaluation. Tout autre dynamique nous paraît relever du contrôle, de l'audit ou de l'étude externe.  La charte va encore plus loin lorsqu'elle définit le rôle de la SWEP et plus particulièrement sa vocation d'interpellation des décideurs. Ainsi, la charte dispose que :  en réaction aux risques de manipulations ou de dérives d'une démarche qui serait uniquement menée par des experts, la conception participative de l'évaluation des politiques publiques ouvre celle-ci aux acteurs économiques et sociaux ainsi qu'à la société civile. Lorsque les différentes parties prenantes sont représentées au sein d'une instante d'évaluation, elles apportent leurs différentes compétences au projet d'évaluation, et lui assurent pluralisme et pluridisciplinarité. En ce sens, une évaluation et une réflexion prospective doivent associer, selon des modalités adéquates, des représentants des entités évaluées (connaissance du terrain), des représentants d'associations représentatives des publics concernés, des spécialistes des diverses disciplines requises, des membres des corps d'inspection et de contrôle (pour leur connaissance des modes de fonctionnement du secteur concerné), ainsi que des représentants des secteurs publics et privés concernés (pour une approche comparée).  On le voit, la notion de parties prenantes se trouve réellement au centre de la vision que la SWEP a donnée de l'évaluation. Ce concept, qui a été à nouveau débattu lors d'une des dernières réunions du Bureau de la SWEP, a été – nous l'avons dit – défini par PUMA [12].  De même, dans ses théories sur le gouvernement d'entreprise, l'OCDE, sa direction des affaires financières, fiscales et des entreprises, utilisait ce concept pour définir la gouvernance et y considérait comme parties prenantes, en plus des dirigeants de l'entreprise, des administrateurs et des actionnaires, les salariés et la collectivité dans laquelle elle est située [13].  Certes, ainsi que Jacques Toulemonde l'enseigne lors des séminaires de formation C3E, l'évaluateur, au moins dans ses recommandations, a traditionnellement comme tâche de se faire l'avocat des parties prenantes, y compris les citoyens, qui n'ont pas eu droit à l'attention de l'évaluation.  On se situe ici, au delà de ce devoir moral et déontologique.  Chacun aura pu entendre dernièrement l'administrateur délégué et président du Comité exécutif de Dexia, M. Pierre Richard, qui considère que l'évaluation est peut-être l'élément clef de la bonne gouvernance, introduire dans son analyse le concept de droit d'évocation de problèmes par la société civile [14].  On est là, je crois, au cœur de la construction de l'évaluation avec les parties prenantes, en faisant de ce processus un acte démocratique plutôt qu'une pratique administrative. Eric Monnier n'écrivait-il pas, voici quelques mois, que le défi de la prochaine décennie sera de faire sortir l'évaluation de l'administration et d'impliquer totalement les élus au pouvoir et dans l'opposition puis, dans un second temps, les citoyens eux-mêmes [15]. Eric Monnier donnait d'ailleurs quelques pistes intéressantes pour faire progresser cette idée : – s'appuyer sur les Parlements comme garants de la participation des parties prenantes même si on sait que cela ne constitue pas une pratique en Europe [16]. – prendre en compte l'importance pour le développement de l'évaluation d'un équilibre des pouvoirs au sein d'une même collectivité mais aussi entre différents niveaux de gouvernement  [17].  Certes, la mise en œuvre est périlleuse. L'Institut Jules-Destrée s'y est attelée – en dilettante certes – mais au point, quand même, que son directeur a pu être considéré comme un apprenti-sorcier. En lançant, avec l'appui méthodologique de Marie-Claude Malhomme, un processus d'évaluation d'un changement stratégique entamé depuis trois ans, l'Institut Jules-Destrée a mis en avant le concept de "parties prenantes identifiées", considérant que toute personne ou groupe s'estimant partie prenante mais non sollicitée pourrait s'associer à la démarche, en son cœur même. On se situe dans la logique du droit d'évocation.  Ce travail ne saurait être abordé ici et maintenant. D'ores et déjà, nous en mesurons toute la difficulté opérationnelle et notamment celle qui consiste à formuler et prioriser des questions et un agenda de travail qui satisfassent des acteurs éclectiques. On rejoint la question du débordement d'intérêt figurant en bonne place dans la Note d'étape sur la charte de la SFE. Conclusion : valoriser l'évaluation à l'aune de la démocratie délibérative  C'est avec raison que l'on peut considérer que l'évaluation reste un objet flou [18]. Au moins deux courants de pensée y coexistent : d'une part, celui d'une évaluation parfois qualifiée de scientifique, qui se veut détachée du terrain et en quête d'une légitimité extérieure au sujet ; d'autre part, la vision d'une évaluation comme instrument de gouvernance voire de démocratie participative, délibérative, ou même directe [19].  Dans tout pays démocratique où les acteurs ont conçu l'évaluation comme un moyen et non comme une fin, il importe que les bénéficiaires d'une politique participent activement à son évaluation.  Ainsi peut-on imaginer que l'évaluation soit, dans un avenir très proche, valorisée à l'aune de la participation des citoyens et de la démocratie délibérative, comme c'est actuellement le cas pour le foresight, dans le domaine de la prospective européenne. Il s'agit de faire participer l'évaluation à cette "nouvelle frontière" que constitue le partenariat entre les administrations, les citoyens et les organisations de la société civile dans l'élaboration et le suivi des politiques [20].  Le degré d'association des parties prenantes est bien au centre de la problématique de l'évaluation. Cette association éclaire la culture de l'évaluation car elle permet de clarifier ce qui relève de l'audit, du contrôle, du suivi, de la vérification. Seule l'évaluation ouverte apparaît ainsi porteuse de sens dans le cadre de la nouvelle gouvernance. Cette clarification est indispensable pour les associations-sœurs que sont la Société française d'Evaluation et la Société wallonne de l'Evaluation et de la Prospective. Peut-être pourraient-elles, sur ce sujet important, mener une réflexion conjointe débouchant sur une vision francophone ou européenne, face à la confusion anglo-saxonne en cette matière. Cette confusion, nous ne manquerons pas de la retrouver sur notre route lors de la constitution prochaine et formelle du réseau mondial de l'évaluation IOCE [21].  L'une de nos prochaines assises constituerait une excellente occasion d'aborder cette réflexion fondamentale. Notes [1] Jean-Louis DETHIER, Sept réponses à sept questions sur la pratique  de l'évaluation et la Wallonie, dans Philippe DESTATTE dir., Evaluation, prospective et développement régional,  p. 177, Charleroi, Institut Jules-Destrée, 2001. [2] Luc VANDENDORPE, De l'évaluation des politiques régionales à une politique régionale de l'évaluation en Wallonie, dans Christian DE VISSCHER et Frédéric VARONE éd., Evaluer les politiques publiques, Regards croisés sur la Belgique,  p. 67-78, Louvain-la-Neuve, Bruylant-Academia, 2001. [3] Jean-Marie AGARKOW et Luc VANDENDORPE, L'évaluation des politiques publiques en Wallonie, dans Ph. DESTATTE, Evaluation…, p. 83-95. – Carine JANSEN et Jean-Paul SANDERSON, La pratique de l'évaluation en Région wallonne : l'exemple des plans sociaux intégrés, dans Ph. DESTATTE dir., Evaluation…., p. 97-104. – Charles DEBOUCHE, Evaluation environnementale de l'agriculture, dans Ph. DESTATTE dir., Evaluation…, p. 105-124. –  Olivier LOHEST et Béatrice VAN HAEPEREN, Evaluation du fonctionnement du parcours d'insertion en Région wallonne, coll. Discussion Papers, Service des Etudes et de la Statistique, Avril 2001. – Alain SCHOON, L'évaluation des politiques publiques en Région wallonne : la vision d'un évaluateur, dans Christian DE VISSCHER et Frédéric VARONE éd., Evaluer les politiques publiques…, p. 79-94. [4) Le Programme d'Ecolo pour renforcer la démocratie, Fiche 1, Délibérer et évaluer les politiques publiques, Namur, Ecolo,1999. – Le Programme Fonction publique d'Ecolo, Fiche 2, Une autre manière de gouverner avec l'administration, Namur, Ecolo, 1999. – Le Programme Fonction publique d'Ecolo, Fiche 3, Evaluer et choisir les instruments adaptés, Namur, Ecolo, 1999. [5] Gérard FIGARI, Evaluer : quel référentiel ? coll. Méthodologie de la recherche, p. 27-29, Bruxelles, De Boeck, 1994. [6] Manière dont sont disposées les pièces, les organes d'un appareil; le mécanisme lui-même - (Petit Robert, 1993). [7] La Wallonie au futur, Sortir du XXème siècle : Evaluation, innovation, prospective, coll. Etudes et documents, Charleroi, Institut Jules-Destrée, 1999. – Sur cette dynamique, voir Ph. DESTATTE, Les questions ouvertes de la prospective wallonne ou quand la société civile appelle le changement, dans Territoires 2020, Paris, Datar, Juin 2001, p. 139-153. [8] Luc LEFEBVRE, Rapport du Groupe Ethique, modèles et standards, dans Ph. DESTATTE dir., Evaluation…, p. 367-376. [9] Guide des meilleures pratiques à suivre pour l'évaluation, PUMA, Note de synthèse n°5,  Paris, OCDE, Mai 1998. [10] Michel QUEVIT, Quel travail de prospective pour la Wallonie ?, dans Philippe DESTATTE dir., Evaluation, prospective et développement régional, p. 319. [11] On trouvera la Charte sur le site de la Société wallonne de l'Evaluation et de la Prospective : http://www.prospeval.org/Charte-fondatrice.htm [12] Guide des meilleures pratiques à suivre pour l'évaluation, PUMA, Note de synthèse n°5…,  p. 3. [13) William WITHERELL, Le gouvernement d'entreprise : un fondement essentiel de l'économie mondiale, OCDE, Direction des Affaires financières, fiscales et des entreprises, 16 novembre 2000 (document aimablement communiqué par Serge Roland). [14] Interview de Pierre Richard par Jean-Pierre Elkkabach, le 18 mars 2002 sur Europe 1 à 30. [15] Eric MONNIER, Etat des pratiques d'évaluation dans les pays européens, dans Christian DE VISSCHER et Frédéric VARONE éd., Evaluer les politiques publiques, p.  63. [16] Eric MONNIER, Etat des pratiques d'évaluation dans les pays européens,  p. 58. [17] Eric MONNIER, Etat des pratiques d'évaluation dans les pays européens, p. 56. [18] L'expression est de Steve JACOB et Frédéric VARONE, L'évaluation des politiques publiques : état des lieux au niveau fédéral, dans Administration publique, Revue de droit public et des sciences administratives,  Bruxelles, Bruylant, t.2/2001, p. 121. [19) Pour une typologie fine mise en discussion, voir Richard MURRAY, Citizen's Control of Evaluations, Formulating and Assessing Alternatives, dans Evaluation, vol. 8, 1, Janvier 2002, p. 81-100. [20] Des citoyens partenaires, Information, consultation et participation à la formulation des politiques publiques, p. 56, Paris, OCDE, 2001. [21] International Organization for Cooperation in Evaluation, voir http://home.wmis.net/~russon/ioce/bulletin.htm.