Evaluation, gestion démocratique et développement régional Journées d'étude, Charleroi, 3 mars 2000 Le développement des pratiques d'évaluation en France et en Europe (1) Fabrice Hénard consultant; cabinet MOUTERDE Consultants, spécialisé en évaluation de politiques publiques et aide à la décision publique   I. Les pratiques en France I.1. Rappel du cadrage réglementaire Après une période de Rationalisation des Choix Budgétaires (1970-1983), qui a introduit les premières réflexions sur l'allocation efficace des moyens budgétaires dans les politiques publiques, plusieurs étapes récentes ont marqué un intérêt croissant des pouvoirs publics nationaux pour l'évaluation des politiques publiques : 1989 : Rapport du parlementaire Viveret sur le renouveau du service public : ce rapport introduit la notion de jugement de valeur. Evaluer une politique, c'est porter un jugement sur sa valeur, et formuler de nouvelles interrogations telles que : réussite ou échec de la politique ? possibilité de prise en compte d'autres critères que les critères techniques ? que faire de ce jugement de valeur ? 22.01.1990 : Décret relatif à l'évaluation des politiques publiques : l'évaluation est définie comme une comparaison entre les effets attendus d'une politique et ses objectifs assignés. Le décret crée le Conseil Scientifique de l'Evaluation. 9.12.93 : Circulaire ministérielle rendant obligatoire l'évaluation dans les Contrats de Plan Etat-Région elle fixe les modalités d'évaluation dans les CPER 1994-98, en orientant davantage l'objet des évaluations vers la recherche de la pertinence des politiques publiques. Environ 6/10.000ème des crédits d'Etat consacrés au CPER sont alloués aux évaluations, soit entre 1, 5 et 3 MF par région (environ 50 MF pour l'ensemble des régions). 18.11.98 : Second décret relatif à l'évaluation des politiques publiques. Le Conseil National de l'Evaluation remplace le CSE. Le CNE intègre les collectivités locales qui sont parties prenantes de l'évaluation. Ce décret insiste également sur la prise en compte dans les évaluations de l'efficacité et de l'efficience. Adossé au Commissariat au Plan, le CNE effectue des évaluations selon un programme annuel et peut conseiller les administrations.   I. 2. La pratique française de l'évaluation : I. 2.1 Une pratique encore timide au niveau de l'administration centrale : Au niveau de l'administration centrale française, l'évaluation fait encore figure d'exceptions, qui se déclinent de façons diverses. Plusieurs dispositifs législatifs ou des politiques spécifiques font l'objet d'évaluation, par exemple : loi sur le RMI, politique du logement, politique industrielle, etc. Dans certains secteurs, l'évaluation commence à se systématiser et à produire des résultats intéressants (emploi, éducation). Cependant, l'évaluation en administration centrale demeure limitée et s'introduit difficilement dans l'action administrative ; sa visibilité reste faible. Le flou entre "évaluation" et "contrôle" perdure. Les évaluations nationales sont menées à l'initiative de plusieurs commanditaires, mais leur développement est inégal : Les dispositifs interministériels mènent des évaluations sur des thèmes souvent larges (exemple : évaluation de la politique de la montagne). Depuis 1990, le CSE puis le CNE ont réalisé une quinzaine d'évaluations. Certains établissements publics se lancent dans des évaluations : Caisse Nationale des Allocations Familiales, Caisse des Dépôts et des Consignations… Le Parlement développe quelques initiatives, mais qui restent encore trop peu connues. Deux offices ont été créés (sur l'évaluation des politiques publiques et sur l'évaluation de la législation). En 1999, une Mission d'Evaluation et de Contrôle a été créée. La Cour des Comptes ne met pas œuvre elle-même évaluations. Elle pose surtout la question de l'efficacité des politiques qu'elle contrôle. Elle considère que son rôle est de vérifier l'évaluabilité d'une politique. I.2.2. Un développement notable des pratiques au niveau régional : La décentralisation puis le développement des procédures contractuelles renforcés par les règlements des fonds structurels européens ont fortement contribué au développement de l'évaluation en région. D'abord, le niveau déconcentré régional de l'administration nationale se montre nettement plus volontaire que celui de l'administration centrale. L'évaluation y est proportionnellement plus fréquente. Rapide et d'un budget plus restreint que pour les évaluations centrales, elles sont le plus souvent menées par des consultants extérieurs, à la différence du niveau central qui préfère mener lui-même ses évaluations ou bien les confier à des organismes publics ou parapublics. Le positionnement des régions françaises dans les Contrats de plan Etat-Région et les fonds structurels en font des acteurs -et des promoteurs- particulièrement actifs de l'évaluation. Hormis les évaluations obligatoires, les conseils régionaux foisonnent d'initiatives et d'expérimentations locales. Ces collectivités semblent en effet les mieux positionnées pour pratiquer des évaluations. D'abord, elles assurent moins de travail de gestion et d'allocation d'aides qu'une commune ou qu'un département, et disposent davantage de recul pour mener des réflexions sur l'impact de leur politique. Situées au centre d'un jeu d'acteurs dont elles complètent souvent l'action, elles appréhendent mieux les politiques et mesures transversales. De plus, le niveau régional est plus enclin à développer des liens et des pratiques croisées (à titre d'illustration, les régions et les SGAR travaillent ensemble sur de nombreux projets, les personnes se connaissent localement et les politiques de chaque entité sont souvent partagées). Par conséquent, les régions ont développé leurs évaluations en poursuivant de multiples objectifs. Par exemple, l'évaluation peut venir combler un déficit d'instrument de suivi, pour répondre à une demande des procédures contractuelles qui obligent de s'instrumenter davantage. Elle est une ressource de l'administration régionale pour convaincre les élus (instrument de légitimité) et mieux maîtriser l'environnement extérieur auquel elle s'adresse (par exemple : envers le monde de l'entreprise). Elles peuvent également devenir un facteur de médiatisation pour le conseil régional. Le plus souvent, alors même que la loi n'impose aucun contrainte hormis celle de créer les dispositifs d'évaluation prévus dans le cadre des contrats de plan, nombreuses sont les régions ayant développé leurs propres structures d'évaluation. Des comités consultatifs se sont répandus dans l'ensemble des régions, de façon inégale certes, mais réelle. Peu de régions n'ont rien fait. Le modèle le plus souvent adopté est celui d'un comité régional d'évaluation qui décide des travaux à conduire, le pilotage reposant sur la responsabilité d'un groupe de suivi et/ou technique. Après plusieurs tentatives d'évaluations globales souvent coûteuses, les régions ont préféré des évaluations plus fractionnées (par exemple sur un dispositif particulier plutôt que sur toute une politique). Les programmes d'évaluation sont très divers. Si certaines évaluations sont obligatoires (contrats de ville, contrat de plan…), d'autres sont systématisées (programme de développement économique) ou bien dépendent de problèmes particuliers à la région (évaluation d'une politique née d'une configuration régionale, par exemple : trafic routier en zone sensible, équipement des stations de montagne…) I.2.3. Un développement plus restreint mais en évolution dans les départements et les villes Les départements ont tardé à développer une pratique d'évaluation. Le Conseil Général de l'Hérault a élaboré un ambitieux dispositif au début des années 1990 (il vient d'être mis en sommeil), s'appuyant sur le modèle du CSE avec comités d'élus et de techniciens. 6 évaluations ont été menées, parfois dotées de moyens financiers conséquents (politique départementale de l'eau -150 MF-, de l'emprunt, du patrimoine, de la petite enfance, du RMI, du développement local). D'autres initiatives sont remarquables : le Conseil Général des Hauts de Seine, le Conseil Général du Territoire de Belfort (qui a recruté 3 emplois jeunes chargés d'évaluer le RMI sur une longue durée). Les villes sont plus retenues dans leur pratique de l'évaluation. Les structures intercommunales importantes semblent les plus novatrices. Ainsi, la Communauté Urbaine de Strasbourg s'est dotée d'un service spécialisé, composé de 4 chargés de mission et d'un comité de pilotage. L'évaluation est organisée par la CUS comme un outil de management, un conseil auprès des décideurs, un diffuseur de culture de marketing public et d'un dispositif d'écoute de la population.   II. Les pratiques en Europe : II.1 Depuis 1993, l'évaluation se développe en Europe L'évaluation comble progressivement son retard avec les Etats-Unis et le Canada, grâce à un développement quantitatif et qualitatif de ses pratiques. Le langage de l'évaluation s'est stabilisé, les concepts se sont diffusés et les exigences des commanditaires comme des évaluateurs se sont renforcées. La situation reste contrastée en fonction des pays, ou plutôt selon des aires géographiques européennes. Ainsi, l'Europe du Nord est plus impliquée dans une évaluation de qualité qui ne porte pas seulement sur l'évaluation des fonds structurels européens. Les travaux hétérogènes et sporadiques sont devenus plus systématiques dans ces pays. Dans le reste de l'Europe, ces travaux se sont généralisés, mais essentiellement à partir des programmes européens qui obligent à l'évaluation. La réglementation communautaire a en effet joué un rôle indéniable dans le développement de l'évaluation, qui était alors inexistante auparavant (en 1997, plus de 250 évaluations ont été pratiquées sur les programmes d'objectifs 1 et 2 en Europe). Par ailleurs, les compétences se sont renforcées. L'évaluation n'est plus pratiquée de façon artisanale, mais par des professionnels qui affinent leurs méthodes. Cette professionnalisation se développe de différente manière. En Allemagne, Finlande et Belgique, l'évaluation relève encore du champ universitaire et de la recherche plutôt que de filiales privées de grands groupes. Dans les pays du Sud se multiplient les petites structures privées, à la suite des évaluations de fonds structurels. Dans le reste de l'Europe, les types d'organismes chargés d'évaluation se sont panachés (universitaires, sociétés privées, grands groupes de conseil). Parallèlement, les outils se complexifient : les modèles économétriques utilisés en Allemagne, Italie, Irlande, Belgique se diffusent. Les statistiques comparatives se développent, permettant l'analyse des liens de causalité. L'analyse par groupe de comparaison, que pratiquaient la Grande-Bretagne et le Danemark, se rencontre maintenant en France, Allemagne, Suède, Espagne, surtout pour évaluer les politiques de l'emploi. II.2 L'évaluation couvre des finalités différentes selon les pays et leur expérience d'évaluation Le développement de l'évaluation ne peut s'imputer exclusivement aux initiatives et obligations européennes. Plusieurs pays, ceux de l'Europe du Nord en tête, considèrent que l'évaluation peut apporter de nombreux enseignements pour l'élaboration de leur politique publique. L'évaluation suit un lent processus d'appropriation qui évolue dans le temps. L'intérêt de l'évaluation se renforce progressivement et se diffuse parmi les chargés d'évaluation, puis parmi les cadres chargés de l'élaboration des politiques, puis auprès des politiques qui s'en servent comme élément de réflexion, d'orientation et de choix. L'expérience de l'évaluation conduit au final à utiliser les résultats dans le processus même d'élaboration et de gestion des politiques publiques. Ce processus se déroule de la manière suivante. D'abord, d'une contrainte réglementaire, plus ou moins bien vécue par les administratifs et les élus (situation actuelle des pays du Sud de l'Europe), l'évaluation se développe dans une logique de management (cas de la France, de la Belgique, du Royaume-Uni, de l'Irlande et de l'Allemagne notamment ), puis elle s'intègre dans les processus de décision publique (Danemark, Pays-Bas, Suède).   (1) NB : Une partie de cet exposé est basée sur l'intervention de MM. Eric MONNIER et Jean-Claude BARBIER lors de leur intervention au colloque fondateur de la Société Française d'Evaluation, juin 1999. Journées des 3 et 31 mars 2000 :   Evaluation, gestion démocratique et développement régional   Prospective, pilotage stratégique et développement régional