12 Fév outil d'évaluation animation
Les experts qui sont chargés de collecter des données pour le compte du groupe de négociation, en vue de compléter l'information, au fur et à mesure de l'exercice. Sont-ils les plus pertinents au regard de rang x ? La principale erreur à éviter en matière d'étude de cas en évaluation est d'affirmer sans preuve. Permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre. Chacune des boites de la colonne centrale du diagramme représente en effet les choix opérés (objectifs retenus, objectifs non retenus), alors que les boites latérales représentent les flux de ressources qui sont les justifications externes de ces choix. Ce code peut être la date du choix. Association Service Jeunesse - 105 C Rue Jean De Cambiaire 97480 SAINT JOSEPH - Tél. Une identification valable pour tous les types d'évaluation ne peut être que générale. Elle est l'interface entre la conceptualisation de l'étude et sa mise en œuvre. Il se peut néanmoins que les évaluateurs et les gestionnaires de l'évaluation s'accordent sur le fait que l'ancienneté des premiers documents ne garantisse pas la disponibilité des documents et informateurs à même de permettre la construction d'un diagramme des décisions. Les diagrammes des objectifs et impacts s'avèrent en général de bons outils de reconstruction et de représentation du système des objectif et/ou du système des effets. Ces 6 thèmes sont donc un guide à la préparation des réunions et permettent de ne pas oublier chaque domaine important. affiner la liste des catégories de personnes à rencontrer et de la bibliographie de base. Les choix que mérite d'interroger le diagramme des décisions sont : On ne doit pas se cacher toutefois que l'exercice de planification est à la fois stratégique (mise en place des meilleurs moyens pour atteindre les objectifs de différent niveau) et empirique (utilisation des moyens connus justifiable par la poursuite de certains objectifs). Quel que soit le cas de figure, l'évaluateur proposera en annexe la liste de tous les problèmes pris en considération répartis entre les deux catégories : L'identification du problème principal parmi les nombreux problèmes identifiés est l'étape cruciale du processus. L'analyse coût-efficacité permet de comparer des politiques, des programmes ou des projets entre eux. Il visualise les choix effectués au cours de l'élaboration de la stratégie et leurs conséquences que les objectifs retenus et les impacts attendus. Les conclusions du panel sont-elles fidèlement prises en compte ? Afin de s'assurer de la motivation des participants, l'animateur doit rencontrer les participants avant la tenue de la séance, afin de leur permettre d'arriver à la séance en ayant compris le principe du déroulement du focus group et en ayant déjà réfléchi au sujet. De ce fait, cette sélection constitue un moyen de focaliser l'évaluation sur des grandes questions et enjeux prioritaires de la stratégie de coopération. Il convient de distinguer en deux temps : Ces catégories d'acteurs sont à affiner en cours d'évaluation, avec éventuellement des entretiens complémentaires à prévoir. Elles ont pour but d'étudier les effets observés (bons ou mauvais, attendus ou non) et de voir s'ils sont liés au(x) programme(s) ou stratégies mis en œuvre. Par exemple, pour une intervention visant à améliorer l'efficacité de l'enseignement fondamental, le critère d'efficacité retenu peut être l'accroissement du niveau moyen des connaissances fondamentales acquises au cours du cycle primaire. Exemple type : diagramme des problèmes à double arborescence. En effet, autant il est possible d'appréhender l'organisation sociale à l'échelle d'un projet localisé, autant il est risqué de calquer une telle démarche à l'échelle nationale - le risque étant de se perdre dans la complexité sociale. donne lieu à d'importantes variations entre sites (règles appliquées de manière différente, écarts entre les mesures mises en œuvre d'un site à un autre, …). Les questions fermées sont des questions pour lesquelles on impose au répondant une forme précise de réponse et un nombre limité de choix de réponses. ? La neutralité des animateurs vis-à-vis des enjeux de la thématique des focus group a-t-elle pu être assurée ? 'Using the Engendered Logframe for Monitoring and Evaluation', Helen Hambly Odame, ISNAR, August 2001. deux sur questionnaire fermé (s'adressant d'une part aux ménages et d'autre part aux usagers des centres de soins : en tout 660). Le temps de préparation des focus groups peut exiger une durée assez longue. Il est important de vérifier avec l'animateur et avant la séance que tous les termes et les expressions utilisés dans le guide d'animation sont bien compris. Il faut donc identifier les problèmes en tant que : Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Quelle que soit la méthode choisie, la préparation des réunions repose, au minimum, sur l'analyse documentaire et la rencontre avec quelques personnes ressources clés. La connaissance culturelle et sociale nourrit la compréhension de facteurs qui déterminent des comportements économiques, des pratiques institutionnelles, des phénomènes de résistance au changement. La méthode et les rapports distinguent-ils bien les faits des opinions ? La richesse du focus group en fait un outil souple qui peut s'adapter à différentes phases et à différents types d'évaluation. les études de cas de la mise en œuvre et /ou des effets sur une série de programmes au sein de l'évaluation d'un pays. Ceci sous entend donc la présence de l'évaluateur sur le terrain au contact même de la réalité, ce qui est un des points fondamentaux de l'étude de cas. des objectifs d'un certain rang liés à plusieurs objectifs de rang immédiatement supérieur. Dans les méthodes par agrégation complète, un indice de synthèse permet de représenter l'agrégation de tous les critères. Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes, il est utile que l'évaluation valide l'analyse qui en a été faite. L'enquêteur doit rester le plus près possible de la conversation en acceptant les détours, les incohérences, les pauses, les hésitations, etc. les indicateurs monétaires et financiers. un problème (une cause) d'un certain rang explique l'existence d'un problème (une cause) de rang (immédiatement ou non) supérieur. Les ressources (experts, budget, temps) mobilisables pour la mise en œuvre des outils sont-elles judicieusement utilisées ? Que représente le diagramme des décisions? Un système commun au donneur et à son partenaire. De quels aspects du programme la personne interrogée est-elle en charge ? Quelles sont les conditions de faisabilité? Dans la disposition horizontale, le diagramme se lit de droite à gauche ou de gauche à droite. Dans de nombreux pays, la rareté et la fiabilité réduite des sources statistiques limitent les possibilités de choix. Un rôle d'intégrateur : il doit assurer une critique positive de la production de chacun des membres afin d'améliorer les réflexions produites. et en tout ou partie, à la question "pourquoi ?". Ce type de méthodes sélectionne une variante, élabore un proposition de quelques alternatives puis reprend l'analyse en boucle. Quel type d'intervention ou quelle association d'interventions procurent (ou auraient procuré) les meilleurs résultats, en fonction de l'objectif final visé et des ressources disponibles ? Une relative simplicité d'usage, pour les évaluateurs maîtrisant déjà les techniques d'entretien, de triangulation, d'observation, d'analyse de donnée. les annexes du rapport doivent idéalement contenir : la liste des participants et leur fonction, les résultats d'éventuelles étapes intermédiaires (ex : SWOT avec différents groupes d'acteurs, SWOT thématiques, etc.). En 1997, les Nations Unies ont décidé de produire un système de Bilans Communs de Pays (CCA : " Common Country Assessment "). Le choix des outils d’évaluation et la méthode de collecte de données doivent toutefois prendre en compte les facteurs suivants: A-t-on mis en place un mécanisme de suivi et de contrôle des enquêteurs ? Dans ce tableau D, les colonnes collectent les données suivantes : Les documents intermédiaires sont adressés aux gestionnaires et au groupe de référence de l'évaluation. Certains finalisent l'analyse en hiérarchisant les forces afin de mieux distinguer les sujets d'importance plus élevée de ceux qui le sont moins. Our animation was about themarriages that took places with King Henry VIII. Lorsque l'échantillon est représen-tatif, elle permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés. Project appraisal 2(4) ", Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects, Coleman G., 1987, p. 251-259. Il existe différentes méthodes d'agrégation des jugements : la somme pondérée, le produit pondéré, l'approche par surclassement, etc. Il peut arriver que le " groupe " ait besoin d'informations supplémentaires au cours de l'analyse, pour pouvoir poursuivre son travail (ex : précision sur les effets sur l'environnement de telle action). L'enquête par questionnaire est un outil d'observation très performant, notamment pour la collecte d'informations auprès d'un grand nombre de bénéficiaires finaux. Tout en comprenant les mêmes mots, ces derniers peuvent avoir des logiques différentes. A ce stade, il faut s'assurer que deux exigences fondamentales, pour réaliser concrètement ces études, sont bien remplies: Une fois cette liste arrêtée, les consultants demandent au client de leur fournir des lettres de mission, décrivant le but de leur intervention et demandant aux personnes qu'ils vont rencontrer de bien vouloir les assister autant que faire se peut. En évaluation, la reconstitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Aujourd'hui, ces méthodes sont devenues un outil de référence en sciences sociales. Au-delà de la vérification du bon fonctionnement du système établi, ces tests qui doivent, de préférence, être pratiqués avec les membres du " groupe ", ont un effet très didactique et participent à la démonstration de la fiabilité du système. Il est utile de prévoir les moyens pour introduire le questionnaire auprès des personnes à interroger. d'une recherche de la meilleure ou des meilleures solutions pour le " groupe ". En évaluation, les enquêtes par questionnaire sont principalement utilisées pour apprécier l'impact des politiques et des programmes sur différentes catégories de public. sociaux (démographie, activité, genre, etc.). Cependant, si des voyages lointains sont prévus, et assortis de visites de terrain, l'enveloppe financière pour rémunérer le panel et ses frais risque d'augmenter significativement. Ne pas oublier les formules de remerciement pour clore l'entretien. Structurer la réunion en étapes, avec des moments de restitution intermédiaire au groupe. EUROPEAN COMMISSION, EuropeAid, 2004: Project Cycle management guidelines, Vol 1 : Project Cycle Management. Ni le problème principal, ni l'objectif global ne sont explicitement désignés L'évaluateur se trouve alors dans la position initiale du planificateur. L'analyse SWOT permet d'identifier les axes stratégiques à développer. La confrontation de modèles sociaux et politiques entre Nord et Sud mais aussi entre pays du Sud a nécessairement des impacts sur les systèmes nationaux. La pratique montre que ces deux types de problèmes / causes sont les mieux identifiables, alors que les causes intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il en est de même du diagramme des effets. Par exemple en prenant en compte la perte de gains ou de bénéfices résultant du fait de ne pas avoir utilisé à d'autres fins ces financements publics (coût de perte d'opportunité). Qu'est-ce que d'autres font beaucoup mieux que nous ? Dans la méthode issue de la recherche, le choix d'une hypothèse est souvent retenu comme point de départ, que l'étude de cas va chercher à confirmer ou infirmer. et les conclusions de sommets bilatéraux et multilatéraux ; les Documents de Stratégie Pays/Région (DSP et DSR) et les Programmes Indicatif National/Régional (PIN et PIR), les rapports annuels et les bilans à mi-parcours (. Ceci implique que les critères soient tous mesurables et que les préférences soient mathématiquement rationnelles. L'enquête par questionnaire permet de collecter auprès d'un échantillon de population des réponses comparables. Il présente l'enchaînement des décisions, formelles ou informelles, qui conduisent à la programmation de l'aide. Au stade de l'évaluation, les concepts d'objectif et d'effets peuvent être l'un et l'autre utilisés selon les cas. Quelles que soient les méthodes retenues pour réaliser les calculs et les agrégations, l'analyse multicritère produit un (ou plusieurs) tableau(x) de performance permettant de synthétiser les résultats obtenus par action pour chaque critère (éventuellement pour chaque acteur). Le diagramme des décisions se combine parfaitement avec le diagramme des objectifs et des effets (et donc, indirectement, avec celui des problèmes). (0 comments). Représentation des moments de choix : cas des objectifs intermédiaires de premier rang. Cela tient, par exemple, à ce que les relations entre problèmes ou causes dépendent de facteurs nombreux et parfois mal connus. Il est donc nécessaire d'avoir recours à un relais local pour assurer l'organisation d'un focus group - le temps d'une mission d'évaluation étant déjà bien rempli. Dès lors, trois concepts de base pour qualifier la préférence ont été développés dans les analyses multicritères plus récentes : Les méthodes ayant recours à ces concepts très subtils, indispensables dans une analyse des préférences, sont toutes basées sur des logiciels qui facilitent grandement l'élaboration des résultats, du test de sensibilité, des démarches itératives, etc. Cinq phases sont nécessaires lors de la structuration de la méthode d'évaluation avant de décider du type et du nombre d'étude de cas à réaliser: Définir la place des études de cas dans le processus d'évaluation (pour structurer la méthode, fournir les données sur la mise en œuvre, etc.). La grille de questionnement est constituée de l'ensemble des thèmes et questions que l'on souhaite aborder dans l'entretien. deux focus groups de bénéficiaires (villageoises) dans deux localités différentes ; un focus group réunissant les sages femmes et les infirmiers ; un focus group réunissant les médecins du secteur privé et public. Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. L'évaluateur doit notamment faire attention : Il faut donc trouver un équilibre entre : La programmation de 4 à 6 entretiens par jour paraît souvent un bon compromis entre ces deux visions. Il est en cela une étape indispensable dans la construction du diagramme raisonné. La dynamique de groupe incite les participants à approfondir, expliciter et justifier leurs prises de position. Elle représente le premier contact entre la personne interrogée et l'évaluateur ; le choix de la personne qui prend les rendez-vous n'est donc pas neutre. la méthode de préparation des réunions, de sélection des groupes et de conduite des réunions. L'analyse coût-efficacité ramène les résultats obtenus à un indicateur quantifiable unique. Le système d'indicateurs proposé par la Direction Générale du Développement de la Commission Européenne pour les évaluations de performances de l'aide aux pays, a été mis au point en collaboration avec d'autres bailleurs (les Etats membres, la Banque Mondiale, le PNUD et l'OCDE-CAD). Ces documents peuvent présenter des programmes définis conjointement par le donneur et le bénéficiaire. Notamment la sélection des participants, la planification et l'organisation de la réunion requièrent du temps. Loading... Unsubscribe from LearnyBox? Recueil des informations sur les objectifs et les résultats obtenus auprès des responsables, des opérateurs, des acteurs parties prenantes et des bénéficiaires. Les explications alternatives ont-elles été étudiées et rejetées après justification ? Dans les pays concernés, le mode de collecte proposé pour ces indicateurs est le système de monitoring du Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP). CHAMBERS R., 1997 and 2000: Whose reality counts - Putting the first last. Ce type de renvoi existe chez les principaux bailleurs multilatéraux dans la section "statistiques" de leur site, par exemple, le site de l'OCDE. La personne ressource peut s'assurer de la présence de tels participants au sein du groupe. Ainsi, par exemple, même lorsqu'ils sont d'accord sur la pertinence d'un objectif global, les experts peuvent diverger sur la définition des objectifs intermédiaires et, à plus forte raison, des objectifs opérationnels. objectifs qui définissent les résultats attendus) ? Les réponses de chacune des questions évaluatives reposent-elles sur la mise en œuvre d'une bonne combinaison d'outils ? effets attendus de l'aide que prévoit le CSP. Il s'agit donc d'une méthode d'enquête qualitative rapide. Comment s'assurer d'une répartition équitable des participants par groupe d'intérêt et du respect des temps de parole ? Le piège à éviter en matière de généralisation est de vouloir "imiter" des enquêtes en réalisant des études de cas. L'objectif est l'approfondissement collectif et le partage d'un premier choix d'analyses stratégiques à mettre en débat et sur lequel centrer le questionnement. Avant de procéder au test du diagramme provisoire, il convient d'identifier les acteurs qui ont, à titre principal ou secondaire, contribué à la formulation des objectifs (rédaction du chapitre, apports sectoriels, participation à des réunions d'élaboration, etc.). Ceci permet de: La généralisation des résultats de l'étude de cas est évidemment un des points souvent recherchés en évaluation. L'analyse est dorénavant principalement utilisée pour fournir aux décideurs des outils leur permettant de progresser dans la résolution de problèmes décisionnels faisant intervenir plusieurs points de vue, même s'ils sont contradictoires. permettre une meilleure appréhension par certains acteurs, des points de vue d'autres groupes et approfondir ou dépasser la diversité des analyses et points de vue entre types d'acteurs. la part relative de la Commission Européenne parmi les autres bailleurs, etc. La décision est alors politique. Pour chacun de ces domaines, des zones d'enjeux sont identifiées et présentées ici sous forme de tableaux. Les données disponibles permettent-elles d'estimer la pertinence des justifications ? L'animateur a dû alors préciser à nouveau l'objectif du focus group et les fonctions de l'équipe qui l'anime afin de ne pas recueillir des témoignages uniquement sur les centres de santé publics. Un questionnaire est un ensemble de questions construit dans le but d'obtenir l'information correspondant aux objectifs d'une étude. Chaque critère est noté de 1 à 3. Soulignons cependant que les transports peuvent peser lourdement sur le budget dans des pays où ceux-ci sont difficiles. Des seuils de veto correspondant à des exigences réglementaires peuvent également intervenir. Diagramme des problèmes à arborescence simple. Proportion d'accouchement assistés par du personnel de santé qualifié, 7. Dans les méthodes présentées par différentes agences, on peut trouver des organisations aussi variées que suivant : Même si les méthodes peuvent varier, il faut retenir que l'ordre a peu d'importance à partir du moment où la méthode convient à l'auditoire. Elles sont très limitées pour la collecte des indicateurs, car il s'agit de données disponibles sur Internet et le plus souvent gratuites. Dans le cadre de l'évaluation de l'aide au développement, une analyse multicritère considérée comme faisable signifie qu'elle est simple et peu coûteuse. Si par exemple dans l'étude de plusieurs variantes autoroutières, les études détaillées conduites au fur et à mesure du processus de précision du tracé montrent qu'une variante détruit un biotope rare alors l'exigence réglementaire agit comme seuil de veto et cette variante est éliminée. pour une évaluation ex ante. La liste suivante est indicative tant par la nature des documents utilisables que par le type d'information qu'ils contiennent : L'existence de la plupart de ces documents est avérée pour les stratégies établies postérieurement à 2001. une étude faite par des individus, des paires ou des groupes. Dans le cadre d'analyse d'intervention de l'aide publique au développement, la méthode la plus simple et la plus couramment utilisée consiste à additionner toutes le ressources publiques utilisées pour le programme. N'ayant pas pour but de conduire aux conclusions de l'étude, mais d'éclairer et de préparer la suite du travail d'évaluation, les études de cas exploratoires diffèrent des autres types par: Les études de cas exploratoires participent plus de la méthode de structuration de l'évaluation que de l'accumulations de preuves. Le consensus doit être autant que possible visé : le jugement du panel en est largement renforcé. Elles se développent hors du champ d'influence du pays ou à la marge (ex : changement de goût des consommateurs mondiaux concernant une production du pays, amélioration de l'économie d'un pays "client", développement du commerce par Internet, etc. Par exemple, une certaine recherche de représentativité peut être couplée avec le choix d'extrêmes ou de quelques cas spécifiques. Cette méthode d'estimation des coûts est justifiée dans la mesure où des alternatives à l'utilisation des ressources sont clairement identifiées, ce qui de fait est rarement le cas. de la rémunération d'intermédiaires pour faciliter l'organisation de la réunion. La dynamique du groupe dépend de sa composition, et la présence d'une ou deux personnes prenant aisément la parole et incitant les autres à se joindre aux débats peut favoriser la dynamique. L'analyse coût-efficacité compare les coûts à des résultats immédiats, en négligeant les effets à plus long terme. Ainsi, pour une évaluation, il faut compter 3 à 6 mois de travail, et éventuellement moins pour un avis portant sur un domaine technique d'une évaluation. d'une part, en posant systématiquement les mêmes questions au moins à trois sources différentes (donc, trois personnes différentes) avant d'y prêter foi. des variantes d'un aménagement (ex : choix de la localisation d'un port, du tracé d'une route, etc.). Peut être utilisée en évaluation pays avec l'objectif d'apporter du réalisme, Au cours de la phase principale de terrain de l'évaluation, Permet de donner de la réalité aux affirmations contenues dans l'évaluation, Le nombre limité de cas rend la généralisation difficile voire impossible, Peut être utilisée en évaluation pays pour mieux définir les problématiques et les questions d'évaluation, Avant l'évaluation ou lors de la première phase de terrain de l'évaluation, Aide à définir les contours de l'évaluation, les questions à approfondir et donc à structurer l'évaluation, Les résultats, issus de cette étude plus simple qu'une véritable étude de cas, ne sont pas généralisables, Difficilement utilisable en évaluation pays car trop centrée sur un exemple aux caractéristiques très spécifiques, Recommandées en évaluation pays, en version multisites, Lors de la phase principale de terrain mais une étude pilote peut être conduite lors d'une phase initiale pour caler les méthodes, Donnent une forte assise aux assertions de l'évaluation sur les conditions et les effets de la mise en œuvre, Nécessitent d'être conduites sur plusieurs sites afin que les résultats soient généralisables, Très difficilement utilisables en évaluation pays du fait de l'absence d'études de cas antérieures. Le diagramme des objectifs ou celui des effets se révèlent être un moyen très efficace de communication sous la condition qu'il soit immédiatement lisible sans être excessivement simplificateur. (0 comments). Selon les cahiers MEANS de la Commission Européenne, un bon indicateur donne : Selon l'USAID, les indicateurs doivent être cohérents, comparables dans le temps dans différentes situations et doivent être : Les indicateurs de contexte ont l'avantage de permettre : Les ressources en temps sont celles de la recherche d'indicateurs existant déjà.
Evelyne Dhéliat Et Sa Fille, élevage Teckel Kaninchen Poil Ras, Histoire Des Indes Las Casas Pdf, Fleur Colorée Japonaise, Le Petit Poucet Résumé, Mousse Au Chocolat Onctueuse Grand Chef, La Nuit Du Renard, Titus N'aimait Pas Bérénice,
No Comments