Evaluation des actions de santé : pourquoi et comment évaluer ?

par Didier Fassin**, Laure Bichon***, Olivier Rogeaux
Robert de Montvalon, Frédérique Rogeaux

** Institut Santé et Développement, 15, rue de l'École-de-Médecine, 75006 Paris.
*** Association Tokombéré, 14, rue Saint-Benoît, 75006 Paris.

Au cours de l'année 1988-1989, des membres de l'institut Santé et Développement et de l'Association Tokombéré se sont réunis régulièrement pour tenter de mettre en place les instruments d'une évaluation du projet réalisé à Tokombéré (Cameroun).
Les outils ainsi élaborés pouvant être utilisés ailleurs - sous réserve d'avoir été adaptés -, il nous a semblé intéressant de rendre compte de cette collaboration et de présenter ici une situation concrète d'évaluation.

Depuis quelques années, l'évaluation des actions de santé menées dans les pays en développement (tout comme, d'ailleurs, dans les pays industrialisés) est apparue à beaucoup comme une nécessité.

La rareté des ressources et l'échec de beaucoup de projets ont conduit à se poser des questions. Aujourd'hui, on ne peut plus se contenter de faire des choses en pensant qu'elles vont dans le bon sens; il faut mesurer les conséquences et les coûts des actions que l'on réalise. Bien souvent, cette évaluation contribue ainsi à rectifier et améliorer des programmes mal orientés.

Mais pourquoi évaluer? Et comment le faire? Mesurer quoi,

et avec quels indicateurs ? Si l'on veut éviter de faire de l'évaluation une simple procédure technique ou administrative, et si l'on veut au contraire que ce soit une démarche allant réellement dans le sens du développement, c'est d'abord à ces questions qu'il faut tenter de répondre.

Questions aux évacuateurs

Une anecdote permettra de replacer l'évaluation au niveau où l'on oublie souvent de la situer : celui des principaux concernés - les habitants. La scène se passe dans un village près de Tokombéré. Alors qu'une équipe du projet est en train de relever les données statistiques, le chef du village interroge :

- Pourquoi écrivez-vous sur ce cahier le nombre d'enfants qui viennent à la PMI et le nombre d'enfants qui ont été vaccinés ? C'est pour le sous-préfet ?

• C'est pour évaluer la santé du village, répond un médecin de l'équipe, un peu surpris.

-Mais ça veut dire quoi : évaluer?

• Évaluer c'est observer le déroulement de l'action de santé et ses effets.

• Comment pouvez-vous faire cela avec les chiffres que vous écrivez ?

-Nous comparerons de mois en mois , et d'année en année, le nombre d'enfants qui

viennent à la PMI ou qui ont été vaccinés. Si ces chiffres augmentent, nous pensons que la santé du village progresse.

-Je vois. Donc, votre but, c'est que tous les enfants viennent à la PMI et qu'ils soient vaccinés. Ce n'est pas compliqué : je vais prévenir les parents qui n'amèneront pas leurs enfants, et leur dire qu'ils doivent vous les conduire la semaine prochaine. Ainsi vos chiffres seront meilleurs et vous serez satisfaits.

En fait, l'équipe sanitaire est un peu prise au dépourvu par cette proposition et demande au chef du village :

• Et vous, qu'est-ce que vous attendez de notre projet ?

- Que nos enfants soient moins malades, qu'ils soient plus gras, qu'ils meurent moins. Que nos femmes accouchent dans de meilleures conditions, qu'elles ne meurent plus en donnant naissance à nos enfants. Que nous dépensions moins d'argent pour les médicaments, car se soigner coûte cher. Que la vie soit moins dure ici.

Les paroles du chef de village viennent rappeler aux animateurs du projet, et plus généralement aux praticiens de la santé publique, qu'évaluer ce n'est pas simplement faire un rapport d'activité, que ce n'est pas parce qu'il y a plus d'enfants présents dans une consultation de PMI ou plus de mères assistant à une séance d'éducation sanitaire que la santé va s'en trouver améliorée nécessairement. Trop souvent, la qualité d'une action de santé est mesurée sur une quantité de consultations, de gestes, de doses. Comment aller au-delà ? Comment observer l'impact plus global sur l'état de santé de la population, et même sur le développement en général.

Mais il y a un autre point que soulèvent implicitement les paroles du chef de village: qui évalue, et au nom de qui ? A force de faire de l'évaluation, une affaire de spécialistes, on en dépossède ceux qui ont moins de compétence dans ce domaine, mais beaucoup à dire : les habitants eux-mêmes, ou leurs représentants.

Principes de l'évaluation

Ces préalables étant faits, on peut tenter de dégager quelques bases communes à toute évaluation :

1. C'est un processus complexe; on ne pourra donc jamais se contenter d'un seul indicateur; il en faudra toujours plusieurs correspondant à plusieurs niveaux d'analyse.

2. La démarche, à étapes successives, part des éléments les plus simples, ne visant qu'à décrire le fonctionnement, pour en arriver aux données les plus compliquées, notamment pour ce qui concerne les effets globaux de l'action entreprise.

3. Dans ce travail, il est nécessaire d'adjoindre aux classiques données quantitatives des éléments qualitatifs, d'autant plus importants que l'on s'élève dans le niveau de complexité.

Plus concrètement, l'évaluation d'une action de santé va conduire à répondre à quatre questions successives :

1. Le programme (ou le service) fonctionne t-il ? C'est-à-dire existe-t-il ? Quelle est son activité, à la fois en chiffres (nombre de séances de vaccination annuelles, par exemple) et en contenu (déroulement de la séance) ? C'est ce qu'on appellera évaluer l'activité.

2. Le programme (ou le service) touche-t-il les groupes cibles ? Autrement dit, parmi les personnes auxquelles il s'adresse (par exemple, les enfants de six mois à quatre ans), quelle proportion est effectivement atteinte (donnée quantitative) et qui sont celles qu'il n'atteint pas (donnée qualitative) ? C'est ce qu'on appellera évaluer la fréquentation.

3. Le programme (ou le service) atteint-il les objectifs qu'il s'est fixé ? Toute activité a (implicitement ou explicitement) des buts à atteindre dans un cadre budgétaire précis (par exemple, augmenter la couverture vaccinale). Le degré d'accomplissement de ces objectifs va donc pouvoir être mesuré. Mais il arrive souvent qu'une activité donnée se fixe plusieurs objectifs; chacun devra alors faire l'objet d'une évaluation. C'est ce qu'on appellera évaluer l'efficacité.

4. Le programme (ou le service) a-t-il eu d'autres effets positifs ou négatifs, dans le domaine de la santé ou du développement ? Il n'est guère pensable qu'une intervention dans un domaine particulier (la vaccination, par exemple) n'ait pas aussi des conséquences sur l'état nutritionnel des enfants (en réduisant l'incidence de la rougeole, il contribue à diminuer la prévalence de la malnutrition), ou sur les budgets des ménages (en, supprimant les coûts dus à certaines maladies) ou sur l'organisation sociale (en favorisant l'information des femmes concernant la santé), etc. Tous ces effets, directs ou indirects, doivent être analysés, plus souvent de manière qualitative que quantitative. C'est ce qu'on appellera l'évaluation d'impact.

Ces différentes étapes décrivent un cheminement. C'est un canevas pour aider à penser et à faire l'évaluation. Ce n'est pas un cadre rigide auquel il faille se tenir absolument.

Interrogations complémentaires

Si l'on considère que l'action menée dans le domaine de la santé (ou de l'agriculture ou de l'hydraulique, peu importe) peut dépasser ses objectifs et intervenir plus généralement sur la disposition au changement social (ce qu'il est convenu d'appeler "participation au développement", dans le langage des institutions nationales et internationales), il va aussi falloir analyser cette articulation entre l'action entreprise et le développement de manière plus globale.

Ainsi pourra-t-on se poser certaines questions :

• L'action (ici, dans le domaine de la santé) touche-t-elle plusieurs secteurs (intégrant dès le départ des éléments dans le domaine de l'agronomie - jardins potagers par exemple - s'il s'agit de nutrition, ou de l'organisation socio politique - comités de santé ou associations de femmes - pour une action de soins de santé primaires) ou bien ne vise-t-elle qu'un secteur (en l'occurrence strictement médical) ?
• L'intervention en cours s'inspire-t-elle d'expériences précédentes dans la même région, ou bien apparaît-elle comme un phénomène isolé ? De la même manière, comment s'articule-t-elle avec les programmes nationaux ou les autres projets locaux (y a-t-il un minimum de coordination ou chacun agit-il selon ses propres prérogatives) ?
• Dans quelle mesure prend-on en compte les nécessités déclarées des gens, leurs préoccupations, leurs problèmes, qui peuvent se situer en dehors du domaine strict de la santé (accès à l'eau, période de soudure, par exemple) ? Et dès lors, comment va-t-on se donner les moyens d'évaluer ces points ?
• En quoi les habitants, ou leurs représentants, sont-ils partie prenante dans l'intervention elle-même, et dans son évaluation ? Comment sont-ils consultés ? Qui sont les partenaires ? Et qui sont les "oubliés. de la participation dite "communautaire" ?

Il s'agit bien sûr de pistes plutôt que d'indicateurs précis, et il n'est pas facile de répondre à ces questions. Cependant, ces points sont à envisager dans tout processus évaluatif si l'on veut qu'il s'intègre dans un projet global de développement.

Les généralités développées ici constituent le cadre dans lequel s'est engagé l'évaluation du projet Tokombéré. C'est pourquoi il nous a semblé nécessaire de les présenter, dans la mesure où ce sont, de plus, des préoccupations de tous ceux qui sont engagés dans le développement sanitaire. Les deux articles à venir donneront une illustration concrète de la démarche adoptée.

L'évaluation des actions de santé :

évaluer un programme de protection materno-infantile

L'évaluation d'une action de santé est autre chose qu'une comptabilité visant à prouver aux autorités sanitaires qu'on voit beaucoup de malades et qu'on injecte beaucoup de doses vaccinales. Après avoir montré, dans l'article précédent, qu'il s'agissait de prendre en compte aussi bien des indicateurs quantitatifs que qualitatifs, de s'intéresser au développement de la collectivité tout autant qu'à sa santé, nous allons illustrer par un exemple concret, celui de Tokombéré (Nord Cameroun), ce que peut être ce travail, en précisant les étapes
et les indicateurs de l'évaluation d'un programme de protection materno-infantile.

La PMI à Tokombéré

L'activité de protection materno-infantile (PMI), à Tokombéré concerne les enfants de zéro à cinq ans et les rassemble avec leurs parents une fois par mois au village. Malgré son nom, comme la plupart des PMI du monde, elle s'adresse plus aux enfants qu'aux mères (mais où est donc passé le M de PMI, s'interrogeait l'auteur d'un article sur la santé maternelle ? ... ).

La séance mensuelle se déroule près de la case de santé du village. Elle comporte deux temps principaux :

• L'animation sanitaire, par les responsables villageois, parfois aidés de l'agent itinérant (qui est un infirmier venu du centre de santé dont dépend la case de santé) ; elle se fait sur un thème choisi selon les problèmes d'actualité (diarrhée, conjonctivite, nutrition, etc.) ; cette animation permet une discussion et débouche sur des conseils pratiques.
• La pesée et le dépistage des enfants malnutris grâce à la courbe de poids; lorsqu'un enfant est dépisté, il est adressé à la responsable de nutrition du village qui suivra ensuite l'enfant en coordination avec le centre nutritionnel du centre de santé.

Il est à noter que les vaccinations se déroulent en dehors de la PMI, dans le cadre de campagnes régulières.

Le schéma de fonctionnement de la PMI étant ainsi défini, on s'intéresse maintenant à voir comment, concrètement, se passent les choses. Cette démarche d'évaluation va nous amener à nous poser une série de questions de complexité croissante, mais tout aussi indispensables.

Evaluer l'activité : la PMI existe-t-elle et fonctionne-t-elle?

Chaque village est sensé se doter d'une PMI. Mais cela se réalise-t-il vraiment? Et les modalités de fonctionnement sont-elles réellement celles prévues par les responsables ?

Pour comprendre que la réponse à la première question n'est pas évidente, il importe de connaître les étapes de la création d'une PMI. Tout d'abord, il faut que le village se déclare favorable à la proposition. Puis, si la décision est prise, il faut choisir et former des responsables villageois. Ce n'est qu'alors que la PMI peut ouvrir. L'évaluation peut donc faire apparaître que la PMI n'existe pas dans un village donné, et il faudra alors savoir à quelle étape on s'est arrêté (par exemple, pas d'unanimité des notables sur la création de ce programme) et pour quelle raison (par exemple, conflit entre deux groupes du village).

De même, pour saisir la nécessité de répondre à la seconde question, on peut se dire qu'une PMI qui existe, mais n'a eu qu'une séance au cours de l'année écoulée, aura probablement moins de résultats sur la santé des enfants qu'une autre qui aura travaillé chaque mois pendant cette même période. Dans la mesure où l'un des objectifs de la PMI est de réunir les enfants mensuellement, on pourra choisir comme critère d'activité : le nombre de séances de PMI par an pour chaque village ayant effectivement eu lieu (théoriquement, il doit être compris entre zéro et douze).

Evaluer la fréquentation :

quelle proportion du groupe cible est atteinte?

Qu'un responsable villageois fasse une séance mensuelle de PMI n'est pas suffisant, car s'il ne voit que deux ou trois mères à chaque fois, le programme est un échec. Il faut donc compter les enfants présents à la séance de PMI.

Mais une mère qui ne conduit son enfant qu'une fois ne profite pas réellement de l'animation sanitaire et ne fait pas régulièrement peser son enfant; le résultat n'est donc peut-être pas celui attendu. Afin de prendre en compte cet élément, on peut retenir seulement le nombre d'enfants d'un à cinq ans venus au moins trois fois dans l'année.

Pourtant si un village qui compte cinquante enfants en a trente (60 %) qui sont venus régulièrement, la performance de la PMI est meilleure, bien que le total soit plus faible, que celle d'une PMI qui a réuni quarante enfants régulièrement sur les deux cents du village (20 %). Autrement dit ce qui compte n'est pas le nombre absolu mais la valeur relative.

Ainsi, peut-on finalement retenir le rapport :

nombre d'enfants de un à cinq ans vus au moins trois fois dans l'année à la PMI

nombre d'enfants de un à cinq ansdu village

Le premier chiffre peut être recueilli soit en vérifiant les listes mois par mois, si l'on a les noms (mais c'est assez long), soit plus simplement mais plus approximativement, en choisissant une fois par an un jour de grande affluence et en vérifiant pour chaque enfant sur son carnet s'il a déjà consulté au moins deux autres fois au cours de l'année (il faut choisir un mois où l'on sait qu'il y a habituellement beaucoup de présents à la PMI pour réduire le risque d'erreur).

Le second chiffre peut être estimé soit à partir d'une enquête exhaustive (mais encore une fois c'est long), soit en interrogeant le chef du village, soit enfin en consultant les données du recensement ou de l'état civil quand elles existent.

On remarquera que l'on exclut les enfants de moins de un an : c'est que s'ils ont moins d'un an, ils ont forcément moins de chance d'avoir eu trois séances...

Evaluer l'efficacité : la PMI a-t-elle atteint ses objectifs ?

L'objectif réel de la PMI n'est certes ni de rassembler des mères, ni d'avoir le maximum d'enfants présents, mais au-delà, de pouvoir entre autre dépister et traiter ceux qui souffrent de malnutrition: après avoir évalué les moyens mis en oeuvre, il faut donc en apprécier le résultat final.

Pour cela, on peut utiliser plusieurs indicateurs complémentaires :

• La proportion d'enfants pour lequel une courbe de poids est réalisée et correctement interprétée (indicateur d'activité).
• La proportion d'enfants identifiés comme malnutris, c'est-à-dire présentant une courbe de poids inférieure à la normale ou diminuant anormalement (indicateur d'activité).
• La proportion d'enfants parmi les malnutris dépistés à la PMI, qui ont été suivis par le responsable de nutrition jusqu'au retour à un poids satisfaisant (indicateur d'activité et de résultat).

Le premier indicateur permet de savoir si le dépistage est effectivement réalisé. Le second donne une information sur le taux de dépistage de la malnutrition parmi les enfants présents à la séance : on peut comparer ce taux à la prévalence connue au niveau du pays ou de la région. Le troisième ajoute une donnée concernant le programme de lutte contre la malnutrition : on cherchera à ce que la proportion d'enfants suivis correctement parmi les malnutris dépistés soit proche de un. On peut ainsi mesurer dans quelle mesure les objectifs de dépistage et de suivi ont été atteints. Mais ce n'est pas encore suffisant.

Au-delà de ces objectifs précis, il faut étudier les conséquences plus générales sur la santé d'une part, sur le développement d'autre part.

Evaluer l'impact: quel est le retentissement du programme de PMI?

C'est la partie la plus difficile de l'évaluation. Il faut pouvoir prendre du recul de façon à dépasser l'horizon de l'action proprement dite, et à se demander ce qui a changé (en positif ou en négatif) grâce à elle. Le plus souvent, il sera impossible ici de quantifier l'impact, il faudra recourir à des techniques qualitatives. De plus, dans la majorité des cas, on ne pourra pas distinguer précisément ce qui revient au programme que l'on cherche à évaluer de ce qui est à mettre au crédit d'autres actions menées simultanément ou, plus généralement, au changement social. C'est ce que nous allons analyser concrètement maintenant.

Au niveau de la santé, on a constaté que l'incidence et la mortalité de la rougeole diminuaient à Tokombéré durant les années de fonctionnement de la PMI. C'est bien sûr principalement grâce au programme élargi de vaccination, lequel ne fait pas partie de l'action de PMI. Cependant, l'action de PMI a participé très probablement à la réduction de la fréquence et surtout de la gravité de la rougeole de deux façons indirectes : d'une part, à travers les séances d'animation qui ont rappelé aux femmes l'importance de la vaccination (action éducation), et d'autre part, grâce à la réduction de la malnutrition, l'efficacité du vaccin est augmentée et la sévérité de la rougeole diminuée (action nutritionnelle). On voit bien que la lutte contre la rougeole n'était pas inscrite dans les objectifs de PMI et que pourtant le recul de cette maladie est à mettre en partie au compte de cette action. Le programme de PMI intervient ainsi sur plusieurs maladies, directement (malnutrition) ou indirectement (rougeole), ce qui permet d'utiliser l'indicateur mortalité infanto-juvénile (taux de décès avant cinq ans) comme l'un des outils de l'évaluation - lorsqu'on peut le calculer.

Au niveau du développement du village, le programme de PMI a eu des conséquences de divers ordres. On peut penser que le dépistage et le traitement précoces de la malnutrition ont permis de réduire le nombre d'enfants conduits dans un état grave au centre de santé: outre le bien sur la meilleure santé et vie des enfants, il y a eu aussi gain de temps et d'argent pour les parents; ce qu'on peut tenter de vérifier auprès de quelques familles. On peut avancer également que le travail d'animation et de participation a favorisé un espace de réflexion d'où est partie, par exemple, l'idée de construire un puits faisant suite à des discussions sur les causes de la diarrhée. Enfin, et plus directement, la nécessité de trouver des aliments pour les enfants à renutrir a conduit à la création de champs cultivés en commun permettant des récoltes qui sont utilisées pour les enfants; de là est parti ensuite le projet d'introduction de nouvelles cultures et de nouvelles techniques. Bien entendu, l'action de la PMI, et même l'action sanitaire plus généralement, ne sont pas seules en cause, mais elles ont participé à l'éclosion de ces formes de développement.

Conclusion

Il s'agissait ici de montrer à travers un exemple les différentes étapes de l'évaluation d'une action de PMI dans le projet de Tokombéré. Ailleurs, d'autres indicateurs peuvent paraître plus pertinents. L'important de l'évaluation c'est :

1. Qu'elle soit comprise comme une mesure à plusieurs niveaux, ce qui conduit nécessairement à avoir une série d'indicateurs.

2. Qu'elle soit répétée dans le temps de façon à voir comment se fait la tendance d'une année sur l'autre pour chaque indicateur.

3. Que chaque valeur ou tendance soit examinée et expliquée, de façon à savoir pourquoi tel indicateur diminue ou stagne, c'est-à-dire de façon à identifier les points faibles ou incertains du programme. Ceci débouche vers une réflexion avec tous les partenaires concernés sur l'amélioration des points faibles et la définition de nombreux axes de travail.

L'évaluation des actions de santé:

3.évaluer un programme de surveillance prénatale

L'évaluation, malgré la diversité des actions et des situations auxquelles on l'applique, suit un certain nombre de principes généraux qui ont été analysés dans un premier article et qu'on a pu voir concrètement à l'oeuvre dans un second texte à propos des programmes de PMI. Pour achever cette présentation, nous montrons ici, à travers un autre exemple, mais à partir d'un cheminement identique, comment on peut réaliser l'évaluation d'un programme de surveillance prénatale.

La surveillance prénatale

L'action menée à Tokombéré (Nord Cameroun) pour le suivi des femmes enceintes repose sur un travail préalable de formation des accoucheuses traditionnelles ou de matrones bénévoles. Celles-ci, choisies par le village, bénéficient d'une préparation ou d'un recyclage auprès des sages-femmes des centres de santé. Une fois formées, elles vont être chargées de la réalisation de la consultation prénatale mensuelle et des accouchements concernant les grossesses normales. La consultation prénatale se déroule sous la supervision des sages-femmes de centres de santé et comprend deux temps :

• L'animation sanitaire par les accoucheuses traditionnelles ou matrones se prolonge souvent par une discussion avec les femmes présentes à la consultation; les thèmes abordés touchent le déroulement de la grossesse et de l'accouchement, la santé de la mère et de l'enfant, la prévention de certaines maladies, la nutrition.
• La consultation proprement dite qui permet de dépister les grossesses à haut risque (correspondant à l'un des facteurs suivants : primiparité, multiparité supérieure à six, antécédent de grossesse pathologique, oedèmes des membres inférieurs) et de prendre quelques mesures préventives (du paludisme en donnant de la chloroquine, de l'anémie en donnant du fer, et du tétanos en vaccinant).

L'accouchement, en cas de grossesse normale a lieu au village avec l'aide de l'accoucheuse traditionnelle ou de la matrone qui surveillera également les suites de couches et effectue les soins du cordon. En revanche, en cas de grossesse à haut risque, il a lieu au centre de santé. Il est à noter que seules les grossesses suivies peuvent bénéficier d'un accouchement par une accoucheuse traditionnelle recyclée ou une matrone bénévole.

Evaluer l'activité : la consultation existe-t-elle et fonctionne-t-elle?

Dans la mesure où la création d'une consultation prénatale est le résultat d'une action de sensibilisation par le projet, puis d'une prise de décision par les responsables villageois, ensuite d'un choix d'accoucheuses ou de matrones, enfin d'une phase de formation par les sages femmes au niveau des centres de santé, il est important de savoir si, dans chaque village, cette consultation existe bien. Au cas où elle n'existe pas, il faut tenter de voir à laquelle des quatre étapes le processus s'est bloqué : par exemple, refus d'une accoucheuse traditionnelle de participer au programme.

Dans le cas contraire, c'est-à-dire si la consultation existe, il se peut qu'elle ne fonctionne que très irrégulièrement. Il faut donc comptabiliser le nombre de séances qui ont lieu chaque année (il doit être compris entre zéro et douze, et sera d'autant meilleur que plus près de douze).

Evaluer la fréquentation quelle proportion du groupe cible est atteinte?

Il ne suffit pas qu'une consultation ait lieu pour qu'elle améliore le suivi des grossesses : il faut aussi qu'elle rassemble des femmes enceintes, et que celles-ci soient vues au moins trois fois pour que la surveillance puisse servir réellement au dépistage du risque ou des complications.

On devrait donc mesurer les rapports :

nombre de femmes ayant consulté au moins trois fois pendant leur grossesse

nombre de grossesses survenues au cours de l'année

Cet indicateur était un peu compliqué à calculer, on peut en avoir une valeur approchée et satisfaisante par le rapport :

nombre d'accouchements par une spécialiste du programme

nombre de naissances pendant l'année

Le nombre d'accouchements par une spécialiste du programme (accoucheuse traditionnelle recyclée, matrone bénévole ou sage-femme) est en fait théoriquement le même que le nombre de femmes suivies puisque, pour accoucher avec une spécialiste, il faut avoir été suivie pendant sa grossesse : ce nombre est la somme des accouchements faits au village par une accoucheuse traditionnelle ou une matrone (grossesses normales) et des accouchements faits au centre de santé par une sage-femme (grossesses à haut risque).

Le nombre de naissances au cours de l'année est donné par l'état civil lorsqu'il existe et qu'il est fiable; sinon il faut faire une enquête dans le village en demandant dans chaque ménage si un enfant est né dans l'année.

Evaluer l'efficacité : le programme a-t-il atteint ses objectifs?

L'objectif principal de la consultation prénatale est le dépistage des grossesses à haut risque et leur accouchement avec une sage-femme au centre de santé. C'est donc ce que doivent mesurer les indicateurs d'efficacité.

Pour mesurer l'efficacité du dépistage, on calcule le rapport :

nombre de grossesses à haut risque dépistées

nombre de naissances au cours d'un an

comparé au rapport idéal défini dans chaque contexte.

Il apprécie la qualité du travail de dépistage par les accoucheuses traditionnelles et les matrones bénévoles; pour une région donnée, la proportion de grossesses à haut risque est à peu près constante; par conséquent, un chiffre trop bas fera craindre un dépistage insuffisant.

Pour mesurer l'efficacité du suivi des grossesses à haut risque, on calcule le rapport:

nombre d'accouchements au centre de santé par une sage-femme

nombre de grossesses à haut risque dépistées

Le second indicateur apprécie la qualité du lien entre les structures villageoises et le centre de santé, et en particulier le transfert des grossesses à haut risque; idéalement, il doit tendre vers un.

D'autres indicateurs d'efficacité pourraient être retenus: proportion de femmes enceintes sous chloroquine ou sous fer ou ayant reçu le vaccin antitétanique.

Evaluer l'impact: quel est le retentissement du programme?

Au-delà de la surveillance de la grossesse et de l'amélioration des circonstances d'accouchement, le programme, dans la mesure où il s'intègre dans un projet de soins de santé primaires, vise plus généralement à transformer les conditions de santé et de développement, notamment pour les femmes.

Dans le domaine de la santé, l'indicateur classique est la mortalité maternelle (celle qui est en relation avec la grossesse, l'accouchement et l'avortement). Cependant, cet indicateur est difficile à calculer à partir de l'état civil, car on ne note pas systématiquement les morts maternelles. De plus, comme le nombre de morts maternelles par an dans un village est - heureusement! - faible (au maximum 2), il est difficile de tirer des conséquences des variations annuelles.

Au niveau du village, il est plus utile de mesurer la réduction de fréquence du tétanos néonatal (ou tout au moins du tétanos néonatal hospitalisé), conséquence directe de la vaccination antitétanique des femmes enceintes.

Dans le domaine du développement, on note la constitution, favorisée (sinon déterminée complètement) par la consultation prénatale, de groupes de femmes qui se réunissent dans le cadre d'ateliers (couture, tricot ... ) ou de travaux collectifs (champ ou élevage en commun). Il s'agit bien là de conséquences indirectes du
programme qui rassemble les femmes chaque mois pour parler avec elles. On pourrait en trouver d'autres.

Conclusion

Les deux illustrations de l'évaluation - le programme de PMI et le programme de santé maternelle - ont permis de montrer concrètement comment se fait ce travail. Pour que l'évaluation soit réellement utile, on doit ajouter quelques points :

• Tout d'abord, il ne faut pas se contenter de mesurer la valeur ou les variations des indicateurs ; il est également nécessaire de s'interroger sur les raisons d'une valeur ou des variations de façon à pouvoir intervenir de manière appropriée en cas d'évolution défavorable de l'un des indicateurs; il faut également regarder le côté qualitatif de l'action et de ses indicateurs.
• Les résultats de l'évaluation seront un support pour les échanges et la coordination avec les autres projets locaux, régionaux ou nationaux.
• Il ne faut pas que l'évaluation ne concerne que les praticiens de la santé (médecins, infirmiers ... ); il est également nécessaire d'associer les populations, ou tout au moins leurs représentants, à l'ensemble du processus, de façon à faire de l'évaluation une activité contribuant au développement.