A l’instar de nombreux concepts, dans des domaines variés, il existe plusieurs définitions de l’impact social et des concepts qui lui sont reliés. Les définitions proposées ici sont répandues et partagées, mais des subtilités peuvent toujours faire débat. Ces définitions sont donc proposées pour offrir un cadre clair et sans ambiguïté à tout utilisateur novice de VALOR’ESS : ces définitions sont celles sur lesquelles l’ensemble de cet outil a été construit, de la grille d’indicateurs aux conseils pratiques donnés avec l’accompagnement du cabinet de conseil Koreis.

Selon le Conseil supérieur de l’ESS, l’impact social désigne un « ensemble de conséquences (évolutions, inflexions, changements, ruptures) des activités d’une organisation tant sur ses parties prenantes externes (bénéficiaires, usagers, clients) directes ou indirectes de son territoire et internes (salariés, bénévoles, volontaires), que sur la société en général. Dans le secteur de l’ESS, il est issu de la capacité de l’organisation (ou d’un groupe d’organisations) à anticiper des besoins pas ou mal satisfaits et à y répondre, via ses missions de prévention, réparation ou compensation. Il se traduit en termes de bien-être individuel, de comportements, de capabilités, de pratiques sectorielles, d’innovations sociales ou de décisions publiques. »

L’indicateur d’impact est souvent confondu avec d’autres concepts (performance, résultat), plus ou moins proches, et souvent présents dans le cadre d’une évaluation d’impact.

Les différents types d’indicateurs

L’indicateur de performance : c’est une mesure de production, directement reliée aux activités de la structure qui comptabilise les réalisations effectuées.
Exemples : nombre de bénéficiaires touchés, nombre de formations au numérique déployées, nombre d’atelier d’entretiens d’embauche réalisés etc.

L’indicateur de résultat : c’est une mesure du changement opéré suite à l’activité. Plus complexe à mesurer que l’indicateur de performance, il nécessite une démarche d’enquête pour recueillir les informations nécessaires.
Exemples : nombre de bénéficiaires qui ont augmenté en compétences numériques suite à la formation ; nombre de bénéficiaires qui ont trouvé un emploi suite à l’atelier d’entretien d’embauche...

L’indicateur d’impact : c’est également une mesure du changement, mais basée sur la part attribuable à l’activité. Elle prend donc en compte la part de changement qui aurait opéré, toutes choses égales par ailleurs.
Exemples : nombre de bénéficiaires qui ont augmenté en compétences numériques et qui n’auraient pas pu développer ces compétences sans le programme (si problématique d’accès...); nombre de bénéficiaires qui ont trouvé un emploi et qui n’en n’auraient pas trouvé dans les mêmes délais sans le programme (si problème de mobilisation personnelle, de mobilité...).

L’ensemble de ces trois types d’indicateurs ont leur importance dans le cadre d’une évaluation. Les indicateurs de performance permettent non seulement un suivi de l’activité, mais sont également utiles à une démarche d’évaluation d’impact (exemple : il faut connaître le nombre de bénéficiaires par activité pour identifier l’échantillon idéale d’une évaluation d’impact). Les indicateurs de résultats sont utiles dans le cadre d’une analyse d’efficacité des actions, en les comparant à des objectifs fixés a priori. Les indicateurs d’impact quant à eux sont utiles pour identifier dans quelle mesure la mission sociale qu’une structure s’est donnée est atteinte. Ils permettent également l’identification des points forts et des points faibles de la stratégie mise en place pour remplir cette mission, et l’évolution de cette stratégie le cas échéant.

Cadrage

Avant de se lancer dans une démarche d’évaluation d’impact, il est primordial de réaliser en amont un travail de cadrage de la démarche. Celui-ci passe par l’identification de la finalité de l’étude d’impact ainsi que des ressources disponibles pour engager et conduire cette démarche. Un travail de modélisation théorique de toute la stratégie d’impact est également nécessaire, par exemple via la Théorie du Changement. Il existe plusieurs publications techniques pour approfondir le sujet comme Repères sur les théories du changement- F3E ou encore Théorie du changement, notes méthodologiques de l’Unicef

Il est aussi indispensable de bien connaitre l’environnement de la structure. Pour cela, il est conseillé de réaliser un travail de cartographie des parties prenantes et d’identifier le public qui est au cœur de la mission sociale de la structure. D’ordinaire, ces acteurs sont les bénéficiaires de la structure et c’est auprès de cette population que les informations seront recueillies via une démarche d’enquête.

Il existe plusieurs guides sur le sujet pour accompagner les structures dans cette phase de cadrage comme Le Petit précis de l’évaluation de l’impact social ou encore le Guide de la mesure d’impact social.

Quelles ressources dois-je prévoir ?

Temps : les indicateurs d’impacts sont les plus gourmands en temps requis, car les données sont plus complexes à recueillir et les analyses statistiques plus poussées. Le temps nécessaire à la mesure d’impact peut tout de même très fortement varier selon les choix méthodologiques opérés. Par exemple, une étude nécessitant une mesure en amont et en aval d’une formation de 9 mois demandera nécessairement un temps consacré à la réalisation de l’étude supérieur à ces 9 mois.

Ressources humaines : l’effectif des personnes mobilisées pour réaliser la mesure d’impact est aussi variable selon la méthodologie choisie et le calendrier. Il est conseillé de désigner au moins un chef de mission pour coordonner toute la démarche. Les autres ressources humaines nécessaires dépendent de l’organisation de la structure, mais dans l’ensemble il est nécessaire d’identifier :

• les personnes ayant accès aux informations clés (statistiques déjà disponibles comme le nombre de bénéficiaires par activité/par année, la liste des contacts des bénéficiaires, des outils de suivi déjà existants, etc.),
• les personnes expertes de tout ou partie des activités (par exemple des responsables de programme, des formateurs, des chargés d’accompagnement, etc.) qui vont notamment pouvoir participer au cadrage,
• les personnes responsables de la création des outils, de la collecte, de l’analyse, de la restitution des résultats.

Dans le cadre d’indicateurs d’impact, des connaissances poussées en analyses statistiques sont primordiales.

Les outils de recueil des données : les outils choisis dépendront des choix méthodologiques, qui eux-mêmes dépendent des objectifs de l’évaluation. Ces outils peuvent être le questionnaire, l’entretien, l’observation, le focus groupe, le tableau de suivi interne, les données publiques. L’outil le plus courant est le questionnaire puisqu’il facilite la standardisation des mesures, qui est une condition idéale à la mesure d’impact.

L’accompagnement externe : une démarche d’évaluation d’impact peut être soit internalisée soit faire l’objet d’un accompagnement externe. Les deux cas de figure sont également cumulables : une structure peut avoir internalisé une partie des impacts prioritaires dans le cadre d’un suivi interne et recourir à un accompagnement pour des études plus complexes à mettre en place. L’intérêt de l’internalisation de la mesure d’impact est qu’elle va aider la structure à piloter sa stratégie de façon très flexible. L’intérêt d’un accompagnement externe se manifeste dans deux cas si la structure n’a pas de personnels possédant les compétences méthodologiques et statistiques pour mettre en œuvre une évaluation d’impact et/ou si elle dispose des compétences nécessaires mais pas du temps requis par la forte charge de travail que demande une démarche d’évaluation d’impact.