Pourquoi des indicateurs d’impact social ?
Vous souhaitez mesurer la façon dont vos activités répondent à votre mission sociale mais créent aussi de la richesse sociale sur votre territoire ?
Pour cela, l’UDES a développé un référentiel d’indicateurs spécialement conçus pour évaluer l’impact social des activités présentes dans les différents secteurs de l’économie sociale et solidaire.
Pour bien utiliser les indicateurs...
Ces indicateurs sont classés en 13 grandes dimensions sociales comme le développement des savoirs, l’amélioration de la santé ou encore l’insertion professionnelle. Ils sont chacun appuyés par des recommandations méthodologiques et des sources de collecte de données pour accompagner vos premiers pas.
Pour bien saisir ses concepts méthodologiques, mais aussi piloter votre démarche et exploiter au mieux vos indicateurs en lien avec les objectifs de votre démarche, retrouvez ci-dessous nos conseils et recommandations, aussi présents dans notre guide d’utilisation en téléchargement.
CONCEPTS ET DEFINITIONS +
A l’instar de nombreux concepts, dans des domaines variés, il existe plusieurs définitions de l’impact social et des concepts qui lui sont reliés. Les définitions proposées ici sont répandues et partagées, mais des subtilités peuvent toujours faire débat. Ces définitions sont donc proposées pour offrir un cadre clair et sans ambiguïté à tout utilisateur novice de VALOR’ESS : ces définitions sont celles sur lesquelles l’ensemble de cet outil a été construit, de la grille d’indicateurs aux conseils pratiques donnés avec l’accompagnement du cabinet de conseil Koreis.
Selon le Conseil supérieur de l’ESS, l’impact social désigne un « ensemble de conséquences (évolutions, inflexions, changements, ruptures) des activités d’une organisation tant sur ses parties prenantes externes (bénéficiaires, usagers, clients) directes ou indirectes de son territoire et internes (salariés, bénévoles, volontaires), que sur la société en général. Dans le secteur de l’ESS, il est issu de la capacité de l’organisation (ou d’un groupe d’organisations) à anticiper des besoins pas ou mal satisfaits et à y répondre, via ses missions de prévention, réparation ou compensation. Il se traduit en termes de bien-être individuel, de comportements, de capabilités, de pratiques sectorielles, d’innovations sociales ou de décisions publiques. »
L’indicateur d’impact est souvent confondu avec d’autres concepts (performance, résultat), plus ou moins proches, et souvent présents dans le cadre d’une évaluation d’impact.
Les différents types d’indicateurs
L’indicateur de performance : c’est une mesure de production, directement reliée aux activités de la structure qui comptabilise les réalisations effectuées.
Exemples : nombre de bénéficiaires touchés, nombre de formations au numérique déployées, nombre d’atelier d’entretiens d’embauche réalisés etc.
L’indicateur de résultat : c’est une mesure du changement opéré suite à l’activité. Plus complexe à mesurer que l’indicateur de performance, il nécessite une démarche d’enquête pour recueillir les informations nécessaires.
Exemples : nombre de bénéficiaires qui ont augmenté en compétences numériques suite à la formation ; nombre de bénéficiaires qui ont trouvé un emploi suite à l’atelier d’entretien d’embauche...
L’indicateur d’impact : c’est également une mesure du changement, mais basée sur la part attribuable à l’activité. Elle prend donc en compte la part de changement qui aurait opéré, toutes choses égales par ailleurs.
Exemples : nombre de bénéficiaires qui ont augmenté en compétences numériques et qui n’auraient pas pu développer ces compétences sans le programme (si problématique d’accès...); nombre de bénéficiaires qui ont trouvé un emploi et qui n’en n’auraient pas trouvé dans les mêmes délais sans le programme (si problème de mobilisation personnelle, de mobilité...).
L’ensemble de ces trois types d’indicateurs ont leur importance dans le cadre d’une évaluation. Les indicateurs de performance permettent non seulement un suivi de l’activité, mais sont également utiles à une démarche d’évaluation d’impact (exemple : il faut connaître le nombre de bénéficiaires par activité pour identifier l’échantillon idéale d’une évaluation d’impact). Les indicateurs de résultats sont utiles dans le cadre d’une analyse d’efficacité des actions, en les comparant à des objectifs fixés a priori. Les indicateurs d’impact quant à eux sont utiles pour identifier dans quelle mesure la mission sociale qu’une structure s’est donnée est atteinte. Ils permettent également l’identification des points forts et des points faibles de la stratégie mise en place pour remplir cette mission, et l’évolution de cette stratégie le cas échéant.
AVANT DE VOUS LANCER +
Cadrage
Avant de se lancer dans une démarche d’évaluation d’impact, il est primordial de réaliser en amont un travail de cadrage de la démarche. Celui-ci passe par l’identification de la finalité de l’étude d’impact ainsi que des ressources disponibles pour engager et conduire cette démarche. Un travail de modélisation théorique de toute la stratégie d’impact est également nécessaire, par exemple via la Théorie du Changement. Il existe plusieurs publications techniques pour approfondir le sujet comme Repères sur les théories du changement- F3E ou encore Théorie du changement, notes méthodologiques de l’Unicef
Il est aussi indispensable de bien connaitre l’environnement de la structure. Pour cela, il est conseillé de réaliser un travail de cartographie des parties prenantes et d’identifier le public qui est au cœur de la mission sociale de la structure. D’ordinaire, ces acteurs sont les bénéficiaires de la structure et c’est auprès de cette population que les informations seront recueillies via une démarche d’enquête.
Il existe plusieurs guides sur le sujet pour accompagner les structures dans cette phase de cadrage comme Le Petit précis de l’évaluation de l’impact social ou encore le Guide de la mesure d’impact social.
Quelles ressources dois-je prévoir ?
Temps : les indicateurs d’impacts sont les plus gourmands en temps requis, car les données sont plus complexes à recueillir et les analyses statistiques plus poussées. Le temps nécessaire à la mesure d’impact peut tout de même très fortement varier selon les choix méthodologiques opérés. Par exemple, une étude nécessitant une mesure en amont et en aval d’une formation de 9 mois demandera nécessairement un temps consacré à la réalisation de l’étude supérieur à ces 9 mois.
Ressources humaines : l’effectif des personnes mobilisées pour réaliser la mesure d’impact est aussi variable selon la méthodologie choisie et le calendrier. Il est conseillé de désigner au moins un chef de mission pour coordonner toute la démarche. Les autres ressources humaines nécessaires dépendent de l’organisation de la structure, mais dans l’ensemble il est nécessaire d’identifier :
- les personnes ayant accès aux informations clés (statistiques déjà disponibles comme le nombre de bénéficiaires par activité/par année, la liste des contacts des bénéficiaires, des outils de suivi déjà existants, etc.),
- les personnes expertes de tout ou partie des activités (par exemple des responsables de programme, des formateurs, des chargés d’accompagnement, etc.) qui vont notamment pouvoir participer au cadrage,
- les personnes responsables de la création des outils, de la collecte, de l’analyse, de la restitution des résultats.
Dans le cadre d’indicateurs d’impact, des connaissances poussées en analyses statistiques sont primordiales.
Les outils de recueil des données : les outils choisis dépendront des choix méthodologiques, qui eux-mêmes dépendent des objectifs de l’évaluation. Ces outils peuvent être le questionnaire, l’entretien, l’observation, le focus groupe, le tableau de suivi interne, les données publiques. L’outil le plus courant est le questionnaire puisqu’il facilite la standardisation des mesures, qui est une condition idéale à la mesure d’impact.
L’accompagnement externe : une démarche d’évaluation d’impact peut être soit internalisée soit faire l’objet d’un accompagnement externe. Les deux cas de figure sont également cumulables : une structure peut avoir internalisé une partie des impacts prioritaires dans le cadre d’un suivi interne et recourir à un accompagnement pour des études plus complexes à mettre en place. L’intérêt de l’internalisation de la mesure d’impact est qu’elle va aider la structure à piloter sa stratégie de façon très flexible. L’intérêt d’un accompagnement externe se manifeste dans deux cas si la structure n’a pas de personnels possédant les compétences méthodologiques et statistiques pour mettre en œuvre une évaluation d’impact et/ou si elle dispose des compétences nécessaires mais pas du temps requis par la forte charge de travail que demande une démarche d’évaluation d’impact.
Quels sont ces indicateurs ?
Retrouvez ci-dessous la liste de 43 indicateurs répartis en 13 dimensions sociales. Cette liste d’indicateurs n’est pas exhaustive et doit être utilisée lorsque toutes les étapes de cadrage de l’évaluation ont été effectuées.
A vous d’identifier dans cette liste les indicateurs pertinents en fonction de vos bénéficiaires, vos actions, votre mission sociale et vos objectifs en matière de mesure d’impact. Il est également possible de créer de nouveaux indicateurs inspirés de ceux proposés.