Méthodologie

Portée des travaux

Cette évaluation sommative du PDEO comprend un large éventail de méthodes de collecte de données et chacune est détaillée ci dessous. Veuillez noter que toutes les catégories représentées dans les tableaux dans l'ensemble du document dont le pourcentage est inférieur à trois ont été combinées dans la catégorie " autre réponse inférieure à 3 % " (sauf dans certains cas qui sont précisés).

Les objectifs de l'évaluation et les questions relatives à l'évaluation de base figurent au tableau 2 1. Le cadre d'évaluation est présenté à l'annexe B.

Tableau 2-1 Questions relatives à l'évaluation de base

Objectifs	Questions relatives à l'évaluation
Pertinence	Les besoins actuels de l'Ouest canadien en matière de développement et de diversification économiques correspondent-ils à ceux qui sont définis dans les modalités du PDEO de 2003? Le PDEO était-il complémentaire ou chevauchait-il d'autres programmes de développement de l'économie? Les sous programmes du PDEO répondent-ils adéquatement aux besoins précisés dans les modalités des sous programmes, l'accord de financement et/ou l'autorité d'approbation?Les évaluations de projet démontrent elles qu'on a pris en considération les niveaux adéquats de financement de projet, conformément à la Politique sur les paiements de transfert du Conseil du Trésor? Existe-t-il un rôle légitime et nécessaire pour le gouvernement dans ce secteur de programme? Le modèle du PDEO correspond il aux priorités fédérales et provinciales qui ont trait à la diversification et au développement de l'économie de l'Ouest? Le PDEO correspond-il aux besoins de la collectivité économique de l'Ouest?
Succès	Le PDEO a-t-il contribué à améliorer la coordination des activités et des programmes économiques fédéraux dans l'Ouest? Le PDEO a-t-il amélioré la compréhension et la sensibilisation des questions de l'Ouest, y compris la participation et l'accès accrus aux programmes fédéraux? Le PDEO a-t-il favorisé le dialogue sur les questions, les défis, les possibilités et les priorités de l'Ouest canadien ainsi que la compréhension de ces questions? Les activités et les programmes financés par le PDEO ont-ils contribué à améliorer la planification des collectivités, la viabilité accrue et la diversification des économies locales, ainsi que les niveaux accrus d'ajustement des collectivités en vue d'atténuer la crise économique? Les programmes financés par le PDEO ont-ils rehaussé la planification dans les marchés internationaux, les partenariats efficaces et les alliances stratégiques et/ou les investissements étrangers dans l'Ouest canadien? Les projets financés par le PDEO ont-ils rehaussé l'adoption, la commercialisation et les liens de la technologie, la recherche et le développement, l'innovation dans les collectivités, l'infrastructure du savoir ou le perfectionnement des compétences en matière de technologie? Y a-t-il eu des répercussions positives ou négatives inattendues liées au programme?
Gestion rentable	Des fonds ont-ils été obtenus d'autres sources du gouvernement et/ou du secteur privé? Les ententes de partage des coûts ont elles permis à DEO et à ses partenaires de financement de mener des activités qui n'auraient pas été possibles autrement? Les Canadiens profitent-ils au maximum des fonds publics dépensés dans le cadre du PDEO? L'ensemble de sous programmes issu du PDEO est-il abordable et assure-t-il la valeur maximale des fonds publics dépensés dans le cadre du PDEO?
Conception et prestation	La conception et la prestation du programme sont elles toujours adéquates? Les bénéficiaires du programme sont ils satisfaits des processus d'approbation, de surveillance et de paiement? DEO a-t-il établi une structure de gestion efficace pour les divers sous programmes et les diverses sous ententes qui sont soutenus par le PDEO? Les projets ont-ils été adéquatement surveillés et des rapports de projet ont ils été produits adéquatement et en temps opportun? Les rapports de projet fournissent ils des renseignements utiles pour la gestion, l'évaluation et la surveillance des projets au PDEO? Le système d'établissement de rapports actuel du PDEO fait-il état des résultats?

Examen de la littérature et des documents

Un examen de la littérature et des documents a été effectué en vue de mieux comprendre les activités et les objectifs de chaque sous élément du PDEO analysé dans le cadre de cette évaluation. Pour mieux évaluer la pertinence du PDEO, des documents liés aux besoins et aux tendances économiques de l'Ouest canadien ont été examinés. Cela a permis de déterminer si les activités et les objectifs du PDEO correspondent aux besoins économiques de l'Ouest, ainsi que de préciser s'il existe un rôle légitime pour le PDEO dans le secteur du développement et de la diversification de l'économie de l'Ouest. La littérature et les documents examinés comprenaient ce qui suit, sans toutefois s'y limiter :

• des renseignements sur les sous-éléments;
• les modalités du PDEO;
• des articles relatifs aux programmes de développement de l'économie;
• des renseignements sur le groupe d'experts (consulter l'annexe E pour obtenir des détails sur le groupe);
• d'autres renseignements sur les programmes de développement et de diversification de l'économie;
• les politiques et les directives du Conseil du Trésor.

Examen des données administratives

Les objectifs du PDEO et les résultats stratégiques du Ministère sont demeurés les mêmes tout au long de la période d'évaluation. Cependant, la façon dont le Ministère a recueilli les données administratives a changé en 2005. Par conséquent, il a fallu en tenir compte dans l'examen des données administratives.

Avant 2005, le Ministère avait un modèle logique qui comportait des indicateurs liés aux résultats stratégiques du Ministère. Les fonctionnaires du ministère ont utilisé ces indicateurs au cours de l'évaluation du projet et de la phase sur la diligence raisonnable afin de s'assurer que les projets allaient contribuer à l'obtention des résultats à long terme. Les fonctionnaires du Ministère ont enregistré ces indicateurs manuellement dans les dossiers de projet. Ces indicateurs n'ont pas été utilisés en tant qu'indicateurs de mesure du rendement, sauf à l'occasion pour l'établissement des rapports ministériels sur le rendement.

En 2005, le Conseil du Trésor a ordonné aux ministères d'élaborer une Architecture des activités de programme (AAP). L'AAP a été élaborée sous la forme d'un plan de rendement en vue de correspondre aux résultats des activités, des sous activités et des projets, ainsi que d'indicateurs et de sources lorsqu'il est possible d'obtenir des renseignements sur le rendement. L'AAP a été conçue pour diriger la mesure du succès du PDEO, au niveau des projets et en fonction des résultats stratégiques suivants du Ministère : Politique, représentation et coordination, développement économique des collectivités et entrepreneuriat et innovation. Les indicateurs de niveau de projets devraient également correspondre ou être liés aux indicateurs de l'AAP. Les projets continuent d'avoir des indicateurs et des résultats uniques. Consulter l'annexe C où l'on donne un aperçu de l'alignement des modalités du PDEO sur l'AAP de DEO.

En 2005, le Ministère a développé une base de données électronique pour l'enregistrement et le suivi de l'évaluation des projets et des indicateurs de rendement qui sont tous liés à la nouvelle AAP. Cette base de données, portant le nom de Portail de projets, a permis de consolider et de normaliser les indicateurs d'évaluation de projet et les indicateurs de mesure du rendement en une seule source électronique.

Les projets analysés dans le cadre de cette évaluation en étaient à différents niveaux d'achèvement. Lorsqu'ils sont entrés dans le Portail des projets, chacun des projets obtient un code qui correspond à l'état du projet. Au fur et à mesure que le projet avance, ces codes d'état sont mis à jour. La majorité des projets ont été achevés dans le délai imparti pour cette évaluation (74,7 %).

Le tableau 2-2 illustre les résultats stratégiques pour chacun des projets. La majorité des projets entrepris avaient trait à des activités relatives à la planification, au développement et à l'ajustement économiques des collectivités (43,9 %). Les autres activités comportaient des activités d'innovation (30 %) et liées à l'entreprise et aux entrepreneurs (26 %).

Tableau 2-2 Activité de projet dans le cadre de l'AAP

Région	Pourcentage des projets	Dépenses
Politique, représentation et coordination	0,7 %	1 339 436 $
Planification, développement et ajustement économiques des collectivités	43,2 %	150 049 931 $
Entrepreneuriat	26,1 %	95 787 384 $
Innovation	30 %	133 079 729 $
Total	100%	390 256 480 $

n=3 484. Référence : Données administratives

Les activités de l'AAP peuvent être divisées en sous activités. Les sous activités des projets examinés dans le cadre de l'évaluation figurent au tableau 2 3.

Tableau 2-3 Sous activité et dépenses de projet

Activité	Dépenses	Nombre de projets
Partenariat et coordination	177 725 $	8
Collaboration et coordination	81 999 $	4
Recherche et analyse	898 021 $	10
Recherche et analyse économiques	181 691 $	4
Planification des collectivités	8 823 666 $	171
Développement des collectivités	88 182 436 $	954
Ajustement économique des collectivités	984 620 $	16
Développement économique des collectivités	62 059 209 $	376
Développement d'entreprise et entrepreneuriat	1 588 098 $	117
Entrepreneuriat	13 924 037 $	373
Amélioration de la productivité d'entreprise	34 596 792 $	164
Développement commercial et des marchés	39 088 902 $	152
Collaboration de l'industrie	2 489 612 $	74
Investissement direct étranger	506 139 $	9
Accès au capital	3 593 804 $	14
Adoption et commercialisation de la technologie	29 005 999 $	193
Établissement de liens technologiques	9 734 674 $	69
Recherche et développement en matière de technologie	46 220 193 $	157
Innovation des collectivités	1 717 969 $	24
Perfectionnement des compétences en technologie	2 588 389 $	18
Infrastructure du savoir	9 697 784 $	25
Innovation	34 114 721 $	552
Total pour toutes les activités	390 256 480 $	3,484

Référence : Données administratives

Examen des dossiers

Afin de déterminer si les projets financés par le PDEO ont réussi à obtenir les résultats prévus propres aux projets, un examen a été mené sur un échantillon de 110 dossiers. De ces 110 dossiers examinés, 86 projets ont été achevés et six projets ont été arrêtés ou annulés. Les autres projets étaient en cours. Les projets sélectionnés provenaient principalement du Programme de diversification de l'Ouest de base et de certains sous éléments (Ententes de partenariat pour le développement économique de l'Ouest et Ententes sur le développement urbain). Dans le tableau 2 4, on donne un aperçu du nombre d'examens de dossiers menés dans chaque région.

Tableau 2-4 Examens des dossiers entrepris

Sous-programme	Nombre d'examens de dossiers achevés
Alberta	26
Saskatchewan	21
Colombie Britannique	47
Manitoba	16
Total	110

n = 110. Référence : Examen des dossiers

Les chercheurs ont obtenu des renseignements pertinents dans chacune des régions. Dans le but d'analyser les renseignements recueillis, une base de données a été développée et utilisée pour entrer les renseignements. De plus, pendant la tenue de l'examen des dossiers, des consultations ont eu lieu avec les agents du programme et des recherches dans Internet ont été effectuées en vue d'assurer le suivi des résultats de projet à long terme.

Entrevues avec les principaux répondants

Les évaluateurs ont développé une base de données sur les principaux répondants qui comprenait le nom et les coordonnées de répondants éventuels. L'équipe de recherche a mené des entrevues semi-structurées avec les principaux répondants du Ministère (direction et personnel), des dirigeants des collectivités, des représentants d'organisations ou de programmes de développement économique semblables au PDEO, des experts dans le domaine du développement et de la diversification de l'économie de l'Ouest ainsi que des personnes d'organismes autres que le Ministère et qui sont des partenaires des bénéficiaires.

Les dirigeants des collectivités comprenaient des personnes telles que des maires, des membres de chambres de commerce régionales et une régie régionale de la santé. Les représentants des organisations de développement économique provenaient des Sociétés d'aide au développement des collectivités (SADC), des autorités régionales en matière de développement économique, des ministères de développement économique, de la FedNor et de l'APECA. Les experts comprenaient des personnes provenant de diverses universités de l'Ouest, ainsi que des économistes. Les autres partenaires interviewés provenaient de gouvernements provinciaux, de municipalités, d'universités, de sociétés et d'entreprises et de divers conseils.

On donne un aperçu du nombre d'entrevues menées par groupe d'intervenant au tableau 2 5.

Tableau 2-5 Entrevues menées avec les principaux répondants

Groupe d'intervenants	Entrevues menées
Gestion de DEO	11
Personnel de DEO	11
Dirigeants de collectivités	7
Représentants de programme de développement économique	11
Experts	8
Partenaires de la Colombie Britannique	12
Partenaires de l'Alberta	8
Partenaires de la Saskatchewan	5
Partenaires du Manitoba	9
Total	82

Sondage auprès des bénéficiaires du financement

Un sondage auprès des bénéficiaires du financement du PDEO a été entrepris en vue d'étudier les questions critiques relatives à l'évaluation. Pour ce sondage, les évaluateurs ont échantillonné les projets en fonction des dépenses de programme et des secteurs de financement du programme. Ainsi, les projets des programmes qui reçoivent un financement plus important allaient probablement être échantillonnés, comme l'ont été les projets financés dans le cadre des sous éléments ou des outils de prestation suivants : le Programme de diversification de l'économie de l'Ouest, les Ententes de partenariat pour le développement économique de l'Ouest, les Ententes sur le développement urbain, l'Entente Canada Saskatchewan pour le développement du Nord et l'Initiative pour les femmes entrepreneurs.

Toutefois, puisque la base de données du PDEO ne comportait pas les coordonnées des bénéficiaires pour chaque projet, le nombre de répondants possible a été réduit à 2 148. La première étape du sondage était fondée sur les quotas établis pour les sous programmes mentionnés ci-dessus. Cependant, afin d'optimiser les réponses, ces quotas ont été retirés après deux semaines de sondage et tous les projets ont pu faire partie du sondage.

Le sondage auprès des bénéficiaires a été mené à l'aide d'une méthodologie " de type mixte " (sondage en ligne et suivi téléphonique). Les évaluateurs ont envoyé un courriel aux bénéficiaires afin de les inviter à participer au sondage. Les bénéficiaires ayant une adresse électronique ont reçu un lien URL personnalisé dans le corps de l'invitation par courriel, ce qui leur a permis d'accéder à leur sondage personnalisé en cliquant sur le lien.

À la suite de l'invitation initiale des évaluateurs, les bénéficiaires ont reçu un appel téléphonique ayant pour but de les inviter à participer au sondage. Plusieurs courriels de rappel ont également été envoyés aux répondants. La méthode de sondage de type mixte a contribué à surmonter les défis liés aux coordonnées.

L'essai sur le terrain du sondage auprès des bénéficiaires s'est déroulé du 17 au 27 décembre 2007. Le sondage en tant que tel a débuté le 23 janvier 2008 et a pris fin le 20 février 2008. En tout, 1 042 sondages ont été remplis, avec un échantillon valide de 1 783 et un taux de réponses valide de 58 %. Le nombre élevé de réponses et le haut taux de réponses valides donnent à penser que les données du sondage auprès des bénéficiaires sont une très bonne représentation des points de vue des bénéficiaires et/ou des résultats.

Parmi les répondants au sondage, 44,8 % avaient participé au projet en tant que chef ou directeur de projet, 45,3 % avaient participé en tant que demandeurs de financement et les autres 9,9 % avaient participé à la réalisation de projets.

Études de cas

Des études de cas ont été menées avec les bénéficiaires de financement du PDEO et les personnes des projets qui n'ont reçu aucun financement. Les évaluateurs ont développé une base de données des sites d'études de cas possibles. La base de données comprenait les sites des bénéficiaires et les sites des non-bénéficiaires. Au total, neuf études de cas ont été menées avec les projets financés, avec au moins deux visites dans chaque province (tableau 2 6). Au total, quatre études de cas (une par région) ont été menées avec les non-bénéficiaires ou avec les projets qui n'ont reçu aucun financement du PDEO. Dans le tableau suivant, on donne un aperçu des projets inclus dans les études de cas.

Tableau 2-6 Projets sélectionnés pour les études de cas

Région	Projets des bénéficiaires	Projets non-bénéficiaires
Colombie-Britannique	Centre de recherche-développement sur les médicaments de l'Université de la Colombie-Britannique	Haida Gwaii Community Futures Development Corporation (financé par la Société d'aide au développement des collectivités)
Alberta	Inunctus	Zoo de Calgary (en raison d'un changement apporté à la politique, il n'était pas admissible à un financement)
	TR Labs/NEWT
	TEC Edmonton
Saskatchewan	Centre canadien de rayonnement synchrotron incorporé	Saskatoon Zoo Foundation
	Conseil des ressources humaines autochtones
	SpringBoard West Innovations, Inc.
Manitoba	SmartPark à l'Université du Manitoba	Centraide de Winnipeg
	Étude de cas du Centre canadien de rayonnement synchrotron

À chaque visite sur place, des entrevues ont été menées avec le personnel clé du programme, des données administratives relatives au projet ont été recueillies et, au besoin, une visite du site a eu lieu. Les conclusions des études de cas ont été complétées d'une consultation auprès des agents de programme. Les rapports sur les études de cas comportant des renseignements approfondis sur les projets et les activités entreprises au cours des visites sur place figurent à l'annexe D.

Groupes de consultation

Au cours du sondage, on a demandé aux répondants s'ils souhaitaient participer à un groupe de consultation de suivi ou si le projet auquel ils ont participé comprenait une base de données sur les clients à l'appui d'un groupe de consultation propre à un projet. Selon ces réponses, des listes de participants ont été élaborées à l'appui de trois groupes de consultation de bénéficiaires et deux groupes de consultation de clients propres à un projet (utilisateurs finaux). Le taux de participation aux groupes de consultation a été très faible, comme l'illustre le tableau 2 7.

Tableau 2-7 Groupes de consultation

Groupes de consultation	Lieu	Date prévue	Nombre de participants d'accord	Nombre de participants confirmé	Nombre réel de participants
Groupe de consultation de clients	Winnipeg	21 février 2008	8	5	3
Groupe de consultation de clients	Vancouver	21 février 2008	8	2	1
Groupe de consultation de bénéficiaires	Vancouver	25 février 2008	13	9	2
Groupe de consultation de bénéficiaires	Saskatoon	26 février 2008	9	7	1
Groupe de consultation de bénéficiaires	Calgary	27 février 2008	6	6	1
Total			44	29	8

En raison des résultats extrêmement faibles, les conclusions des groupes de consultation dans le cadre de l'évaluation ont été limitées à une simple source de données complémentaires.

Limites de la méthodologie

L'évaluation comportait certaines limites méthodologiques. Ces limites ont eu des répercussions sur la capacité du rapport de traiter adéquatement de la question de la gestion rentable et, jusqu'à un certain point, du succès à long terme du programme.

Certaines difficultés ont été observées lorsqu'il s'agissait de prévoir certaines des entrevues avec les principaux répondants. La question a été réglée en ajoutant, dans la base de données, le nom des intervenants aux fins de remplacement si des personnes étaient incapables de participer et en élargissant l'échéance pour la tenue des entrevues en vue de saisir le plus grand nombre possible d'entrevues achevées.

En raison de l'importance de la taille du PDEO et de tous ces sous éléments, la méthodologie employée pour l'évaluation ne comprenait pas d'évaluation détaillée de chaque sous élément du PDEO. Le cas échéant, les résultats des sous éléments dans le cadre de l'évaluation et d'autres études de recherche ont été analysés et incorporés dans le rapport.

Les coordonnées incomplètes ou incorrectes disponibles pour les bénéficiaires du financement de projet qui ont été sélectionnés pour remplir le sondage auprès des bénéficiaires constituaient une autre limite. En vue d'atténuer le problème, les évaluateurs ont collaboré avec les répondants éventuels en vue d'obtenir les coordonnées correctes, d'avoir accès aux renseignements transmis ou de trouver les coordonnées des répondants remplaçants (dans le cas de coordonnées incorrectes ou périmées). Les personnes ont également été contactées, par téléphone ou par courriel, afin de s'assurer que le plus grand nombre possible de répondants aient la possibilité de remplir le sondage.

Finalement, procéder à l'estimation des incidences nettes d'un programme nécessite théoriquement que des comparaisons entre les sections soient faites pour les échantillons de bénéficiaires et de non-bénéficiaires à partir de populations semblables afin de s'assurer que les incidences peuvent être attribuées à l'intervention (financement du PDEO), et non aux différences entre les groupes. La base de données du PDEO ne comprenait pas les coordonnées des demandeurs non financés aux fins de sondage, puisque le Ministère ne sollicite pas publiquement de propositions semblables à ce qui se fait avec d'autres programmes de financement. Parfois, les organisations qui font des démarches auprès du Ministère pour obtenir des fonds peuvent être considérées comme inadmissibles. Dans ces cas, les agents de projet du Ministère redirigent habituellement ces organisations vers des organismes de financement plus adéquats. En général, le Ministère ne conserve pas de dossier écrit de ces organismes, car cette pratique n'est pas considérée comme rentable ou pertinente pour la gestion globale du PDEO et l'atteinte de ses objectifs.

Cependant, puisqu'il était essentiel pour l'évaluation d'examiner les projets non financés, une petite base de données des non-bénéficiaires a été développée. En fonction de cette liste, des études de cas liées à ces projets ont été menées. Les études de cas des non non-bénéficiaires ont permis de faire certaines comparaisons et de comprendre les incidences, ou le manque d'incidences pour ces projets qui n'ont pas reçu de fonds du PDEO.