Quantifier le sentiment d’efficacité en métalittératie
(compétences informationnelles) :
développement et validation d’un instrument

Florent Michelot, Sébastien Béland et Bruno Poellhuber
41e session d'études de l'ADMEE-Canada · Le 15 novembre 2019

Pour suivre la présentation en direct sur votre ordinateur :
https://frama.link/admee_michelot

Plan de la présentation

Contexte et problématique

Cadre conceptuel


Objectif

Méthodologie

Résultats

Discussion
  • De l’infopollution à la complexification des littératies

 

  • La métalittératie, une reconceptualisation englobante
  • Le SEP, un prédicteur?

 

  • Mettre sur pied un outil pour le SEP en métalittératie

 

  • Les balises de la construction de l’échelle

 

  • Les indices de validation

 

  • Raffiner l’échelle?
  • Préciser/Réduire le modèle?

🛸👩‍🏫 Face aux croyances, les enseignant·e·s ne sont pas immunisé·e·s...

Boy, D. et Michelat, G. (1986). Croyances aux parasciences : dimensions sociales et culturelles. Revue française de sociologie, 27(2), 175‑204. doi:10.2307/3321532
  • Réponse managériale aux défis TIC
  • Mais aussi...
    • compétences requises pour évoluer comme citoyen au 21e siècle (Binkley et al., 2012; Breivik, 2005; Chu, Reynolds, Tavares, Notari et Lee, 2017)
    • Infox (Morrow, 2018)
    • Développement durable (UNESCO, 2012), etc.

Des enjeux sociopolitiques sous-jacents

« L’entrée en vigueur » du cadre de référence de la compétence numérique

Ministère de l’Éducation et de l’Enseignement supérieur. (2019). Cadre de référence de la compétence numérique. Québec, Québec : Gouvernement du Québec. Repéré à http://www.education.gouv.qc.ca/dossiers-thematiques/plan-daction-numerique/cadre-de-reference/

 👨‍💻 Le coeur conceptuel des
compétences informationnelles «traditionnelles»

Une cartographie des concepts et compétences clefs des 10 principaux référentiels employés dans les années 1990.

Michelot, F. et Poellhuber, B. (2019). Au-delà de l’utilitarisme, vers une refondation des modèles de compétences informationnelles. Dans T. Karsenti (dir.), Le numérique en éducation, pour développer des compétences (p. 45‑77). Québec, Québec : Presses de l’Université du Québec.

📺 Depuis les années 1970, la multiplication des littératies

⌨️

🧠 La faible place accordée à l’évaluation

Niveau taxonomique 1 2 3 4 5 6
Fréquence relative 16 % 22 % 31 % 10 % 6 % 15 %

🤯 Une reconceptualisation qui correspond à un double phénomène

🎚 L´échelle d’évaluation métalittéracique

· but 1, évaluer activement le contenu tout en évaluant ses propres biais;
· but 2, s’engager avec la propriété intellectuelle de façon éthique et responsable;
· but 3, produire et partager des informations dans des environnements collaboratifs et participatifs;
· but 4, développer des stratégies d’apprentissage pour atteindre ses objectifs personnels et professionnels
Jacobson, T. E. et Mackey, T. P. (2019, 26 février). Buts et objectifs d’apprentissage. Repéré à https://metaliteracy.org/learning-objectives/goals-and-learning-objectives-translated/buts-et-objectifs-dapprentissage/

🎯 Les objectifs sélectionnés

Le 1er but (évaluer activement le contenu tout en évaluant ses propres biais) était le plus pertinent pour nos  travaux.

Des objectifs issus des 3e et 4e buts paraissaient utiles eux aussi.

 

=> Sélection de 16 objectifs d'apprentissages

📌 Le présupposé de la recherche

Le SEP en matière de compétences informationnelles serait positivement corrélé avec les pratiques


Une étude comparative auprès de 3 nations francophones

Formation professionnalisante dès la 1re année d’ens. sup.

Formation
disciplinaire
préalable

🇧🇪🇫🇷🇲🇶

Développer un outil de quantification du sentiment d’autoefficacité pour évaluer de l’information qui est cohérent avec la conceptualisation émergente de la métalittératie

✍️ «Rédaction» de l’échelle

1. Traduction/rédaction

  • novembre 2018

2. Consultation

  • novembre/décembre 2018
  • n=68

🛠 Outils
 

Indice de validité de contenu (IVC) (Lynn, 1986; Waltz et al., 2010)

  • Les répondant·e·s notent les énoncés sur une échelle d’un (1, non pertinent) à quatre (4, très pertinent)
  • Nombre d’énoncés avec pointage de 3 et 4 divisé par le nombre total d’énoncés (acceptable si 0,80) (Fortin, 2016)

🧪 Mise à l’essai de l’échelle

Décembre 2018 à avril 2019

n=245

🛠 Outils
 

Validation :

  • Indices de fidélité α et ω
  • Analyse factorielle exploratoire
  • Analyse factorielle confirmatoire
  • ... liée au critère

Une échelle de Likert en 10 modalités d’accord a été utilisée pour concevoir l’instrument

 📏 Le choix des items de l’échelle

Parmi les 32 objectifs d’apprentissage de la métalittératie, ont été retenus :

  • Les 10 objectifs du « But 1 : évaluer activement le contenu tout en évaluant ses propres biais »
    • ex. : Reconnaître que le contenu n’est pas toujours produit pour de bonnes raisons ou qu’il contient des biais plus ou moins évidents
    • ex. : Déterminer comment l’intention d’une source, son support ou la façon dont elle est délivrée peut affecter la valeur que je lui accorde selon ma situation

 📏 Le choix des items de l’échelle

Parmi les 32 objectifs d’apprentissage de la métalittératie, ont été retenus :

  • 4 objectifs du « But 3 : produire et partager des informations dans des environnements collaboratifs et participatifs »
    • ex. : Évaluer et vérifier de manière critique le contenu généré par un·e utilisateur·trice et m’en servir correctement pour la création de nouvelles connaissances

 📏 Le choix des items de l’échelle

Parmi les 32 objectifs d’apprentissage de la métalittératie, ont été retenus :

  • 2 objectifs du « But 4 : développer des stratégies d’apprentissage pour atteindre ses objectifs personnels et professionnels. »
    • ex. : Évaluer mes apprentissages pour identifier les nouvelles connaissances acquises et les lacunes dans ma compréhension

👅 La francisation des items

Les items ont été traduits en s’inspirant de la méthode de validation transculturelle de Vallerand (1989) :

  1. Traduction (En > Fr) et évaluation de la qualité
  2. Contre-traduction (Fr > En) et évaluation de la qualité
  3. Comparaison des versions originale et version contre-traduite
Répondant·e·s Éducation Info, com Autre
n=68 44,11 % 33,83% 22,06%
Répondant·e·s Québec et Canada France Belgique Autre
n=68 75% 8,82% 5,82% 10,36%

✅ L’indice de validité de contenu (IVC)

Les personnes sollicitées devaient noter chacun des énoncés sur une échelle de 1 (non pertinent) à 4 (très pertinent) (Fortin, 2016)

✅ L’IVC, portrait par énoncé

L’indice IVC de la proposition d’échelle, calculé selon la méthode de Waltz et al. (2010), est de 1

Énoncé Académiques Praticien·ne·s
Évaluer l’information qui est produite par des internautes sur les médias sociaux et différencier opinions et faits 3,73/1
3,73/1
Rechercher volontairement de l'information avec un éventail de points de vue et de sources
3,68/1
3,88/1
Participer de façon consciencieuse et et éthique aux environnements collaboratifs 3,19/1 3,64/1
Étudier mon ressenti à propos des informations qui me sont présentées et observer leur influence sur ma réaction 3,09/1 3,16/1

Icons made by Smashicons and Freepik from www.flaticon.com

📊 Une échelle unifactorielle

📊 La fidélité de l’échelle

 

La cohérence interne de l’échelle développée a été mesurée au moyen de l’ω de McDonald de l’α Cronbach.

Les éléments ont démontré une grande fiabilité
(α=92 et ω=0,92).

📊 L’AFE

Fact. 1 Uniqueness
AEM_01 0,62 0,62
AEM_02 0,65 0,58
AEM_03 0,68 0,54
AEM_04 0,62 0,61
AEM_05 0,66 0,57
AEM_06 0,62 0,62
AEM_07 0,76 0,43
AEM_08 0,73 0,46
AEM_09 0,77 0,40
AEM_10 0,55 0,69
AEM_11 0,52 0,73
AEM_12 0,58 0,67
AEM_13 0,57 0,68
AEM_14 0,66 0,56
AEM_15 0,61 0,63
AEM_16 0,66 0,57

Charge factorielle  bonne (>0,55) pour la quasi-totalité des éléments (les saturations des items AEM_10 et 13 sont de 0,53)

Un grand nombre des items ont une charge >0,63 qualifiable de « très bonne » (Comrey et Lee, 2013)

📊 L’AFC

Modèle  unifactoriel (16 éléments)
Chi2 (ddl) 274,35/104
Ratio Chi2/ddl 2,64
Comparative fit index (CFI) 0,90
Tucker-Lewis index (TLI) 0,88
Root mean square error of approximation (RMSEA) 0,08
RMSEA IC [90%] [0,07 - 0,09]
Standardized root mean square residual (SRMR) 0,06
lhs op rhs Est.std
AEM =~ AEM_01 0,62
AEM =~ AEM_02 0,65
AEM =~ AEM_03 0,68
AEM =~ AEM_04 0,63
AEM =~ AEM_05 0,66
AEM =~ AEM_06 0,62
AEM =~ AEM_07 0,76
AEM =~ AEM_08 0,74
AEM =~ AEM_09 0,77
AEM =~ AEM_10 0,55
AEM =~ AEM_11 0,52
AEM =~ AEM_12 0,58
AEM =~ AEM_13 0,57
AEM =~ AEM_14 0,66
AEM =~ AEM_15 0,61
AEM =~ AEM_16 0,66

(Choix des critère basé sur Kline, 2011)

Ratio Chi2/ddl < 3 (2,64)
CFI et le TLI < 0,95 (0,90 et 0,88)
SRMR < 0,08 (0,06)
TLI > 0,90 (0,95)
Toutefois,  RMSEA > 0,06 (0,08).

📊 La validation liée au critère

📊
L’AFE

  • Les éléments de l’AEM ont été identifiés à un 1er facteur
  • Les éléments de la composante Évaluer et comprendre l'information de l’ILSE (Kurbanoglu et al, 2006) ont été imputés à un 2d facteur.

La plupart des éléments chargent sur un facteur au-delà de 0,5

Fact. 1 Fact. 2 Unicité
AEM_01 0,62 -0,01 0,62
AEM_02 0,70 -0,07 0,56
AEM_03 0,74 -0,09 0,52
AEM_04 0,45 0,32 0,55
AEM_05 0,65 0,03 0,56
AEM_06 0,54 0,15 0,61
AEM_07 0,71 0,08 0,43
AEM_08 0,73 0,03 0,45
AEM_09 0,78 0,00 0,40
AEM_10 0,63 -0,14 0,67
AEM_11 0,41 0,18 0,72
AEM_12 0,54 0,06 0,67
AEM_13 0,49 0,14 0,67
AEM_14 0,54 0,22 0,55
AEM_15 0,57 0,07 0,63
AEM_16 0,71 -0,10 0,56
ILSE_Evalua_01 0,05 0,50 0,73
ILSE_Evalua_02 -0,04 0,83 0,34
ILSE_Evalua_03 0,04 0,69 0,49
ILSE_Evalua_04 0,19 0,51 0,60
ILSE_Evalua_05 -0,01 0,72 0,48

📊 Corrélation
de Pearson

Corrélation positive significative comptant pour 28,1 % de la variance.

r(245)=0,531, p<0,001

💬 Discussion

  • Des indices psychométriques qui semblent aller dans le sens de la validité l’interprétation
    • Caractère unifactoriel de l’échelle probable (AFE et AFC)
    • Indices de fidélité excellents (α et ω)
    • Corrélation positive moyenne avec les mesures réalisées avec un outil plus ancien mesurant un concept proche
    • Concordance très forte avec le contenu théorique

💬 Discussion

  • Mais...
    • À requestionner/retravailler dans l’hypothèse d’une échelle pour quantifier le SEP sur l’ensemble métalittératie
    • Défi de la validité différentielle, i.e. selon le groupes nationaux
    • L’échelle présentée a été conçue sur la base de l’évaluation : les 4 dimensions (i.e. les buts) de la métalittératie seraient-elles corroborées par les AF?
    • Quid de la réduction de l’échelle? Certains items sont probablement reformulables voire supprimables

❓ Questions? Commentaires?

191115_ADMEE_ValidationEchelleMetalitteratie

By Florent Michelot

191115_ADMEE_ValidationEchelleMetalitteratie

  • 30
Loading comments...

More from Florent Michelot