SciMingo helpt onderzoekers het juiste evenwicht te vinden tussen complexiteit en begrijpelijkheid in wetenschapscommunicatie. Zo leren we je hoe je mensen aanspreekt zonder afbreuk te doen aan je onderzoek. Als volleerde flamingo's, meesters in evenwicht 🦩
Het verhogen van anonimiteit bij peer-assessment door het gebruik van responstechnologie in het secundair onderwijs
Hannelore
Montrieux
Het gebruik van stembakjes bij peer assessment in het secundair onderwijs: hot or not ?!?
“ Ik vind het erg leuk en leerzaam om te werken met stemtechnologie, leraren moeten dit in de toekomst meer gebruiken!
“Voor mij zijn de stembakjes zeker voor herhaling vatbaar”
“ Met de stembakjes was een betere manier om te stemmen en veel toffer”.
In onze snel veranderende maatschappij zijn een combinatie van kennis, vaardigheden en attitudes, de zogenaamde ‘21st century skills’, essentieel. Het onderwijs heeft bijgevolg de opdracht leerlingen deze competenties aan te leren om leerlingen voor te bereiden op deze maatschappij. Competenties zoals samenwerken, flexibel zijn en elkaar constructief feedback kunnen geven zijn hierbij van belang. Nieuwe vormen van instructie, maar tevens nieuwe vormen van evaluatie/assessment dringen zich bijgevolg op.
De evaluatievorm peer assessment begint de laatste jaren zijn weg te vinden in het secundair onderwijs. Hierbij is het de bedoeling dat leerlingen (‘peers’) elkaar beoordelen (‘assessment’) op bijvoorbeeld een presentatie of een taak. De literatuur wijst op vele voordelen van peer assessment: het stimuleert zelfregulerend leren bij leerlingen, het stimuleert het kritisch vermogen en helpt de leerlingen bij het vormen van constructieve feedback. Daarnaast worden leerlingen betrokken bij de evaluatie en kunnen ze door middel van feedback eigen vaardigheden verbeteren. Kortom: peer assessment omvat niet enkel evalueren, maar ook leren.
Toch blijkt bij deze evaluatievorm niet alles rozengeur en maneschijn. Groepsdruk speelt de boosdoener in het spel. Zo is er vaak sprake van vriendjespolitiek waarbij leerlingen hoge scores neigen te geven aan vrienden. Of zijn er leerlingen die geen lage scores durven te geven uit schrik voor de reacties van klasgenoten. Leerlingen geven aan zich niet steeds comfortabel te voelen bij het publiekelijk evalueren van klasgenoten.
Op basis van deze bevindingen werd een studie opgezet om de toepassing van peer assessment in het secundair onderwijs te onderzoeken. Een groep van 69 leerlingen, afkomstig uit het ASO en KSO en twee leerkrachten die les geven aan deze leerlingen hebben hieraan deelgenomen. In dit onderzoek werd nagegaan of het creëren van een anonieme conditie met behulp van stemtechnologie -ook wel stembakjes genoemd- het probleem van groepsdruk de kop kan indrukken. Er werd een vergelijking gemaakt tussen peer assessment met kaartjes en de anonieme vorm van peer assessment met stembakjes. Bij peer assessment met kaartjes moeten leerlingen zichtbaar hun score tonen aan het publiek. Stemtechnologie bestaat uit een stembakje waarmee elke leerling anoniem zijn/haar stem kan ingeven. Alle scores van de leerlingen worden via PowerPoint procentueel afgebeeld; dit ter feedback voor diegene die beoordeeld wordt.
Er werd in deze studie ten eerste nagegaan wat leerlingen van peer assessment an sich vinden. Hierbij blijkt dat leerlingen over het algemeen positief zijn om deze evaluatievorm te gebruiken, ze voelden zich meer betrokken en geven aan dat ze een kritischere analyse van eigen sterktes en zwaktepunten kunnen maken. Ook leerkrachten zijn positief over de betrokkenheid van hun leerlingen bij de evaluatie.
Daarnaast blijkt dat het gebruik van stemtechnologie wel degelijk een oplossing biedt voor het probleem van groepsdruk: leerlingen geven aan dat ze minder faalangst, groepsdruk en stress ervaren wanneer men anoniem een score kan doorgeven. Daarnaast geven leerlingen aan een positievere houding aan te nemen ten opzichte van peer assessment wanneer deze uitgevoerd wordt met stemtechnologie, ze vonden het werken met stemtechnologie leuk en voelden zich comfortabeler in een anonieme conditie. Leraren ervaren het toepassen van peer assessment met de stembakjes als waardevol, maar enkel als er voldoende ondersteuning en training gegeven wordt waarbij leerlingen leren om elkaar goed te beoordelen.
Verder werd er tevens nagegaan of persoonskenmerken en klaskenmerken (klascultuur) een invloed kunnen hebben op de voorkeur voor het al dan niet anoniem stemmen. Enkel de klascultuur zoals die ervaren werd door de leerkracht lijkt hierbij een verband te vertonen. Daarnaast leek bij deze studie dat er verschillen zijn tussen klassen ASO en KSO. Uit deze studie bleek dat leerlingen uit het ASO het een minder prettig idee vonden om elkaar te beoordelen. Leerlingen uit het KSO daartegen ervaren in deze studie net minder groepsdruk bij peer assessment zonder technologie. Deze bevindingen vragen echter om meer onderzoek.
Een markante bevinding van deze studie is het feit dat de scores die leerlingen aan elkaar geven tijdens peer assessment verschillen naargelang de wijze waarop peer assessment uitgevoerd is. Leerlingen geven elkaar hogere scores bij peer assessment zonder technologie, de gegeven scores met de stembakjes zijn veel lager. Wanneer we deze scores vergelijken met de scores van de leerkracht is het opmerkelijk dat de (lagere) scores van de leerling bij peer assessment met stemtechnologie beter overeenstemmen met die van de leerkracht. Er kan gesuggereerd worden dat de scores bij anonieme peer assessment juister zijn omdat ze meer aansluiten bij de scores van de leerkracht. Anonimiteit heeft met andere woorden een invloed op de scores die leerlingen aan elkaar (durven) geven. De leerkracht zelf geeft dezelfde scores bij de anonieme/niet anonieme conditie; en geeft dus geen lagere scores aan zijn/haar leerlingen als deze anoniem gegeven mogen worden.
Concluderend kan gesteld worden dat peer-assessment een evaluatievorm is die gewaardeerd wordt in het secundair onderwijs. Hierbij blijkt dat door het garanderen van anonimiteit, met behulp van de stemtechnologie, groepsdruk verholpen kan worden. Peer assessment met stembakjes zijn hot. Leerkrachten en scholen kunnen deze stembakjes dus in de toekomst meer gebruiken, dit om tegemoet te komen aan de verwachtingen van de 21ste eeuw, maar ook omdat het door de leerlingen als leuk ervaren wordt.
Bibliografie
Ainsworth, S., Gelmini-Hornsby, G., Threapleton, K., Crook, C., O’Malley, C., & Buda, M. (2011). Anonymity in classroom voting and debating. Learning and Instruction, 21, 365-378.
Baker,M., & Lund, K. (1997). Promoting reflective interactions in a CSCL environment. Journal of Computer Assisted Learning,13(3), 175-193.
Barwell, G. & Walker, R. (2009) Peer assessment of oral presentations using clickers: the student experience, in The Student Experience, Proceedings of the 32nd HERDSA Annual Conference, Darwin, 6-9 July 2009, pp. 23-32.
Beatty, I.D., Gerace, W.J. (2009). Technology-enhanced formative assessment: A research-based pedagogy for teaching science with classroom response technology. Journal of Science Education and Technology, 18, 146-162.
Beernaert, L. (2011). Peer-assessment in het hoger onderwijs: het verhogen van anonimiteit door middel van responstechnologie. Niet gepubliceerde scriptie, Gent, Vakgroep Onderwijskunde.
Birenbaum, M. (2003). New Insights into Learning and Teaching and Their Implications for Assessment. In M. Segers, F. Dochy, & E. Cascallar (eds.), Optimising New Modes of Assessment: In Search of Qualities and Standards (pp.13-37). Dordrecht, Boston, London: Kluwer Academic Publishers.
Birenbaum, M., Breuer, K., Cascallar, E., Dochy, F., Dori, Y., Ridgway, J., Wiesemes, R. (2006). A learning Integrated Assessment System. Educational Research Review, 1, 61–67.
Bloxham, S. & West, A. (2004) Understanding the rules of the game: marking peer assessment as a medium for developing students’ conceptions of assessment. Assessment & Evaluation in Higher Education, 29(6), 721-733.
Boekaerts, M. (2010). The crucial role on motivation and emotion in classroom learning. In H. Dumont, D. Istance & F. Benavides (Eds.), The Nature of Learning. Using research to inspire practice (pp. 91-108). Frankrijk: OECD publishing.
Bostock; S. (2000). Student peer assessment. Retrieved December 18, 2011, from http://www.palatine.ac.uk/files/994.pdf
Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning society. Studies in continuing education, 22(2), 151-167.
Boud, D., & Falchikov, N. (1989). Quantitative studies of self-assessment in higher education: a critical analysis of findings. Higher Education, 18, 529-549.
Boud, D., Cohen, R., & Sampson, J. (1999). Peer learning and assessment. Assessment and Evaluation in Higher Education, 24(9), 413-426.
Brown, S. & Dove, P. (1991). Opening mouths to change feet: some views on self and peer assessment, in: BROWN, S. & DOVE, P. (Eds), Self and Peer Assessment (Standing Conference on Educational Development), pp. 59-65.
Caldwell, J. E. (2007). Clickers in the Large Classroom: Current Research and Best Practice Tips. CBE Life Sciences Education, 6(1), 9-20.
Cheng, W., & Warren, M. (1997). Having second thoughts: student perceptions before and after a peer assessment exercise. Studies in Higher Education, 22, 233-239.
Chinn, D. (2005). Peer-assessment in the algorithms course. ITiCSE '05 Proceedings of the 10th annual SIGCSE conference on Innovation and technology in computer science education, 37(3), 69-73.
Cohen, S., Kamarck, T., & Mermelstein, R. (1983). A global measure of perceived stress. Journal of Health and Social Behaviour, 24, 386-396.
Conroy, D.E. (2002). The Performance Failure Appraisal Inventory. User’s Manual. Retrieved April 21, 2011,from http://www.personal.psu.edu/dec9/uploads/3/0/4/0/304067/2003_pfai_users_manual.pdf
Dancer, W.T., & Dancer, L. (1992). Peer rating in higher education. Journal of Education for Business, 67, 306-309.
de Corte, E. (2010). Historical developments in the understanding of learning. In H. Dumont, D. Istance & F. Benavides (Eds.), The Nature of Learning. Using research to ...inspire practice (pp. 35-60). Frankrijk: OECD publishing.
De Grez, L., Valcke, M., Berings, D. (2010). Student response system and learning oral presentation skills. Procedia - Social and Behavioral Sciences, 2, 1786-1789.
De Leeuwe, M. (2008). De invloed van technologie in het juiste perspectief. DEVELOP, 4,
58 – 67.
Deal, A. (2007). Classroom Response Systems. Teaching with Technology. Retrieved April 21, 2011, from http://www.cmu.edu/teaching/resources/PublicationsArchives/StudiesWhitepapers/ClassroomResponse_Nov07.pdf
Dennis, I., Newstead, S.E., Wright, D.E. (1996). A new approach to exploring bias in educational assessment. British Journal of Psychology, 87(4), 515-534.
Deprez, I., & Lieveyns, S. (2004). Competentiegericht onderwijs. Begeleid zelfstandig studeren, 9, 1-22.
Dierick, S., Dochy, F., & Van de Watering, G. (2001). Assessment in hoger onderwijs: over de implicaties van nieuwe toetsvormen voor de edumetrie. Tijdschrift voor hoger onderwijs,19(3), 2-18.
Dochy, F, L. Heylen en H. van de Mosselaer (2002). Assessment in onderwijs. Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs. Utrecht: Lemma.
Dochy, F., & Segers, M. (2001). New Assessment Forms in Problem-based Learning: .the value-added of the students’perspective. Studies in Higher Education, 36(3), 327-343.
Dochy, F., Admiraal, W. & Pilot, A. (2003). Peer-en co-assessment als instrument voor diepgaand leren: bevindingen en richtlijnen. Tijdschrift voor hoger onderwijs, 21(4), 220 - 230.
Dochy, F., Heylen, L., & Van de Mosselaer, H. (2000). Assessment in onderwijs. Utrecht: Lemma.
Dochy, F., Segers, M., & Sluijsmans, D. (1999). The use of Self-, Peer and Co-.assessment in higher education : a review. Studies in higher education, 24(3), 331-350.
Draper, S. & Brown, M. (2002). Use of the PRS (Personal Response System) handsets at Glasgow University, Interim Report. Retrieved April 22, 2011, from http://www.psy.gla.ac.uk/%7Esteve/ilig/interim.html
Dumont, H., & Istance, D. (2010). Analysing and designing learning environments for the 21st century. In H. Dumont, D. Istance & F. Benavides (Eds.), The Nature of Learning. Using research to inspire practice (pp. 19-32). Frankrijk: OECD publishing.
Easy Graphics/Assessment Technogies (2008-2009). Why use an SRS? Retrieved April 25, 2011, from http://www.easygraphics.com/why-use-an-srs-/info_18.html
Falchikov, N. (1995). Improving feedback to and from students. In P.Knight (Ed.), Assessment for learning in higher education (pp. 157-166). London: Kogan Page.
Falchikov, N., & Goldfinch, J. (2000). Student peer-assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of Educational Research, 70(3), 287-322.
Fraser, B.J.; Anderson, G.J., & Walberg, H.J. (1982). Assessment of Learning Environments: Manual for Learning Environment Inventory and My Class Inventory. Perth: Western Institute of Technology.
Gardner, J. (2006). Assessment and Learning. London: Sage.
Gielen, D., Dochy, F., Onghena, P., Janssens, S., & Decuyper, S. (2007). A complementary role for peer feedback and staff feedback in powerful learning environments. In D. Gielen (Ed.), Peer assessment als a tool for learning (pp.157-199). Leuven: KATHOLIEKE UNIVERSITEIT LEUVEN. Faculteit Psychologie en Pedagogische Wetenschappen Centrum voor Opleidingsdidactiek.
Gielen, S. (2007). Peer-assessment as a tool for learning. Doctoraat KU leuven.
Gielen, S., Peeters, E., Dochy, F., Onghena, P., & Struyben, K. (2010a). Improving the effectiveness of peer feedback for learning, Learning and instruction, 20(4), 304-315.
Gielen, S., Tops, L., Dochy, F., Onghena, P., & Smeets, S. (2010b). A comparative study of peer and teacher feedback forms in a secondary writing curriculum. British Educational Research Journal, 36(1), 143-164.
Harlen, W. (2006). On the Relationship between Assessment for Formative and Summative Purposes. In J. Gardner (Ed.), Assessment and Learning (p. 104). London: Sage Publications Ltd.
Howard, C.D., Barret, A.F., & Frick, T.W. (2010). Anonimity to promote peer feedback: preservice teacher’s comments in asynchrous computer-mediated communication. Journal of Educational Computing Research, 43, 89-112.
Hunt, N., Hughes, J., & Rowe, G. (2002). Formative Automated Computer Testing (FACT). British Journal of Educational Technology, 33(5), 525-535.
Jonassen, D.H. & Kwon, H.I. (2001). Communication patterns in computer-mediated vs. face-to-face group problem solving. Educational Technology: Research and Development, 49(10), 35-52.
Jonassen, D.H., & Land, S.M. (2000). Theoretical foundations of learning environments. Mahwah, NJ: Lawrence Eribaum.
Kane, J.S., & Lawler, E.E. (1978). Methods of peer assessment. Psychological Bulletin, 85, 555-586.
Kaufman, J.H., & Schunn, C.D. (2010). Students’ perceptions about peer assessment for writing: Their origin and impact on revision work. Instructional Science, 39, 387-406.
Kay (2009b). A formative analysis of interactive classroom communication systems used in secondary school classrooms. In L.Tan Wee Hin & R. Subramaniam (Eds.), Handbook of research on new media literacy at the K-12 level: issues and challenges (p. 720-742). New York: Information Science Reference.
Kay, R. (2009). Examining gender differences in attitudes toward interactive classroom communications systems (ICCS). Computers & education, 52, 730-740.
Kay, R., & Knaack, L. (2009). Exploring the use of audience response systems in
secondary school science classrooms. Journal of Science Education and Technology, 18(5), 382-392.
Kay, R., Lesage, A., & Knaack, L. (2010). Examining the use of audience response systems in secondary school classrooms: a formative analysis. Journal of Interactive Learning Research, 21(3), 343-365.
Kay,R., & Knaack, L. (2009b). Exploring individual differences in attitudes toward audience response systems. Canadian Journal of Learning and Technology, 35(1), 1-20.
Kollar, I., & Fischer, F. (2010). Peer assessment as collaborative learning: A cognitive perspective. Learning and Instruction, 20(4), 344-348. doi: DOI 10.1016 / j. Learninstruc.2009.08.005
Liu, N. (2009). Literature review: how to effectively use SRS in the elementary classroom. Retrieved May, 5, 2011, from http://scholarspace.manoa.hawaii.edu/bitstream/handle/10125/15405/Liu_LiteratureReview.pdf?sequence=1
Lu, R., & Bol, L. (2007). A Comparison of Anonymous Versus Identifiable e-Peer Review on College Student Writing Performance and the Extent of Critical Feedback. Journal of interactive Online Learning, 6, 100-115.
Martyn, M. (2007). Clickers in the Classroom: An Active Learning Approach. EDUCAUSE Quarterly Magazine, 30(2), 71-74.
Mayer, R.E. (2010). Learning with technology. In H. Dumont, D. Istance & F. Benavides (Eds.), The Nature of Learning. Using research to inspire practice (pp. 179-196). Frankrijk: OECD publishing.
Nieweg, M. (2002). Leren van toetsen: op weg naar een nieuw model. Tijdschrift voor hoger onderwijs, 20(1), 42-59.
Noonan, B., & Duncan, R. (2005). Peer and Self-assessment in high schools. Practical assessment. Research and evaluation, 10(17), 1-8.
Orsmond, P., Merry, S., & Reiling, K. (1996). The importance of marking criteria in the use of peer assessment. Assessment and Evaluation in higher education, 21, 239-249.
Penuel, W.R., Boscardin, C.K., Masyn, K., & Crawford, V.M. (2007). Teaching with student response systems in elementary and secondary education settings: A survey study. Educational Technology, Research and Development, 55(4), 315-346.
Pond, K., Uo-Haq, R., & Wade, W. (1995). Peer review: a precursor to peer assessment. Innovations in Education and Training International, 32, 314-323.
Pope, N.K.L. (2005). The impact of stress in self- and peer assessment. Assessment & Evaluation in Higher Education, 30(1), 51-63.
Prensky, M. (2001). Digital Natives, digital immigrants. On the horizon, 9(5), 1-6.
Raes, A., Vanderhoven, E., & Schellens, T. (Submitted). Increasing anonymity in peer assessment within a face-to-face setting by using Classroom Response Technology. Assessment & Evaluation in Higher Education.
Reichert, M. (2004). Literatuurstudie: Best Practices van Assessment (elektronische versie). Digitale Universiteit.
Robinson, J.M. (2002). In search of Fairness: an application of multi-reviewer anonymous peer review in a large class. Journal of Further and Higher Education,26, 183-192.
Rooks, T., Wilson, J. (2010). Turning technologies student response systems transforming the K-12 learning experience. Retrieved May 5, 2011, from www.turningtechnologies.com/.../TransformingTheLearningExperience_Final.pdf
Rooks,T., & Wilson, J. (2010). Turning Technologies Student Response Systems Transforming the K-12 Learning Experience. Retrieved April 25,2011 from www.TurningTechnologies.com
Sadler, P.M., & Good, E. (2006). The impact of self- and peer grading on student learning. Educational Assessment, 11, 1-31
Sambell, K., McDowell, L, & Brown, S. (1997). “But what is fair?” An exploratory study of student perceptions of the consequential validity of assessment. Studies in Educational Evaluation, 23(4), 349-371.
Sartori, T.M. (2009). An empirical investigation of electronic student response systems in a K-12 school district: The relationship of ongoing assessment on student achievement. Retrieved April 25, 2011, from http://turningtalk.turningtechnologies.com/resources/categories.cfm?catid=520
Segers, M. (2004). Assessment en leren als een twee-eenheid : onderzoek naar de impact van assessment op leren. Tijdschrift voor hoger onderwijs; 22(4), 188-219.
Shepard, L.A. (2000). The role of assessment in a learning culture. Educational Researcher, 29(7), 4-14.
Siau, K., Sheng, H., & Nah, F.F.H. (2006). Use of a classroom Response system to Enhance Classroom Interactivity. Retrieved December 22, 2011, from http://digitalcommons.unl.edu/managementfacpub/26/
Simpson,V., & Oliver, M. (2002). Using electronic voting systems in lectures. UCL Internal report. Retrieved April 22, 2011, from http://www.ucl.ac.uk/learningtechnology/examples/ElectronicVotingSystems.pdf
Sinke, G. (2006). Aan de slag met assessment. OAB Dekkers.
Sluijsmans, D. (2002). Student involvement in assessment: The training of peer-assessment skills. Proefschrift Open Universiteit Heerlen.
Sluijsmans, D.M.A., Brand-Gruwel, S., van Merriënboer, J.J.G., Bastiaens, T.J. (2003). The training of peer assessment skills to promote the development of reflection skills in teacher education. Studies in Educational Evaluation, 29, 23-42.
Stepanyan, K., Mather, R., Jones, H., & Lusuardi, C. (2009). Student Engagement with Peer Assessment: A Review of Pedagogical Design and Technologies. Lecture Notes in Computer Science, 5686, 367-375.
Stiggins, R.J. (1991). Facing the challenges of a new era of educational assessment. Applied measurement in education, 4(4), 263-273.
Stoffel, K. (2005). Self, peer en co-assessment. Retrieved 22 december, 2011, from http://gwillem.home.xs4all.nl/ConsTechniek/PersManagKees/assessment%20concept%202.htm
Struyf, E. (2000). Evalueren: een leerkans voor leraren en leerlingen. Over de evaluatiepraktijk in de klas en het evaluatiebeleid op school. (Studia Paedagogica 26). Leuven: Universitaire Pers.
Topping, K.J. (1998). Peer-assessment between students in college and university. Review of Educational Research, 68(3), 249-276.
Topping, K.J. (2009). Peer-assessment. Theory Into Practice, 48(1), 20-27.
Tseng, S. C., Tsai, C.C. (2007). Online peer-assessment and the role of peer feedback: A study of high school computer course. Computers and education, 49, 1161-1174.
Tsivitanidou, O.E., Zachaia, Z.C., & Hovardos, T. (2011). Investigating secondary school students’ unmediated peer assessment skills. Learning and Instruction, 21, 506-519.
Van den Bossche, P., Gijselaers, W., Segers, M., & Kirschner, P. A. (2006). Social and cognitive factors driving teamwork in collaborative learning environments: team learning beliefs and behaviors. Small Group Research, 37, 490-521.
Van der Werf, G. (2006). Oud of nieuw leren? Of liever gewoon léren? Pedagogische Studiën, 83, 74-81.
van Gennip, N. A. E., Segers, M. S. R., & Tillema, H. H. (2010). Peer assessment as a collaborative learning activity: The role of interpersonal variables and conceptions. Learning and Instuction, 20, 280-290.
van Zundert, M., Sluijsmans, D., & van Merriënboer, J. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20, 270-279.
Voss, J.F., Wiley, J., Carretero, M. (1995). Acquiring intellectual skills. Annuals Reviews of Psychology, 46, 155-181.
Webb, M. (2011) Feedback enabled by new technologies as a key component of pedagogy. Retrieved May 5, 2011,from http://editlib.org/p/36844
Wolf, D., Bixby, J., Glenn, J., Gardner, H. (1991).To use their minds well: investigating new forms of student assessment. Review of Research in Education, 17, 31-74.
Wuyts, R. (2006). Nieuw Netwerk Nederlands 6A werkboek. Wommelgem:Van In.
Yang, M., Badger, R., & Yu, Z. (2006). A comparative study of peer and teacher feedback in a Chinese EFL writing class. Journal of Second Language Writing, 15, 179-200.
Yang, Y.F., & Tsai, C.C. (2010). Conceptions of and approaches to learning through online peer assessment. Learning and Instruction, 20, 72-83.
Zhu, E. (2007). Teaching with clickers. Center for Research on Learning and Teaching. Retrieved April 22, 2011, from http://www.crlt.umich.edu/publinks/CRLT_no22.pdf
