W jaki spos\u00f3b osoba asesora mo\u017ce wp\u0142yn\u0105\u0107 na wyniki walidacji? Wnioski z bada\u0144 zagranicznych.
Od 2016 roku obserwuje si\u0119 w Polsce wzrost zainteresowania walidacj\u0105 efekt\u00f3w uczenia si\u0119: w Zintegrowanym Rejestrze Kwalifikacji (ZRK) jest coraz wi\u0119cej opisanych i funkcjonuj\u0105cych kwalifikacji rynkowych, wzrasta liczba instytucji certyfikuj\u0105cych i certyfikat\u00f3w nadawanych drog\u0105 walidacji. Instytucje certyfikuj\u0105ce maj\u0105 teraz przed sob\u0105 kolejne wa\u017cne zadanie: musz\u0105 zadba\u0107 o odpowiednie przygotowanie asesor\u00f3w, ich rola jest bowiem decyduj\u0105ca w nadawaniu kwalifikacji. To na podstawie ich decyzji potwierdzane jest osi\u0105gni\u0119cie przez kandydat\u00f3w wymaganych dla kwalifikacji kompetencji.<\/p>\n\n\n\n
Ka\u017cdy z nas zapewne albo sam do\u015bwiadczy\u0142 niesprawiedliwego oceniania w szkole, albo przynajmniej by\u0142 \u015bwiadkiem podobnej sytuacji: z\u0142ego podliczenia punkt\u00f3w na te\u015bcie, udzielenia komu\u015b przez nauczyciela niesprawiedliwej uwagi. Oczywi\u015bcie ka\u017cdy problem jest do rozwi\u0105zania i nie chodzi tu o wskazanie b\u0142\u0119d\u00f3w, kt\u00f3re wszyscy pope\u0142niamy w pracy, tylko o u\u015bwiadomienie, \u017ce ko\u0144cowa ocena z testu\/egzaminu zale\u017cy nie tylko od tego, w jaki spos\u00f3b ucze\u0144 odpowiada, jak wygl\u0105da arkusz asesora, w jakich warunkach przeprowadzany by\u0142 egzamin i czy zachowano procedury, ale te\u017c od samej osoby oceniaj\u0105cej \u2013 jej umiej\u0119tno\u015bci, do\u015bwiadczenia i zachowania podczas weryfikacji.<\/p>\n\n\n\n
Wp\u0142yw osoby oceniaj\u0105cej na otrzymywane przez ucznia oceny jest dobrze udokumentowany i dog\u0142\u0119bnie badany w edukacji. Na pierwszy rzut oka mo\u017cna by por\u00f3wna\u0107 dzia\u0142anie asesor\u00f3w walidacyjnych do dzia\u0142a\u0144 nauczyciela, kt\u00f3ry sprawdza test lub ocenia prac\u0119 ucznia. W\u0142a\u015bciwie mo\u017cna m\u00f3wi\u0107 o efekcie asesora, podobnie jak mo\u017cna m\u00f3wi\u0107 o efekcie egzaminatora.<\/p>\n\n\n\n
Jednak\u017ce s\u0105 pewne istotne r\u00f3\u017cnice mi\u0119dzy prac\u0105 asesora a prac\u0105 nauczyciela, kt\u00f3re wynikaj\u0105 ze specyficznych warunk\u00f3w podczas walidacji efekt\u00f3w uczenia si\u0119. <\/p>\n\n\n\n
\nNa czym asesorzy opieraj\u0105 ocen\u0119 kandydata (umiej\u0119tno\u015bci, do\u015bwiadczenie kandydata, jego stosunek do w\u0142asnego do\u015bwiadczenia, adekwatno\u015b\u0107 do\u015bwiadczenia kandydata do wymaga\u0144 kwalifikacji, osobowo\u015b\u0107 kandydata)? Czy dobrze opisany arkusz oceny wystarczy, by zapewni\u0107 obiektywno\u015b\u0107 asesora? Jakie zjawiska mog\u0105 ograniczy\u0107 obiektywno\u015b\u0107 asesor\u00f3w? <\/p>\n<\/blockquote>\n\n\n\n
W Polsce jeszcze nie zbadano efektu asesora, dlatego warto zainspirowa\u0107 si\u0119 wnioskami z do\u015bwiadcze\u0144 innych kraj\u00f3w. W artykule zostan\u0105 om\u00f3wione wnioski Sandrine Cortessis, szwajcarskiej badaczki, kt\u00f3ra zainteresowa\u0142a si\u0119 procesami podejmowania decyzji przez asesor\u00f3w\/ekspert\u00f3w podczas walidacji. Oczywi\u015bcie b\u0119dzie tu mowa o do\u015bwiadczeniach zagranicznych, ale wnioski z obserwacji mog\u0105 by\u0107 przydatne tak\u017ce i dla instytucji certyfikuj\u0105cych dzia\u0142aj\u0105cych w naszym kraju. <\/p>\n\n\n\n
Asesor interpretuje<\/strong><\/h2>\n\n\n\n
Pierwszy wniosek Sandrine Cortessis odnosi si\u0119 do arkuszy, na kt\u00f3rych pracuj\u0105 asesorzy. Zgodnie z teori\u0105 analizy pracy (wywodz\u0105c\u0105 si\u0119 z francuskoj\u0119zycznego nurtu teoria opisana mi\u0119dzy innymi przez Yves\u2019a Clot), istnieje r\u00f3\u017cnica pomi\u0119dzy prac\u0105, kt\u00f3ra zosta\u0142a zlecona (przepis, polecenie, regulamin, procedura) a prac\u0105 wykonan\u0105. Wynika to z tego, \u017ce nie da si\u0119 opisa\u0107 zada\u0144, procedur, polece\u0144 na tyle szczeg\u00f3\u0142owo, aby uwzgl\u0119dni\u0107 wszystkie nieprzewidziane i prawdopodobne sytuacje dotycz\u0105ce pracy do wykonania. A nawet gdyby si\u0119 uda\u0142o, opis by\u0142by niewykonalny lub nieaktualny po up\u0142ywie kr\u00f3tkiego czasu. <\/p>\n\n\n\n
Ta r\u00f3\u017cnica jest w\u0142a\u015bnie przestrzeni\u0105 dla interpretacji dokonywanej przez osob\u0119 oceniaj\u0105c\u0105 prac\u0119.<\/p>\n\n\n\n
Asesor widzi jednego kandydata, ale patrzy przez pryzmat kultury ca\u0142ej grupy zawodowej<\/strong><\/h2>\n\n\n\n
Ocena osi\u0105gni\u0119\u0107 kandydata jest formu\u0142owana nie tylko w relacji do jego indywidualnych osi\u0105gni\u0119\u0107, lecz tak\u017ce, w pewnej mierze, w relacji do kultury zawodu, panuj\u0105cych norm profesjonalnych, kt\u00f3re s\u0105 podzielane przez \u015brodowisko zawodowe w danej bran\u017cy. <\/p>\n\n\n\n
W teorii kryteria weryfikacji powinny odnosi\u0107 si\u0119 do kultury zawodu \u2013 w rozumieniu zbioru praktyk i zachowa\u0144 nie tylko wynikaj\u0105cych z regu\u0142 spisanych takich jak ustawy, regulacje, zasady bezpiecze\u0144stwa, ale tak\u017ce z etosu, zwyczaj\u00f3w niespisanych, zasad przyzwoito\u015bci, wsp\u00f3\u0142pracy itp. Jednak ka\u017cdy asesor ma w\u0142asn\u0105 percepcj\u0119 kultury organizacyjnej, etosu zawodu, w inny spos\u00f3b pojmuje, czym jest dobrze wykonana praca\/zadanie, a to z kolei wp\u0142ywa na jego analiz\u0119 osi\u0105gni\u0119\u0107 kandydata.<\/p>\n\n\n\n
O argumentacji<\/strong><\/h2>\n\n\n\n
Nie wszyscy maj\u0105 umiej\u0119tno\u015bci argumentacyjne na tym samym poziomie, r\u00f3\u017cnimy si\u0119 mi\u0119dzy sob\u0105 zdobytym kapita\u0142em kulturowym i lingwistycznym. <\/p>\n\n\n\n
Asesorzy, zw\u0142aszcza oceniaj\u0105cy umiej\u0119tno\u015bci z zakresu zawodu, obserwuj\u0105 i s\u0142uchaj\u0105 kandydata, opieraj\u0105c si\u0119 na swoim do\u015bwiadczeniu w danym zawodzie. Inna praktyka, szczeg\u00f3lnie innowacyjna, mo\u017ce jawi\u0107 si\u0119 czasem dla niekt\u00f3rych asesor\u00f3w jako niezrozumia\u0142a czy nieprawid\u0142owa, szczeg\u00f3lnie, je\u017celi kandydat nie potrafi uzasadni\u0107 jej zalet, wyja\u015bni\u0107 zasadno\u015bci zastosowanych rozwi\u0105za\u0144. W\u00f3wczas kandydat nie jest w stanie si\u0119 obroni\u0107 i udowodni\u0107 osi\u0105gni\u0119cia wymaganych kompetencji. Sandrine Cortessis podaje przyk\u0142ad kandydatki ze szko\u0142y o nietypowym podej\u015bciu pedagogicznym, kt\u00f3ra nie przekona\u0142a asesor\u00f3w co do praktyk stosowanych w swojej szkole, poniewa\u017c nie potrafi\u0142a wyt\u0142umaczy\u0107 za\u0142o\u017ce\u0144 tych praktyk w zrozumia\u0142y i klarowny dla oceniaj\u0105cych spos\u00f3b.<\/p>\n\n\n\n
Efekt asesora to akcje <\/strong><\/h2>\n\n\n\n
Z punktu widzenia kandydata asesorzy pozostaj\u0105 tymi, kt\u00f3rzy prowadz\u0105 etap weryfikacji i to oni organizuj\u0105 przestrze\u0144 do dyskusji, odpowiadaj\u0105 za warunki do komunikacji. Kluczowe w efekcie asesora jest wi\u0119c to, w jakim stopniu asesorzy umo\u017cliwiaj\u0105 kandydatowi wykaza\u0107 si\u0119 swoimi umiej\u0119tno\u015bciami.<\/p>\n\n\n\n
Otwarte polecenia typu \u201eOpowiedz o tym, jak si\u0119 czu\u0142a\u015b\/czu\u0142e\u015b podczas prowadzonych zaj\u0119\u0107\/ wykonywanych zada\u0144?\u201d pozostawiaj\u0105 zbyt du\u017co swobody w udzielaniu odpowiedzi i takie pytanie mo\u017ce zosta\u0107 odebrane jako pytanie retoryczne, co skutkuje tym, \u017ce odpowied\u017a mo\u017ce by\u0107 mniej trafna i s\u0142abo uargumentowana. <\/p>\n\n\n\n
Odwrotnie dzieje si\u0119 w przypadku zadawania kandydatom precyzyjnych pyta\u0144 i polece\u0144 \u2013 zach\u0119caj\u0105 one kandydat\u00f3w do sk\u0142adania rozbudowanej argumentacji, kt\u00f3ra umo\u017cliwia lepsze zrozumienie dzia\u0142a\u0144 kandydata przez asesor\u00f3w.<\/p>\n\n\n\n
Pod ka\u017cdym wzgl\u0119dem maj\u0105 przewag\u0119 ci kandydaci, kt\u00f3rzy mog\u0105 przewidzie\u0107, zrozumie\u0107 niedopowiedziane, niedoprecyzowane oczekiwania asesor\u00f3w.<\/p>\n\n\n\n
Efekt asesora to reakcje<\/strong><\/h2>\n\n\n\n
Asesor reaguje na to, co robi kandydat. Kandydat za to odczytuje reakcje asesora: ka\u017cde spojrzenie, komentarz, uzupe\u0142nienie polecenia, a nawet milczenie s\u0105 odbierane przez kandydata jako znaki komunikacji. To, jak asesor reaguje na czynno\u015bci kandydata, ma wi\u0119c te\u017c wp\u0142yw na dalszy przebieg walidacji.<\/p>\n\n\n\n
Badanie Sandrine Cortessis wykaza\u0142o, \u017ce ci asesorzy, kt\u00f3rzy na bie\u017c\u0105co regulowali przebieg dyskusji, pozwalali r\u00f3wnie\u017c kandydatowi uzupe\u0142ni\u0107 swoj\u0105 argumentacj\u0119. I odwrotnie: kandydaci, do kt\u00f3rych asesorzy nie zwracali si\u0119 podczas weryfikacji, czuli si\u0119 zagubieni i bezradnie pr\u00f3bowali wyczyta\u0107 z zachowania asesor\u00f3w jakiekolwiek wskaz\u00f3wki, czy udzielane przez nich odpowiedzi s\u0105 wystarczaj\u0105ce, czy te\u017c powinni jeszcze kontynuowa\u0107 i rozwin\u0105\u0107 dany w\u0105tek. Asesor, kt\u00f3ry wyra\u017ca niezrozumienie odpowiedzi kandydata, lub to, \u017ce si\u0119 z nim nie zgadza, r\u00f3wnie\u017c wp\u0142ywa na przebieg walidacji. <\/p>\n\n\n\n
Ocena poprzez kryteria a ocena globalna<\/strong><\/h2>\n\n\n\n
Opr\u00f3cz oceny wed\u0142ug kryteri\u00f3w pojawia si\u0119 u asesor\u00f3w subiektywnie skonstruowana ocena globalna kandydata. Te dwie oceny nie zawsze si\u0119 ze sob\u0105 pokrywaj\u0105 (np. kandydat uzyska du\u017co punkt\u00f3w, ale og\u00f3lne wra\u017cenie asesora jest z\u0142e, albo odwrotnie), a kiedy tak si\u0119 dzieje, asesorzy pr\u00f3buj\u0105 dopasowa\u0107 punktacj\u0119 do oceny globalnej. Przewa\u017cnie jest to dzia\u0142anie na korzy\u015b\u0107 kandydata i asesorzy pr\u00f3buj\u0105 dopasowa\u0107 og\u00f3lne wra\u017cenie do konkretnych kryteri\u00f3w, aby unikn\u0105\u0107 sytuacji, w kt\u00f3rej \u201edobry kandydat\u201d zostanie \u017ale oceniony.<\/p>\n\n\n\n
W przypadku gdy og\u00f3lne wra\u017cenie nie pokrywa si\u0119 z ocen\u0105 na podstawie odniesienia do kryteri\u00f3w, asesorzy ufaj\u0105 og\u00f3lnemu wra\u017ceniu i mo\u017ce doj\u015b\u0107 do dostosowania punktacji. W razie w\u0105tpliwo\u015bci ma miejsce dyskusja, podczas kt\u00f3rej s\u0105 ju\u017c brane pod uwag\u0119 r\u00f3\u017cne wymiary do\u015bwiadczenia kandydata.<\/p>\n\n\n\n
Efekt asesora, ale te\u017c efekt standard\u00f3w!<\/strong><\/h2>\n\n\n\n
Obserwacje Sandrine Cortessis dotycz\u0105ce asesor\u00f3w walidacyjnych s\u0105 sp\u00f3jne z badaniami dotycz\u0105cymi nauczycieli: walidacja nie uchroni si\u0119 przed efektem asesora. <\/p>\n\n\n\n
Asesorzy maj\u0105 swoj\u0105 indywidualn\u0105 wra\u017cliwo\u015b\u0107 i sw\u00f3j \u015bwiatopogl\u0105d i tego nie da si\u0119 wyeliminowa\u0107 podczas oceniania kandydata. Jednak subiektywno\u015b\u0107 asesor\u00f3w ograniczona jest uzasadnieniem oceny, kt\u00f3ra odnosi si\u0119 do standard\u00f3w i wymaganych kryteri\u00f3w. W tym sensie kandydat jest nie tyle chroniony przed obiektywizacj\u0105 oceny, ile przed nieuzasadnion\u0105 subiektywno\u015bci\u0105.<\/p>\n\n\n\n
O autorze:<\/h3>\n\n\n\n
Micha\u0142 Rostworowski<\/strong> \u2013 absolwent kierunku analizy system\u00f3w edukacyjnych na Uniwersytecie Genewskim w Szwajcarii. Realizuje projekty w Instytucie Bada\u0144 Edukacyjnych w obszarze Zintegrowanego Systemu Kwalifikacji i walidacji efekt\u00f3w uczenia si\u0119. Wspiera uczelnie oraz instytuty badawcze we w\u0142\u0105czaniu kwalifikacji podyplomowych do ZSK. By\u0142y pracownik International Bureau of Education (IBE\u2013UNESCO) oraz konsultant do spraw jako\u015bci szkole\u0144. Ma do\u015bwiadczenie w badaniach jako\u015bciowych i ilo\u015bciowych oraz ewaluacji program\u00f3w szkoleniowych.<\/p>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
W jaki spos\u00f3b osoba asesora mo\u017ce wp\u0142yn\u0105\u0107 na wyniki walidacji? Wnioski z bada\u0144 zagranicznych. Od 2016 roku obserwuje si\u0119 w Polsce wzrost zainteresowania walidacj\u0105 efekt\u00f3w uczenia si\u0119: w Zintegrowanym Rejestrze Kwalifikacji (ZRK) jest coraz wi\u0119cej opisanych i funkcjonuj\u0105cych kwalifikacji rynkowych, wzrasta liczba instytucji certyfikuj\u0105cych i certyfikat\u00f3w nadawanych drog\u0105 walidacji. Instytucje certyfikuj\u0105ce maj\u0105 teraz przed sob\u0105 […]<\/p>\n","protected":false},"featured_media":17595,"parent":17548,"menu_order":0,"template":"","meta":{"_acf_changed":false,"footnotes":""},"tags":[53,47,547],"autor":[],"class_list":["post-17592","kwartalnik","type-kwartalnik","status-publish","has-post-thumbnail","hentry","tag-funduszeeuropejskie","tag-funduszeue","tag-kwartalnik"],"acf":[],"_links":{"self":[{"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/kwartalnik\/17592","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/kwartalnik"}],"about":[{"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/types\/kwartalnik"}],"version-history":[{"count":1,"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/kwartalnik\/17592\/revisions"}],"predecessor-version":[{"id":17597,"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/kwartalnik\/17592\/revisions\/17597"}],"up":[{"embeddable":true,"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/kwartalnik\/17548"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/media\/17595"}],"wp:attachment":[{"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/media?parent=17592"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/tags?post=17592"},{"taxonomy":"autor","embeddable":true,"href":"https:\/\/kwalifikacje.gov.pl\/en\/wp-json\/wp\/v2\/autor?post=17592"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}