K čemu jsou v TSP percentily?

Výsledkem přijímacích zkoušek na Masarykovu univerzitu v Brně, konanou formou testu studjních předpokladů, není prostý součet bodů, nýbrž tzv. percentil. Je to údaj, který je z počtu bodů vypočítán zvláštními statistickými metodami.

S termínem percentil se většina středoškoláků během svého studia nesetká, vysvětlíme si proto podrobně, co to vlastně percentil je, k čemu vyjádření výsledku pomocí percentilu slouží a jakým způsobem je vypočítán.

Proč právě percentily?

Každý z testů, které studenti během přijímací zkoušky vyřeší, lze nejjednodušeji ohodnotit počtem získaných bodů. Sečteme správné odpovědi, odečteme body za chybné odpovědi a získáme výsledný počet bodů. Tímto způsobem (tehdy ještě bez odečítání bodů za nesprávné odpovědi) byly vyhodnoceny první TSP v roce 2003.

V roce 2004 už se ale univerzitě podle vyjádření tehdejšího rektora Jiřího Zlatušky nepodařilo „namíchat“ stejně obtížné varianty testů, jako se to povedlo o rok dříve a rozdíly v obtížnosti jednotlivých testů byly značné. Rozdíl v průměrných výsledcích mezi některými testy prý dosahoval až 5 bodů.

Došlo tak k tomu, že někteří studenti psali obtížnější variantu, jiní méně obtížnou a je na první pohled zřejmé, že porovnávat studenty s těžší variantou TSP se studenty s lehčí variantou TSP jenom podle bodů by nebylo ani trochu spravedlivé. Uchazeč s lehčím testem by byl zvýhodněn a měl by větší šanci na přijetí, uchazeč s těžším testem znevýhodněn a jeho šance na přijetí by byla menší.

Jako nejjednodušší řešení se na první pohled jeví vytvoření jednotlivých variant TSP tak, aby všechny byly stejně obtížné. Toho však lze v praxi dosáhnout jen velmi obtížně a s nemalým rizikem prozrazení obsahu testu. Proto je třeba najít jiný způsob jak vytvořit sprvedlivé pořadí uchazečů nezávisle na tom, která verze testu studijních předpokladů na ně vyšla. Taková v praxi dobře ověřená metoda existuje – výsledné pořadí není sestaveno podle bodů, ale podle percentilů.

Co je percentil a jak se vypočítá

Aby bylo pořadí vytvořené podle percentilů spravedlivé, je nutné splnit podmínku, že jednotlivé verze TSP řeší skupiny uchazečů, které jsou co do úrovně studijních předpokladů srovnatelné. Na Masarykově univerzitě v Brně se toho dosahuje tak, že uchazeči pro jednotlivé varianty jsou "namícháni" v podstatě náhodně. Při velkém počtu účastníků každého testu (v praxi každou variantu dělá více než 1.000 uchazečů) je tato podmínka téměř s jistotou splněna.

Percentil se vypočítá tak, že pro všechny vyřešené testy se nejprve spočítají celkové body. Potom se testy roztřídí podle jednotlivých variant a pro každou variantu se vytvoří pořadí všech testů této varianty od nejvyššího počtu bodů po nejnižší. Testy, které mají stejný počet bodů, jsou v pořadí na stejném místě. Jakmile jsou testy seřazeny, přestává hrát výsledný počet bodů roli a k výpočtu percentilu už není potřeba.

Výsledný percentil pro každý konkrétní test je procento testů, které jsou na stejném nebo horším pořadovém místě jako tento test. Sečteme tedy, kolik testů dané varianty má stejný nebo horší bodový výsledek, tento součet vydělíme počtem všech testů v dané variantě a výsledný podíl vynásobíme číslem 100. Nejlepší test nebo testy v rámci každé varianty tak budou mít percentil 100 (všichni jsou stejně dobří nebo horší jako nejlepší test), percentil nejhorších testů se bude blížit číslu 0.

Ve chvíli, kdy výsledky všech testů přepočteme na percentil, můžeme z uchazečů podle percentilů vytvořit spravedlivé výsledné pořadí bez ohledu na to, kterou variantu TSP kdo psal.

Z popisu je dobře vidět, že výsledek nezáleží jenom na tom, jak se podaří test napsat vám, ale závisí také na tom, jakého výsledku dosáhnou ve vaší variantě testu ti ostatní. To ale není spravedlivému hodnocení na škodu, přijímačky na nejlukrativnější obory jsou tak trochu závod, ve kterém záleží hlavně na tom, kolik konkurentů se vám podaří předběhnout. Je to podobné jako ve sportu: Medaili dostanou jenom ti nejlepší a nezáleží na tom, jestli se jim podaří překonat světový rekord. Důležité je, aby byli lepší než ti, kteří závodí s nimi.

Problémy při prvním použití percentilů v TSP

V roce 2004, při druhém ročníku TSP, došlo poprvé při hodnocení k využití percentilů. Nebylo by na tom nic zvláštního, kdyby to Masarykova univerzita řekla předem. To se ale nestalo, takže se dá předpokládat, že k rozhodnutí o tomto způsobu hodnocení došlo až při zjištění velkých rozdílů mezi jednotlivými variantami.

TSP tehdy měly 80 otázek a původní slíbené hodnocení bylo 0-80 bodů. Aby bylo dodrženo, byl výsledný percentil, který nabýval hodnoty 0-100 přepočítán na slíbenou stupnici podle jednoduchého vzorce tak, že byl vždy vynásoben číslem 0,8 a zaokrouhlen na celé číslo nahoru.

Tento nečekaný postup přepočtu bodů na percentily a následného zpětného převodu na původní bodovou škálu vyvolal vlnu nesouhlasných reakcí, protože budil dojem, že studentům, kteří při zkoušce vyplňovali lehčí variantu, univerzita body ubrala a těm, na které vyšla těžší verze, přidala. Postup si vysloužil i kritický článek na serveru iDNES. Přitom tvrzení o přidávání a ubírání bodů je ukázkou klasického zkreslení z neznalosti a ve svém důsledku je nesmyslné. K "přidávání" i "ubírání" bodů totiž pochopitelně docházelo u všech variant testů, pouze byly jiné "mezní" hodnoty pro to, komu se "přidávalo" a komu "ubíralo".

A jak je to nyní ...

Podobná chyba se už samozřejmě neopakovala a od roku 2005 je hodnocení pomocí percentilů standardem - výsledky v TSP jsou vypočítávány s přesností na dvě desetinná místa. Dá se říci, že hodnocení podle percentilů je ze všech možných nejspravedlivější. Výhodou je také to, že se tvůrci testů nemusí snažit vytvořit za každou cenu stejně obtížné testy.

Harmonizovaný percentil ve scio testech OSP

Podobné hodnocení jako v TSP používá i společnost Scio ve svých testech OSP. Od hodnocení v TSP se však liší v několika podstatných okolnostech.

První z nich je skutečnost, že v OSP není použit prostý percentil, ale tzv. harmonizovaný percentil Jeho výpočet je složitější a slouží k tomu, aby bylo možné porovnávat uchazeče nejen v rámci jednoho termínu, ale i ty, kteří se účastní testů v různých termínech. Harmonizovaný percentil by měl být schopen zohlednit i to, že struktura účastníků jednotlivých termínů nemusí být úplně stejná.

Druhým rozdílem je výpočet percentilů po jednotlivých oddílech. Zatímco v TSP se počítá percentil za celý test, ve scio testech OSP vždy percentily za jednotlivé oddíly. Výsledný percentil pak může být pro různé školy různý. Některé fakulty (např. Fakulta sociálních studií Masarykovy univerzity v Brně) používají jako výsledek aritmetický průměr ze všech oddílů, jiné fakulty (např. právnické fakulty v Olomouci a Plzni) používají průměr vážený, který zvýhodňuje výsledek z některých oddílů před výsledkem v jiném oddílu.

Doporučte tento článek svým přátelům

 

Další nabídka