K čemu slouží percentily

[Brno | 30.3.2005] Přijímací testy studijních předpokladů (TSP) na Masarykovu univerzitu v Brně jsou hodnoceny zvláštním statistickým způsobem pomocí tzv. percentilů. S tímto termínem se na střední škole potká málokdo, pojďme si tedy vysvětlit, co to vlastně percentil je, k čemu slouží a jak se vypočítá.

Proč percentily?

Každý test, který uchazeč napíše, lze samozřejmě ohodnotit počtem správných odpovědí, kterých dosáhl a takové hodnocení také Masarykova univerzita použila při prvních TSP v roce 2003. V dalším roce se však podle tehdejšího rektora Zlatušky už nepodařilo "namíchat" stejně obtížné varianty testů, jak se to povedlo o rok dřív, rozdíl mezi "průměrnými obtížnostmi testů" prý dělal až 5 bodů. Někteří uchazeči tedy psali složitější variantu, jiní méně obtížnou, avšak uchazeče bylo třeba vzájemně porovnat bez ohledu na to, který test řešili.

Pokud by k hodnocení byl použit pouze počet správně zodpovězených otázek, došlo by k tomu, že uchazeči, kteří psali lehčí variantu by měli výrazně větší šanci na přijetí, než ti, kteří řešili obtížnější variantu. V této situaci je tedy třeba najít způsob, jak porovnat uchazeče s různými obtížnostmi testů a vytvořit co nejspravedlivější pořadí všech uchazečů nezávisle na tom, která varianta testu studijních předpokladů na ně vyšla. Taková v praxi ověřená metoda existuje - pořadí je sestaveno podle percentilů.

Co je percentil a jak se vypočítá

Aby bylo možné sestavit pořadí podle percentilů spravedlivě, je třeba v první řadě zajistit, aby každou variantu řešily vyrovnané skupiny uchazečů, co do předpokladů ke studiu. Masarykova univerzita to řeší tak, že uchazeče pro každou variantu "namíchá" v podstatě náhodně, což by při velkém počtu uchazečů mělo tuto podmínku zajistit.

Percentil se potom určuje tak, že se pro každý vyřešený test nejprve spočítají správné odpovědi a testy se seřadí podle počtu správných odpovědí od nejlepšího k nejhoršímu, vždy každá varianta zvlášť. Testy jedné varianty, které mají stejný počet správných odpovědí mají v pořadí stejné pořadové číslo. Jakmile jsou testy takto seřazeny, přestává hrát počet správných odpovědí roli a k dalšímu výpočtu se už nepoužívá.

Percentil pro každý test je procento testů, které jsou na stejném nebo horším pořadovém místě (počet stejných nebo horších testů dané varianty vydělíme počtem všech testů dané varianty a tento podíl vynásobíme číslem 100). Nejlepší test v každé variantě tedy bude mít percentil 100, percentil nejhoršího se bude blížit 0. Jakmile jsou takto určeny percentily pro všechny testy, určuje dosažený percentil výsledné pořadí nezávisle na tom, kterou variantu uchazeč řešil. Z uvedeného popisu je patrné, že nezáleží jenom na tom, jak napíšu test já, ale zároveň na tom, jak si s ním poradí všichni ti, kteří dělají stejnou variantu.

Problémy s hodnocením testu studijních předpokladů v roce 2004

V druhém roce, kdy byly testy studijních předpokladů na Masarykově univerzitě použity došlo poprvé při hodnocení k použití percentilů. Na tom by samo o sobě nebylo nic zvláštního. Masarykova univerzita to však neřekla předem, z čehož se dá usuzovat, že k tomuto rozhodnutí došlo až při vyhodnocování testů a zjištění velkých rozdílů mezi jednotlivými variantami.

Aby bylo zachováno uvedené hodnocení, byl výsledný percentil, který může mít hodnotu 0-100 a nemusí to být celé číslo přepočítán zpětně na celočíselnou bodovou škálu 0-80. Vzorec byl jednoduchý, percentil se vynásobil číslem 0,8 a zaokrouhlil na celé číslo nahoru.

Tento postup přepočítávání bodů na percentily a následně zpět na původní bodovou škálu vyvolal bouři nevole a vysloužil si i kritický článek na serveru iDNES. Budil totiž dojem, že "zájemcům o studium, kteří při zkoušce vyplňovali lehčí variantu, univerzita body ubrala a těm, na které vyšla těžší verze, přidala".

Toto tvrzení je ukázkou klasického zkreslení z neznalosti a ve svém důsledku je nesmyslné. K "přidávání" a "ubírání" bodů totiž pochopitelně došlo u všech variant, pouze byly jiné "mezní" hodnoty.

Z toho, co jsme řekli, můžeme tedy spíše usuzovat, že určování pořadí podle percentilů (byť nebylo avizováno předem) bylo v dané situaci spravedlivější, než zvýhodnění uchazečů, kteří psali jednodušší variantu.

Loňský rok a jak dál

V roce 2005 se podobná chyba Masarykovy univerzity při hodnocení pochopitelně už neopakovala. Pro hodnocení testu studijních předpokladů se používají percentily v podobě desetinného čísla od nuly do sta a lze odhadovat, že to tak zůstane i do budoucna.

Viditelný dopad, který tento postup má je ten, že se tvůrci TSP nyní mnohem méně snaží vytvořit srovnatelně obtížné varianty testů. Alespoň loni to bylo patrné na první pohled.

-mj-

Seznam článků Hlavní stránka