Об инструменте


Information and Communication Literacy Test (ICL Test) – это специально разработанный инструментарий для измерения уровня информационно-коммуникационной компетентности (ИК-компетентности) выпускника основной школы.

 

Что такое ИК-компетентность?

Современный человек живет в информационном обществе, в котором уже просто невозможно существовать без умений работать с информацией. Показателем этих умений является уровень информационно-коммуникационной компетентности (ИК-компетентности), ИК-компетентность – это не только и не столько уровень владения конкретными компьютерными программами и информационными технологиями. Под ИК-компетентностью понимается способность и готовность учащихся использовать цифровые информационные и коммуникационные технологии с целью получения доступа, управления, интеграции, оценивания, создания информации и коммуникации, соблюдая этические и правовые нормы.

ИК-компетентность включает целый ряд умений, в том числе:

  • всесторонне работать с информацией (обеспечивать доступ к информации, осуществлять ее поиск, интеграцию, управление, переработку, создание и передачу на ее основе нужного сообщения, использование полученной информации по целевому назначению в процессе общения и др.);
  • решать на основе полученной информации различные практические задачи, применяя при этом информационно-коммуникационные технологии;
  • мыслить и продуктивно взаимодействовать в современном «цифровом» мире на основе оперирования разнообразными потоками информации.

Таким образом, высокий уровень ИК-компетентности выпускника школы является залогом того, что он будет способен успешно жить и работать в условиях современного информационного общества – общества, которое основано на знании.

 

Зачем нужен ICL Test?

Цель тестирования: обеспечить реалистичную и разностороннюю оценку ИК-компетентности с помощью тестовых заданий, основанных на реальных ситуациях.

ICL Test измеряет уровень ИК-компетентности не только у конкретного учащегося или класса, но и  дает объективную оценку готовности выпускников основной школы к жизни в информационном обществе. Возможность получать подобные данные может заинтересовать директоров школ и руководителей системы образования разного уровня, так как результаты ICL Test позволят вырабатывать и корректировать образовательную политику отдельной школы, региона или даже целой страны в этой области. ICL Test предоставляет возможности оценить, в какой мере интеграция информационно-коммуникационных технологий и электронных образовательных ресурсов в школьный образовательный процесс позволяет реализовать активный деятельностный подход и личностно-ориентированное обучение.

 

Целевая аудитория ICL Test

Учащиеся при переходе из основной школы в старшую (9-классники).

 

В чём уникальность методики тестирования?

Многие тесты ИК-компетентности направлены на определение сформированности  технологических навыков и алгоритмического мышления, которые в российской школе традиционно формируются на уроках информатики. В отличие от большинства аналогов, ICL Test выявляет степень владения не столько техническими, сколько когнитивными умениями и навыками. Для разработчиков ICL Test важно определить не то, как быстро школьник набирает текст в редакторе или владеет браузером, а то, насколько у него  сформированы универсальные навыки мышления и решения практических задач. Очевидно, что современный человек использует компьютер не «вообще», а для получения новых знаний, осуществления коммуникации, проведения исследовательской деятельности.

Таким образом, идеология ICL Test состоит в том, что цифровые технологии – не самоцель, а средство комфортного существования в информационном обществе.

 

Как измеряется ИК-компетентность?

ICL Test основан на семи составляющих ИК-компетентности:

 

Каждое из этих умений имеет когнитивные, этические и технологические аспекты. В данном случае акцент делается на когнитивных и этических компонентах, рассматриваемых в контексте технологических навыков.

 

Структура теста

Тестирование на основе ICL Test включает 16 заданий сценарного типа, на выполнение которых отводится 2 академических часа.

Структура ICL Test, сочетающая простые, средние и сложные задания, требует использования познавательных стратегий и необходимости соблюдения условной независимости заданий, подлежащих количественной оценке.

Разработчики ICL Test постарались максимально замотивировать участников тестирования, поэтому учебные задачи чередуются с заданиями из реальной жизни, а простые задания сменяются средними и сложными. При этом учащийся использует  широкий спектр цифровых технологий, в том числе, текстовые редакторы, инструменты для создания презентаций, электронные таблицы, графики, базы данных,  средства мультимедиа, а также электронную почту, социальные сети и другие Интернет-сервисы.

Каждое задание направлено на оценку одной или нескольких составляющих ИК-компетентности и представляет собой некую ситуацию, максимально приближенную к жизни учащегося, содержащую в себе задачу, которую надо решить. Серьезные учебные задачи чередуются в тесте с заданиями, позволяющими оценить способность учащихся решать практические задачи. Таким образом, соблюдается баланс между учебным (академическим) и внеучебным контекстом.

 

ICL Test – тест, построенный на системе свидетельств (Evidence Centered Design)

В основе разработки тестовых заданий лежит метод сбора свидетельств (Evidence Centered Design), данный метод позволяет  выявить уровень владения каждой из семи составляющих ИК-компетентности.

Поскольку составляющие ИК-компетентности являются неизмеряемыми величинами, для каждой  составляющей вводится набор измеряемых переменных (свидетельств), с помощью которых оценивается значение конкретной составляющей. Таким образом, уровень ИК-компетентности – это то, что мы хотим измерить, а набор значений измеряемых переменных (свидетельств) позволяет обнаружить и интерпретировать то, что впрямую измерить нельзя, – уровни (компетентный, приемлемый, неприемлемый) составляющих ИК-компетентности. Полученные в процессе тестирования свидетельства иллюстрируют степень владения каждой из 7 составляющих ИК-компетентности.

В процессе разработки тестового задания проводится множество процедур, каждая из которых должна дать ответ на два вопроса:

•          что именно в наблюдаемом поведении тестируемого станет свидетельствами наличия или отсутствия у него составляющих ИК-компетности, относительно которых мы хотим сделать заключение?

•          какой сценарий тестового задания необходимо разработать, чтобы можно было провести данные наблюдения и получить необходимые свидетельства?

Суть этого подхода заключается в том, что на каждом этапе создания теста, его разработчики ориентируются на то, какие выводы могут быть сделаны по результатам теста и конструируют тест таким образом, чтобы эти выводы были как можно более валидными.

 

Пример тестового задания

Тестовое задание «Открытие Америки»

Задание: участнику тестирования предстоит доработать статью для школьной Интернет-энциклопедии: выбрать подходящее название, иллюстрацию и создать гиперссылки к географическим названиям.

Предмет оценки: компетенция «Создание (информации)»

Общие параметры задания:

  • Продолжительность: 4 минуты
  • Контекст: учебный (академический)
  • Содержание: общественные науки

Вот как выглядит задание на экране:

Что нужно сделать? Выбрать наиболее подходящий заголовок для статьи из трех предложенных, подобрать релевантное изображение, найти географические названия, требующие ссылок на соответствующие статьи в энциклопедии и создать ссылки.

 

Как обрабатываются результаты теста?

После прохождения ICL Test его участнику присваивается один из уровней информационно-коммуникационной компетентности – в зависимости от того, в какой степени он владеет каждой из семи ее составляющих. Всего таких уровней пять:

  • продвинутый;
  • выше базового;
  • базовый;
  • ниже базового;
  • развивающийся.

Для лучшего восприятия учащимися  после прохождения тестирования им представляется результат, который сочетает в себе:

  1. общую оценку уровня ИК – компетентности учащегося:
  • Твой результат немного лучше, чем у большинства твоих сверстников (объединяет уровни «выше базового» и «продвинутый»),
  • Твоя ИК-компетентность находится на базовом уровне (соответствует «базовому уровню»),
  • Твой результат немного хуже, чем у большинства твоих сверстников (соответствует уровням «ниже среднего» и «развивающийся»).
  1. персональные рекомендации, на какие навыки следует обратить внимание.

 

Что получается «на выходе»?

Технология обработки результатов прохождения ICL Test позволяет зафиксировать и обработать информацию о действиях тестируемого при выполнении задания, а также конечный результат. Отчёты о результатах тестирования могут быть доступны в Интернете на сайте с ограниченным доступом как на каждого отдельного участника тестирования,  так и на группу в целом.

Результаты выполнения учащимися теста на ИК-компетентность могут быть представлены в различных формах:

  • средние показатели ИК-компетентности в группе и подгруппе;
  • сравнение этих средних показателей по подгруппам и/или по времени выполнения;
  • доля учащихся, находящихся на определённых уровнях ИК-компетентности или их превышающих;
  • сравнение данных процентных показателей в разных подгруппах и/или с учётом времени выполнения;
  • результаты с учётом уровня сложности заданий;
  • результаты с точки зрения уровня ИК-компетентности.

Представители школы или органы управления образованием разного уровня получают «на выходе» результаты, позволяющие выявить общие тенденции в формировании ИК–компетентности учащихся. Для этого, например, можно сравнить средний уровень ИК-компетентности, достигнутый при тестировании в текущем году, со средним уровнем ИК-компетентности, продемонстрированном в другие годы тестирования или в других регионах.

Сопоставление полученных данных позволяет установить взаимосвязь между ИК-компетентностью участника и образованием родителей, типом школы, социально-экономическими условиями жизни, местом жительства и многое другое.

 

Валидность и надежность результатов тестирования

При анализе результатов тестирования было использовано  понятие валидности,  отраженное в Стандартах образовательного и психологического тестирования (Standards for Educational and Psychological Testing): «Валидность – характеристика того, насколько эмпирические данные и теоретические построения поддерживают адекватность интерпретации результатов измерения» (AERA, APA, & NCME, 1999, с.20).

Большое внимание уделялось конструктной валидности и ее составляющим: конвергентной, дивергентной, текущей и содержательной валидности.

Для проверки конвергентной, дивергентной и текущей валидности использовались опросники, встроенные в социальную анкету, которую учащиеся заполняли после выполнения теста. При помощи корреляционного анализа во всех случаях были получены коэффициенты связи в пределах ожидаемых, что говорит в пользу высокой валидности.

В итоге, по результатам корреляционного анализа с внешними переменными, факторного анализа и анализа надежности был сделан вывод о том, что баллы за тест можно интерпретировать как отражение уровня ИК-компетентности учащихся. Другими словами, с помощью инструмента ICL Test можно получить валидные результаты.

В качестве одной из мер надежности теста используется коэффициент Альфа Кронбаха. Полученные в ходе исследований значения 0.77–0.83 подтверждают высокую надежность результатов  и подтверждают, что задания теста измеряют разные аспекты одного общего конструкта: ИК-компетентности.

 

Преимущества ICL Test

  1. Оценка когнитивных умений, а не технологических навыков.

ICL Test оценивает способность тестируемого эффективно работать с информацией и решать практические задачи, используя информационно-коммуникационные технологии, а не уровень  технологических навыков.

  1. Комплексность анализа.

ICL Test позволяет оценивать как уровень информационно-коммуникационной компетентности в целом, так и её отдельные составляющие.

  1. Связь с реальной жизнью.

Все тестовые задания основаны на реальных жизненных ситуациях, с которыми постоянно сталкиваются участники. Более 92 % школьников, проходивших ICL Test, заявили, что им было интересно отвечать на предложенные вопросы.

  1. Простота и доступность проведения.

ICL Test можно пройти на любом компьютере, независимо от того, какая операционная система на нём установлена и имеет ли он доступ в Интернет.

  1. Автоматическая обработка результатов

При обработке результатов тестирования используются сети Байеса, что обеспечивает прозрачность методологии и позволяет автоматизировать анализ и оценку результатов прохождения ICL Test.

  1. Высокая валидность и надежность результатов тестирования

ICL Test сконструирован в рамках подхода, основанного на системе сбора свидетельств (Evidence Centered Design). Использование этого подхода в настоящее время является одним из самых сильных аргументов  конструктной валидности. Проведенные психометрические исследования показали высокую конвергентную, дивергентную и текущую валидность теста, а также его высокую надежность.

  1. Возможность  широкого использования и практическая направленность результатов тестирования

Полученные результаты можно использовать как для формирующего оценивания в 8-9 классах (в том числе и для разработки рекомендаций по оптимизации образовательного процесса для повышения уровня ИК-компетентности учащихся), так и для итогового оценивания при окончании основной школы.

  1. Успешно апробирован

ICL Test прошёл успешную апробацию в школах Российской Федерации, Великобритании, Республики Белоруссия, Республики Армения.

  1. Одобрен ведущими международными экспертами

ICL Test признан на международном уровне. Его разработка осуществлялась при поддержке Международного банка реконструкции и развития, а продукт успешно прошёл аудит в Манчестерском университете и Центре передовых исследований в области образования Нью-Йорского университета.

  1. Ответственный подход к обработке данных

Разработчики осознают свою роль в формировании социально ответственной личности. Обязательным условием прохождения ICL Test является соблюдение правовых и этических норм  при использовании цифровых технологий и инструментов, а также средств коммуникации.