Теоретико-методологическая модель разработки и валидации банка тестовых заданий компетентностной направленности для оценки грамматики русского языка
Теоретико-методологическая модель разработки и валидации банка тестовых заданий компетентностной направленности для оценки грамматики русского языка
Аннотация
В статье предлагается теоретико-методологическая модель разработки и валидации банка тестовых заданий, ориентированного на оценку грамматической компетенции в рамках компетентностного подхода к обучению русскому языку. Работа не описывает эмпирически апробированный банк заданий: её предмет — обоснование принципов, на которых такая разработка должна строиться. На основе анализа зарубежных и отечественных источников операционализируется конструкт «грамматическая компетенция», прослеживается эволюция моделей валидности — от классической трёхкомпонентной схемы к аргументационному подходу М. Кейна, — рассматриваются психометрические методы калибровки заданий (теория моделирования и параметризации тестовых заданий, Item Response Theory, IRT; модель Раша) и условия их применимости.
Отдельное внимание уделено сложившемуся дисбалансу исследовательского внимания: оценивание грамматики и лексики оказывается статистически недопредставленным по сравнению с оцениванием рецептивных и продуктивных видов речевой деятельности. Предложена и обоснована шестиэтапная модель разработки банка, включающая спецификацию конструкта, экспертную оценку содержания, пилотирование, IRT-калибровку и анализ дифференцирующего функционирования заданий (differential item functioning, DIF); обсуждаются условия её применения, соотношение грамматической и коммуникативной компетенции, а также специфика вьетнамского контекста, в котором родной язык учащихся имеет изолирующий, а не флективный строй.
1. Введение
Переход школьного и вузовского языкового образования на компетентностную модель обучения требует адекватного инструментария измерения. Пока образовательный стандарт формулирует результат обучения через набор компетенций, а не через сумму усвоенных правил, тестовые формы, опирающиеся на изолированное воспроизведение отдельной грамматической конструкции, перестают быть достаточными. Между тем именно грамматика как отдельный компонент языковой способности остаётся, по данным библиометрического анализа Aryadoust с соавторами, одной из наименее исследованных областей языкового тестирования: оценивание грамматики и лексики статистически значимо реже становится предметом публикаций, чем оценивание чтения, аудирования, письма и говорения
. Данный разрыв заметен применительно к русскому языку: методический аппарат сертификационного тестирования разрабатывался преимущественно для интегральных речевых умений, тогда как специализированные, психометрически откалиброванные банки заданий по морфологии и синтаксису остаются немногочисленными.Целью настоящей статьи является теоретико-методологическое обоснование модели разработки и валидации банка тестовых заданий компетентностной направленности для оценки грамматики русского языка. Задачи работы включают:
1) операционализацию конструкта «грамматическая компетенция»;
2) рассмотрение психометрических моделей, применяемых при построении банков заданий;
3) обобщение отечественного и зарубежного опыта тестирования русского языка;
4) разработку поэтапного алгоритма создания и валидации искомого банка.
Необходимо сразу оговорить границы работы: она систематизирует принципы, на которых должна строиться эмпирическая апробация, но не описывает результаты уже проведённого тестирования на конкретной выборке испытуемых — соответственно, все выводы статьи носят гипотетический характер и подлежат последующей эмпирической проверке.
2. Методы и принципы исследования
Работа представляет собой теоретико-методологический (нарративный) обзор и синтез литературы, а не эмпирическое исследование с собственной выборкой испытуемых. Источники отбирались из баз Scopus, Web of Science, Crossref и Semantic Scholar по ключевым словам «банк тестовых заданий» / item bank, «компетентностный подход» / competency-based approach, «валидность теста» / test validity, item response theory, «модель Раша» / Rasch model, ««тестирование русского языка как иностранного (РКИ)», grammar assessment; в выборку включались публикации, содержащие процедуру разработки или валидации банка заданий средствами Item Response Theory (IRT), теоретическую модель валидности языкового теста либо описание опыта тестирования русского языка.
Синтез источников строился на трёх методологических ориентирах: компетентностной ориентации конструкта, при которой задание проверяет применение грамматической формы в коммуникативной задаче, а не изолированное знание правила; аргументационной валидации, доказывающей пригодность теста цепочкой умозаключений от балла испытуемого к принимаемому решению
; и психометрической калибровке заданий средствами IRT и модели Раша, обеспечивающей сопоставимость шкалы трудности при расширении банка .3. Основные результаты
3.1. Компетентностный подход и операционализация конструкта «грамматическая компетенция»
Компетентностный подход смещает акцент с содержания обучения на результат — способность обучающегося применять знания, умения и личностные качества для решения практических задач. Makulova с соавторами определяют компетентность как интегративную характеристику личности, формируемую не суммированием отдельных знаний, а их функциональным объединением вокруг конкретной деятельности
. Схожим образом Kulik с соавторами, обобщая теоретические трактовки компетентностного подхода в высшем образовании, подчёркивают принципиальную контекстность компетенции: она проявляется не абстрактно, а в определённой коммуникативной или профессиональной ситуации .Для того чтобы данный принцип был операционализируем в тестовом задании, а не оставался декларацией, конструкт «грамматическая компетенция» целесообразно разложить на компоненты, поддающиеся отдельному измерению. В настоящей модели выделяются четыре таких компонента.
Первый — морфологический: владение системой словоизменения (падежные формы существительных, прилагательных и местоимений; видовременные и залоговые формы глагола; формы числительных при сочетании с существительным).
Второй — синтаксический: владение моделями простого и сложного предложения, включая модели глагольного и именного управления, порядок слов и союзные средства связи частей сложного предложения.
Третий — морфосинтаксический, объединяющий первые два: согласование словоформ в пределах словосочетания и предложения — например, согласование прилагательного с существительным в роде, числе и падеже или согласование сказуемого с подлежащим.
Четвёртый — компонент грамматической уместности: способность выбирать вариант из числа формально допустимых в соответствии с коммуникативным намерением высказывания, например выбор совершенного или несовершенного вида глагола.
Первые три компонента, как правило, поддаются заданиям с однозначно определяемым правильным ответом; четвёртый требует более сложных форматов и, зачастую, экспертного шкалирования ответа. Подобный принцип содержательного разложения конструкта — переход от абстрактных правил к формам, реально используемым учащимися разных уровней владения языком в аутентичных высказываниях, — уже реализован применительно к английской грамматике в проекте English Grammar Profile , откуда, с необходимой адаптацией к морфологии русского языка, заимствуется общая логика описания.
Различие между традиционным и компетентностно-ориентированным заданием удобно показать на одном и том же грамматическом явлении — глагольном управлении. Традиционное задание на трансформацию словоформы («Поставьте слово в скобках в нужную форму: Я интересуюсь (русская литература)») проверяет знание падежного окончания вне какой-либо коммуникативной задачи: правильный ответ единствен и не зависит от контекста высказывания. Компетентностно-ориентированный аналог того же грамматического явления предполагает выбор уместной формы внутри диалогической реплики: «— Над чем вы сейчас работаете? — Я работаю ____ .
а) над новую статью;
б) над новой статьёй;
в) с новой статьёй».
Здесь для успешного выполнения задания недостаточно знать падежную парадигму — необходимо также определить, какая модель управления требуется данным глаголом в данном контексте, а дистракторы включают типичную ошибку смешения моделей управления «работать над» и «работать с». Такой формат приближает задание к естественной коммуникативной ситуации, оставаясь при этом заданием закрытого типа, пригодным для последующей IRT-калибровки.
3.2. Эволюция моделей валидности языкового теста
Разработка банка заданий неотделима от проблемы валидности, поскольку именно валидность определяет корректность выводов, которые делаются на основании тестового балла. Im, Shin и Cheng прослеживают, как представления о валидности эволюционировали от трёхкомпонентной модели — содержательной, критериальной и конструктной валидности — к единой конструктной модели С. Мессика и далее к аргументационному подходу М. Кейна, в рамках которого валидация понимается не как разовая процедура, а как выстраивание цепочки доказательств, связывающих балл испытуемого с решением, принимаемым на основании этого балла
. Такая логика особенно уместна для компетентностно-ориентированного тестирования: недостаточно показать, что задание статистически «работает», — необходимо обосновать, что его успешное выполнение действительно свидетельствует о сформированности грамматической компетенции, а не о механическом запоминании формы.Практическое применение аргументационного подхода к разным видам речевой деятельности демонстрирует обзор Fan и Yan, охвативший более ста публикаций по оцениванию говорения: авторы показывают, что даже для говорения — деятельности, изучаемой значительно активнее грамматики, — целостная доказательная база валидности выстраивается медленно и неравномерно, кодируясь по типам умозаключений: оценивание (scoring), обобщение (generalization), экстраполяция (extrapolation), объяснение (explanation) и использование (utilization)
. Показательно при этом, что рассматриваемые ниже исследования, применяющие IRT и модель Раша непосредственно к языковому материалу, как правило, ограничиваются доказательством статистического соответствия данных модели и почти не обращаются к полной аргументационной цепочке Кейна: между теоретически провозглашённым аргументационным идеалом валидации и практикой психометрической калибровки конкретных инструментов сохраняется заметный разрыв, который предлагаемая в разделе 3.4 модель пытается сократить, включая психометрическую калибровку лишь как один из шести этапов, а не как замену валидационной аргументации в целом.3.3. IRT и модель Раша как инструмент калибровки банка заданий
Если аргументационный подход задаёт логику доказательства валидности, то технический инструментарий калибровки заданий обеспечивает IRT — теория измерения латентных (непосредственно не наблюдаемых) признаков, в рамках которой вероятность верного ответа на задание моделируется как функция уровня подготовленности испытуемого и параметров самого задания. В отличие от классической теории тестов, где трудность задания оценивается относительно конкретной выборки испытуемых, IRT помещает параметры испытуемого и задания на единую шкалу, что делает возможным сравнение результатов между разными вариантами теста и постепенное пополнение банка новыми заданиями без потери сопоставимости шкалы. Выбор именно IRT и, в частности, модели Раша в качестве основного психометрического инструментария обусловлен четырьмя обстоятельствами.
Во-первых, только IRT помещает параметры задания и испытуемого на общую шкалу, что необходимо именно для банка, предполагающего последующее расширение: без общей шкалы новые задания невозможно сопоставить со старыми без повторного тестирования всей совокупности испытуемых.
Во-вторых, применение однопараметрической модели Раша предполагает достаточно однородный, в идеале одномерный конструкт, что делает необходимой предварительную проверку размерности ещё до перехода к калибровке.
В-третьих, для устойчивой оценки параметров дихотомической модели Раша, как правило, требуется выборка в несколько сотен испытуемых на каждый пилотируемый блок заданий, что накладывает организационное ограничение на реализацию модели. В-четвёртых, если компоненты конструкта окажутся недостаточно однородными для дихотомической модели, потребуется переход к политомическим или многомерным IRT-моделям.
Вопрос о размерности конструкта остаётся дискуссионным. Систематический обзор Min и Aryadoust, охвативший шестьдесят два исследования 1985–2020 годов, показывает, что вопрос о том, является ли измеряемая языковая способность единой или распадается на несколько относительно независимых компонентов, требует эмпирической проверки для каждого нового инструмента
. Показательно, что практические работы по построению банков заданий не всегда решают этот вопрос эмпирически: так, Chen с соавторами при построении банка заданий по читательской грамотности исходят из унитарной модели конструкта и не приводят отдельного анализа его размерности , тогда как для предлагаемой в настоящей статье четырёхкомпонентной операционализации грамматической компетенции подобное допущение было бы преждевременным: прежде чем применять единую шкалу трудности ко всем четырём компонентам, необходимо эмпирически установить, образуют ли они единый континуум или требуют раздельного измеренияПрактическую процедуру построения банка заданий на основе IRT иллюстрирует исследование Chen с соавторами: авторы откалибровали девяносто девять заданий на понимание прочитанного для четвероклассников, используя схему уравнивания тестов (test equating) и сбалансированный неполный блочный план предъявления, что позволило собрать данные по всему банку, не предъявляя каждому испытуемому полный набор заданий
. Тот же принцип — модульное предъявление заданий с последующим уравниванием шкалы — применим и к банку заданий по грамматике русского языка: он позволяет постепенно расширять банк, не пересматривая каждый раз шкалу целиком.Отдельного внимания заслуживает опыт применения модели Раша и смежных IRT-моделей непосредственно к русскоязычным инструментам. Logvinenko с соавторами провели IRT-анализ теста «Синонимы» из русскоязычной батареи языковых тестов ARFA-RUS, откалиброванной средствами IRT, сопоставив параметры модели для двух групп взрослых испытуемых — выросших в родной семье и имеющих опыт институционализации, — и показали, что часть заданий демонстрирует дифференцирующее функционирование заданий (differential item functioning, DIF) в зависимости от группы, что потребовало исключения одного задания из окончательной версии шкалы
. Talantseva с соавторами применили классический и IRT-анализ к русскоязычной адаптации шкал дошкольного развития языка Preschool Language Scales, Fifth Edition (PLS-5), включающей морфосинтаксические субтесты, и сопоставили результаты обоих подходов на выборке из 473 детей ; показательно уже само по себе решение сопоставлять два подхода, а не полагаться на один из них, — оценки надёжности, получаемые классическим и IRT-методом, в принципе не обязаны совпадать, и именно поэтому двойная проверка методологически предпочтительнее. Наконец, Прихода описывает стандартизацию русскоязычного диагностического инструмента из семи субтестов, среди которых — субтест на структуру предложения и субтест на словообразование, то есть задания, непосредственно затрагивающие грамматическую компетенцию . Показательно, что все три работы относятся к области психологии развития и логопедии, а не к образовательному тестированию грамматики как учебного предмета, — это ещё раз подчёркивает дефицит специализированных психометрических исследований именно в сфере преподавания русского языка как учебной дисциплины.3.4. Отечественный опыт тестирования русского языка
Показателен в этом отношении опыт локализации международного инструмента оценки ранних навыков чтения iPIPS, описанный Ivanova и Kardanova-Biryukova: авторы не просто перевели англоязычные задания, а заново смоделировали русскоязычные задания, функционально эквивалентные оригиналу, после чего Раш-анализом подтвердили соответствие структуры и иерархии заданий теоретической рамке конструкта
. Такая процедура — не перевод, а параллельное конструирование заданий на основе общей теоретической модели конструкта — представляется методологически более корректной и для банка заданий по грамматике русского языка, если он создаётся с оглядкой на зарубежные аналоги.Карданова и Иванова, открывая специальный выпуск журнала «Вопросы образования», посвящённый психометрике, прослеживают историю отечественной тестологии — от работ по конструированию педагогических тестов на основе современных математических моделей до сегодняшних приложений многофасеточного Раш-измерения
. Эта преемственность существенна: банк заданий по грамматике, разрабатываемый сегодня, методологически опирается на давнюю отечественную традицию, а не заимствует психометрический аппарат исключительно из зарубежных источников.Применительно собственно к тестированию русского языка как иностранного показательны два направления работ. Первое — совершенствование стандартизированных экзаменационных процедур. Алимова с соавторами анализируют введение единого вступительного испытания по русскому языку для иностранных абитуриентов как новый этап образовательной практики
, тогда как Дубинина и Птюшкин, опираясь на материал субтеста «Письмо» уровней I–III Теста по русскому языку как иностранному (ТРКИ), формулируют возрастные ориентиры выбора уровня тестирования для школьников, изучающих русский язык как иностранный . Второе направление — автоматизация конструирования заданий: Белый, Митрофанова и Дубинина предложили и апробировали метод автоматической генерации лексико-грамматических заданий множественного выбора на основе дистрибутивно-семантических моделей и аутентичных текстов, получив при экспертной оценке точность 0,8 и полноту 0,91 . Схожим образом инструмент «Текстометр», разработанный Laposhina и Lebedeva, автоматически оценивает уровень сложности текста для изучающих русский язык, что может служить вспомогательным средством при подборе текстового материала для грамматических заданий, привязанных к определённому уровню владения языком . Наконец, Трапицын, Поморцева и Куновски систематизируют диагностические возможности и типологию педагогических тестов, формулируя критерии оценки качества тестовой системы в целом, — эта рамка задаёт контекст, в который должен вписываться и специализированный банк грамматических заданий .Обобщение проанализированной литературы в соответствии с принципами, изложенными в разделе «Методы», позволяет сформулировать поэтапную модель, включающую шесть последовательных этапов. Её научная новизна заключается не в отдельных процедурах — каждая из шести стадий по отдельности хорошо известна современной тестологии, — а в их целенаправленном соединении применительно к объекту, для которого подобное соединение прежде не описывалось: компетентностно-операционализированная грамматика русского языка. В рассмотренных выше работах IRT-калибровка применяется либо к интегральным речевым умениям (чтение —
), либо к инструментам вне образовательного контекста преподавания языка как учебного предмета (клиническая диагностика речевого развития — , ). Предлагаемая модель, в отличие от них, явным образом связывает этап спецификации конструкта с принципами компетентностного подхода и только затем передаёт операционализированный конструкт психометрическому аппарату IRT; именно последовательность «компетентностная спецификация конструкта → аргументационная валидация → психометрическая калибровка», а не сама калибровка как таковая, составляет предлагаемый вклад статьи.Первый этап — спецификация конструкта: определение того, какие из четырёх компонентов грамматической компетенции войдут в конкретный банк, и их соотнесение с уровнем владения языком и с коммуникативными задачами, а не с изолированными правилами.
Второй этап — разработка заданий и их экспертная оценка. Формулировки заданий строятся на аутентичном языковом материале; содержательная валидность обеспечивается независимой экспертной оценкой соответствия задания заявленному конструкту, а при значительном объёме банка часть заданий может конструироваться автоматически, по модели, апробированной Белым с соавторами для лексико-грамматических заданий РКИ
.Третий этап — пилотирование. Задания предъявляются ограниченной выборке испытуемых; при большом объёме банка целесообразен сбалансированный неполный блочный план, опробованный, в частности, при построении банка заданий по читательской грамотности
, что позволяет не перегружать одного испытуемого всем массивом заданий.Четвёртый этап — проверка размерности конструкта и IRT-калибровка. Прежде чем применять единую шкалу трудности, проверяется, образуют ли выделенные в компоненты единый континуум или требуют раздельного измерения; затем оцениваются параметры трудности и дифференцирующей способности каждого задания в рамках модели, соответствующей установленной размерности.
Пятый этап — анализ дифференцирующего функционирования заданий (DIF). Проверяется, не работает ли задание по-разному для сопоставимых по уровню подготовки групп испытуемых — в частности, для носителей языков разного морфологического строя, что применительно к вьетнамскому контексту обсуждается отдельно в разделе «Обсуждение», — по аналогии с процедурой, применённой Logvinenko с соавторами к тесту «Синонимы»
.Шестой этап — формирование банка и накопительное расширение шкалы. Прошедшие калибровку задания включаются в общий банк с сохранением единой шкалы трудности, что делает возможным конструирование новых эквивалентных вариантов теста и постепенное пополнение банка без повторной калибровки уже включённых заданий.
4. Обсуждение
Предложенная модель носит обобщающий характер и требует эмпирической проверки на конкретном материале. Ограничение настоящей работы состоит в том, что она синтезирует принципы, апробированные на смежном материале — тестах по чтению, по интеллекту, по клинической диагностике речевого развития, — но не на материале собственно грамматики русского языка как учебного предмета. Это ограничение отражает объективное состояние области: как показывает количественный анализ Aryadoust с соавторами, оценивание грамматики остаётся периферийным направлением исследований по сравнению с оцениванием других видов речевой деятельности
. Второе ограничение связано с тем, что предложенная модель ориентирована на достаточно крупный банк заданий и предполагает существенные организационные ресурсы, прежде всего доступ к пилотной выборке достаточного объёма, без которой устойчивая IRT-калибровка невозможна. Третье ограничение — методологическое: поскольку работа представляет собой нарративный, а не систематический обзор в строгом смысле, полнота охвата литературы не гарантирована протоколом PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses — стандарт отчётности о систематических обзорах и метаанализах) или аналогичным ему, а определяется границами предпринятого библиографического поиска.Учитывая гипотетический характер работы, необходимо чётко разграничить, какие её положения опираются на эмпирически подтверждённые в цитируемой литературе процедуры, а какие остаются предположением автора, требующим отдельной проверки. Эмпирически подтверждены на смежном материале: применимость сбалансированного неполного блочного плана при пилотировании крупных банков заданий
; работоспособность DIF-анализа для выявления заданий, некорректно функционирующих в разных группах испытуемых ; методологическое преимущество параллельного, а не переводного конструирования заданий при локализации теста для другого языка . Остаются не проверенными эмпирически именно на материале русской грамматики: предложенная в четырёхкомпонентной операционализации конструкта; принадлежность выделенных компонентов единой либо нескольким латентным шкалам; устойчивость модели Раша для заданий предложенного в 3.1 формата; и ожидаемая величина DIF-эффекта для конкретных групп испытуемых, в том числе вьетнамоязычных.Отдельного обсуждения требует соотношение грамматической компетенции с более широкой коммуникативной компетенцией. Если, в соответствии с принципом, изложенным в 3.1, грамматическое задание строится на аутентичном коммуникативном материале, результат его выполнения потенциально зависит не только от владения грамматической системой, но и от объёма словарного запаса испытуемого, скорости чтения и общей стратегии выполнения тестового задания. Полностью исключить это влияние не позволяет ни один формат компетентностно-ориентированного задания. Минимизировать его позволяют, во-первых, контроль лексической сложности контекста — используемая в задании лексика не должна превышать уровень, на котором проверяется грамматика; во-вторых, конструирование дистракторов, различающихся исключительно грамматически, а не по значению, как показано на примере в 3.1; в-третьих, сама процедура IRT-калибровки, позволяющая на четвёртом этапе модели (3.5) обнаружить задания с аномально низкой дискриминативностью, которая нередко указывает на неучтённое влияние фактора, нерелевантного заявленному конструкту.
Применительно к вьетнамскому контексту предлагаемая модель приобретает дополнительную специфику. Вьетнамский язык принадлежит к изолирующему строю: он не имеет словоизменения по падежам, роду и числу и не обладает глагольным спряжением. Вследствие этого категории, составляющие ядро морфологического и морфосинтаксического компонентов конструкта, обозначенных в 3.1, — падежная система, согласование, глагольный вид, — как правило, оказываются для вьетнамоязычных учащихся системно более трудными и порождают иной по типу набор ошибок, чем у учащихся, чей первый язык относится к флективному строю. Это делает вероятным дифференцирующее функционирование части заданий именно по признаку изолирующего либо флективного строя родного языка, что необходимо проверить на пятом этапе модели (3.5, DIF-анализ). Кроме того, содержание выпускного экзамена по русскому языку во Вьетнаме регламентируется государственными требованиями — циркуляром Министерства образования и обучения Вьетнама № 19/2021/TT-BGDĐT, — которые задают распределение заданий по уровням когнитивной сложности. Сопоставление этого нормативно заданного распределения с эмпирически установленной средствами IRT трудностью заданий, по аналогии с процедурой, применённой к тесту VSTEP (Vietnamese Standardized Test of English Proficiency — вьетнамский стандартизированный тест владения английским языком)
, могло бы стать первым этапом эмпирической апробации предложенной модели именно в вьетнамском контексте.5. Заключение
Проведённый анализ показывает, что разработка банка тестовых заданий компетентностной направленности для оценки грамматики русского языка должна опираться на три группы источников: теорию компетентностного подхода, операционализированного содержание конструкта; аргументационную модель валидности, задающую логику доказательства пригодности теста; и психометрический аппарат IRT и модели Раша, обеспечивающий техническую калибровку заданий и накопительное расширение банка. Отечественный опыт — от классических работ по педагогической тестологии до современных исследований по локализации психометрических инструментов и автоматической генерации заданий — предоставляет для этого достаточную методологическую базу, тогда как специализированные исследования, посвящённые именно оцениванию грамматики русского языка средствами современной психометрики, остаются немногочисленными.
Устранение этого пробела требует эмпирической апробации предложенной шестиэтапной модели на реальном экзаменационном материале. Предложенная в статье шестиэтапная модель и четырёхкомпонентная операционализация конструкта носят гипотетический характер и представляют собой не завершённый инструмент, а программу дальнейшего эмпирического исследования; устранение обозначенного пробела требует апробации этой программы на реальном экзаменационном материале, в том числе на материале выпускного экзамена по русскому языку во Вьетнаме.