ТЕХНИЧЕСКОЕ ОПИСАНИЕ ПЛОЩАДКИ 09 IT-Решения для бизнеса

СХЕМА ОЦЕНКИ

1.1     Общие положения

В данном разделе описывается роль и место Схемы оценки, процесс оценки экспертами работы конкурсантов, в соответствии с конкурсным заданием, а также процедур и требований к оценке.

Схема оценки является ключевым инструментом Чемпионата Worldskills Kazakhstan, так как она связывает оценку со стандартами, которые представляют навыки, подлежащие проверке. Она предназначена для назначения баллов, выставляемых по каждому оцениваемому аспекту критериев в соответствии с весом в Спецификации стандартов.

Отражая весовые коэффициенты в Спецификации стандартов, Схема оценки устанавливает параметры для разработки конкурсного задания. В зависимости от характера компетенции, сначала целесообразно разработать схему оценки, и использовать ее в качестве руководства для разработки конкурсного задания. В качестве альтернативы, сначала может быть разработано конкурсное задание, а на его основе схема оценки. В конечном итоге схема оценки и конкурсное задание должны полностью соответствовать друг другу.

В разделе 2.1 указано, в какой степени схема оценки и конкурсное задание может расходиться с весовыми коэффициентами, указанными в Спецификации стандартов.

Схема оценки и конкурсное задание могут разрабатываться одним человеком, или несколькими, или всеми экспертами. Детальная и окончательная схема оценки и конкурсное задание должно быть одобрено всем Экспертным жюри до подачи на независимую оценку качества. Исключением из этого процесса являются Чемпионаты по компетенциям, которые используют внешнего разработчика для создания схемы оценки и конкурсного задания.

Кроме того, всем экспертам предлагается представлять свои предложения по разработке Схем выставления оценки и Конкурсных заданий на форум экспертов для дальнейшего их рассмотрения Менеджером компетенции.

В любом случае полная и утвержденная Схема оценки должна быть введена в CIS не менее чем за четыре недели до начала Чемпионата, используя электронную таблицу или другие разрешенные методы.

1.2     Критерии оценки

Основными разделами схемы оценки являются критерии оценки (модули). Перечень этих критериев должен быть согласован с конкурсным заданием. В некоторых случаях критерии оценки могут быть похожими на заголовки разделов в Спецификации стандартов; в других они могут быть совершенно разными. Как правило, используется от трех до девяти критериев оценки. Независимо от того, совпадают ли заголовки, Схема оценки должна отражать весовые коэффициенты в Спецификации стандартов.

Критерии оценки создаются лицом (лицами), разрабатывающим схему оценки, которые могут определять критерии, которые они считают наиболее подходящими для оценки конкурсного задания. Каждый критерий оценки определяется буквой (A-I).

Итоговая сводка по оценкам, составленная CIS, будет содержать список критериев оценки.

Оценки, присвоенные каждому критерию, будут рассчитываться CIS. Это будет итоговая сумма баллов, присвоенных каждому аспекту оценки в рамках данного критерия оценки.

1.3     Дополнительные сведения

Каждый критерий оценки делится на один или несколько подкритериев. Каждый вспомогательный критерий становится заголовком для оценки.

Каждая форма оценки (Sub Criterion) имеет определенный день, на который будет назначен.

1.4     Аспекты

Каждая форма оценки (Sub Criterion) содержит аспекты, которые должны оцениваться и указывать тип оценки: измеряемая или судейская. Некоторые подкритерии имеют оценки как измеряемые, так и судейские, и в этом случае для каждого метода используется отдельная оценочная форма.

Каждый аспект определяет, в деталях, один показатель, который должен быть подвергнут оценке и отмечен соответствующими баллами вместе с комментариями и инструкциями о том, как должна производиться оценка. Аспекты оцениваются либо путем измерения, либо оценки и отображаются в соответствующей оценочной форме.

В оценочной форме подробно описывается каждый аспект, который должен быть оценен вместе с выделенной ему суммой баллов, эталонами и ссылкой на раздел спецификации стандартов.

Сумма баллов, выделенных для каждого аспекта, должна находиться в диапазоне оценок, указанных для этого раздела Спецификации стандартов. Это будет отображаться в таблице распределения баллов в системе CIS, в следующем формате:

1.5     Спецификация оценки

Каждый подкритерий должна оценивать одна команда экспертов, независимо от того, измеряемый он или судейский. Одна и та же команда по оценке должна оценивать всех участников при любых обстоятельствах. Группы маркировки должны быть организованы так, чтобы ни при каких обстоятельствах  Эксперты-компатриоты не участвовали в оценке Участника-соотечественника.

1.6     Мнение судей (судейская оценка)

Для судейской оценки используется шкала 0–3. Для четкого и последовательного применения шкалы судейское решение должно приниматься с учетом:

•         эталонов для сравнения (критериев) для подробного руководства по каждому аспекту (со словесным описанием, изображениями, руководствами или иными артефактами)

•         шкалы 0–3, где:

§  0: исполнение не соответствует отраслевому стандарту;

§  1: исполнение соответствует отраслевому стандарту;

§  2: исполнение соответствует отраслевому стандарту и в некоторых отношениях превосходит его;

§  3: исполнение полностью превосходит отраслевой стандарт и оценивается как отличное.

Каждый аспект оценивают три эксперта, каждый эксперт должен произвести оценку, после чего происходит сравнение выставленных оценок. В случае расхождения оценок экспертов более чем на 1 балл экспертам необходимо вынести оценку данного аспекта на обсуждение и устранить расхождение.

Количество судейских оценок должно быть как минимум 10% и максимум 30%.

1.7     Измеряемая оценка

Если не указано иное, будет назначена только максимальная отметка или ноль. Там, где используется возможность частичной оценки, это должно быть четко определено в аспекте.

1.8     Обзор процедуры оценивания

Как измеряемое, так и судейское оценивание должно производиться группой из трех экспертов.

Хорошая практика оценки включает в себя измеряемую и судейскую оценки, применяемые как в отдельности, так и вместе. Окончательные пропорции измеряемой и судейской оценки, будут определяться стандартами, их весом и характером Конкурсного задания.

1.9     Спецификация завершения процедуры оценивания 

Оценочные группы будут сформированы в соответствии с Правилами соревнований.

Для каждого подкритерия должна быть одна команда оценки, независимо от того, измеримый он или судейский. Такая же команда оценки должна оценивать всех конкурсантов при любых обстоятельствах.

Критерии оценки, разработанные сторонним разработчиком, должны быть четкими и лаконичными, и могут иметь пояснения, как и почему присуждается каждая оценка.

Существует три разных типа объективных критериев для оценки конкурсного задания. Приведенная ниже таблица описывает эти типы:

1.10  Процедура оценивания

Главный эксперт и Заместитель Главного эксперта обсуждают и распределяют Экспертов по группам (состав группы не менее трех человек) для выставления оценок. Каждая группа должна включать в себя как минимум одного опытного эксперта. Эксперт не оценивает участника-компатриота.

Каждый эксперт выступает в качестве члена команды оценки тестового проекта.

Эксперты будут разделены на команды оценки при максимально возможном равенстве в количестве оценки критериев.

Состав команд оценки будет определять Главный эксперт и Заместитель главного эксперта с целью достижения баланса между новыми и опытными экспертами в каждой из команд.

Эксперты будут разделены по различным культурным группам для судейских оценок, насколько это будет возможным.

Внешний автор проекта должен обеспечить экспертов критериями оценки. Эксперты обсудят критерии оценки по прибытии на конкурс.

Эксперты согласуют окончательную схему выставления оценок на соревновании.

Схемы оценки подлежат рассмотрению специалистами по компетенции с C-4 недели. Окончательная Схема оценки должна вводиться в CIS не позднее C-1.