Решение автоматически отмечает все подозрительные действия и добавляет их в отчет. Каждая запись включает анализ с указанием типа нарушения и соответствующих сроков.
Прокторинг: что нужно знать hr-у
Не существует четкого и единого определения для русскоязычной общины. Кроме того, хотя сам термин является новым для многих, подобные техники разрабатывались на протяжении многих лет. Однако одно общее определение звучит следующим образом Наблюдение — это автоматизированный процесс мониторинга и контроля удаленного тестирования.
Контроль появился благодаря электронному обучению. Чтобы избежать копирования, необходимо было осуществлять технический надзор за студентами при выполнении интернет-тестов. Сегодня она развивается не только в сфере образования, но и в сфере управления персоналом. Электронные результаты тестирования персонала также должны быть защищены от возможной подделки.
Способы организации контрольных сеансов варьируются от провайдера к провайдеру, но суть остается неизменной. Система собирает данные с камер, микрофонов и экранов компьютеров, анализирует процесс тестирования, проверяет личности и фиксирует возможные нарушения. И, наконец, он предоставляет организатору теста видеозапись и оценку достоверности полученных результатов.
Как работает система прокторинга
Услуга предназначена для автоматического мониторинга и пресечения следующих распространенных нарушений
- Подмена респондента. Программа отличит одного человека от другого, основываясь на изначальном фото в профиле, и сообщит о подмене. В спорных случаях организатор может обратиться к видеозаписи.
- Списывание с электронных или физических носителей. Программа «замечает» отсутствие человека в кадре. Более того, система отслеживает направление взгляда человека, следя за тем, чтобы фокус не изменялся. Также фиксируются попытки смены активного приложения и вкладок браузера.
- Подсказки. Технология отслеживает фоновые шумы и присутствие постороннего человека в кадре.
- Кража контента. Попытки скопировать и сохранить задания теста блокируются.
Что произойдет, если нарушение будет зарегистрировано? Организатор решает, как будет вести себя программное обеспечение.
- предупредит респондента о выявленном нарушении и позволит продолжить работу;
- сразу же завершит тестирование;
- автоматически завершит тест, если общий уровень доверия упадет ниже определенного уровня.
Какие технологии используются в системе онлайн прокторинга?
Программное обеспечение анализирует большие объемы поступающих данных. Сюда входят видео, звук и события из браузера респондента. Для этого используется машинное обучение — категория искусственного интеллекта: специальные алгоритмы, обученные модели, которые могут выявлять реальные нарушения.
Помимо технических возможностей системы, стоит упомянуть и о ее психологическом воздействии. Знание того, что за вами наблюдают, отбивает у вас желание обманывать. И сам факт наблюдения является большим подспорьем в обеспечении достоверности результатов тестирования.
Контроль появился благодаря электронному обучению. Чтобы избежать копирования, необходимо было осуществлять технический надзор за студентами при выполнении интернет-тестов. Сегодня она развивается не только в сфере образования, но и в сфере управления персоналом. Электронные результаты тестирования персонала также должны быть защищены от возможной подделки.
Что такое прокторинг
Контроль — это процедура контроля во время электронного тестирования. За процедурой обычно наблюдает специальный человек — супервайзер. В его/ее обязанности входит наблюдение за поведением ученика и за тем, что происходит на его/ее экране. Благодаря технологии онлайн-мониторинга можно определить характер экзаменатора и объективно оценить его знания. Он также исключает использование ксерокопирования и различных синусоид во время обследования.
Системы управления становятся все более популярными благодаря широкому использованию дистанционного обучения. Они позволяют экзаменаторам и наблюдателям находиться в разных частях света. Все, что им требуется, — это компьютер с надежным подключением к Интернету и доступ к микрофону и камере. Кроме того, современные системы можно автоматизировать, упростив процесс.
Такой тип контроля позволяет добиться максимальной точности результатов. Помимо одновременной оценки с помощью автоматизированных алгоритмов, можно также наблюдать за реальными людьми. Работа надзорного органа еще далека от завершения.
Самый дорогой способ применения электронных систем слежения за испытаниями.
Эта технология чаще всего используется при проведении письменных экзаменов и тестов. Одновременно руководители могут обслуживать 30 студентов.
Асинхронный прокторинг
Особенностью этого метода является то, что ссылки генерируются и предоставляются по истечении определенного периода времени с момента окончания теста. Продолжительность этого периода определяется условиями договора. Такая «задержка» необходима супервайзеру для проведения ручной проверки. Фактическое распознавание и наблюдение за участниками теста происходит автоматически.
Во время экзамена программное обеспечение отслеживает действия, которые запрещены студенту. Планируется, что программное обеспечение будет выявлять следующие нарушения
- появление посторонних людей в кадре;
- отсутствие экзаменуемого в кадре;
- установление коммуникации во время теста;
- попытки подключения второго монитора и т.д.
Тестирование наблюдения может проводиться в местах с надежным интернетом и камерами. На компьютере студента должно быть установлено специальное программное обеспечение, которое будет записывать экран.
Ограничения и последствия онлайн-прокторинга
Существуют ограничения на то, что может сделать видеонаблюдение. Это может привести к тому, что ряд экзаменов будет изменен и технически доработан.
Например, применение онлайн-контроля предполагает упрощение задач экспертизы. Это означает меньше времени на обдумывание ответов и соблюдение определенных ограничительных мер. Кроме того, не все дистанционные испытания могут быть проведены.
Согласно опросу Educause, проведенному НПО в апреле, основными проблемами, с которыми сталкиваются учебные заведения при применении предлагаемой системы, являются стоимость электронного контроля (58% респондентов) и обеспечение конфиденциальности данных учащихся (51%).
Пандемия, казалось, предоставила прекрасную возможность «изменить» образование на расстоянии, но заставила преобразовать этот процесс в электронный, что показало неготовность преподавателей, студентов и всей системы образования. Он также обращает внимание на сопутствующие вопросы, одним из которых является сама оценка.
Кто выступает против онлайн-прокторинга и почему
Некоторые университеты отказываются от использования систем контроля из-за высокой стоимости процессов. В России, например, покупка интернет-супервайзеров вообще не развита. Университеты тратят лишь около 5% своих расходов на интернет-обучение. Многие эксперты также отмечают, что эта технология не может полностью заменить классический процесс обследования. Поэтому в связи с пандемией Коронаи многие администраторы университетов пытались отложить занятия и выпускные экзамены, чтобы возобновить учебный процесс в его традиционной форме.
Студенты часто придерживаются такого же мнения. Например, в Техасском технологическом университете (США) студенты негативно отреагировали на введение наблюдения, восприняв его как нарушение приватности «Большим братом». Студенты Тилбургского университета (Нидерланды) собрали резолюции за отмену использования систем контроля.
Чем внедрение прокторинга напоминает компьютеризацию шахмат
Любопытно, что проблема возникает в совершенно не связанном с этим виде деятельности — шахматах. И можно считать, что ситуация дошла до своего логического завершения: внедрение различных программ против мошенничества (или «обмана»), то есть обмана, приводит к изменению классических шахмат.
Все началось в конце 20-го века. Сначала компьютер обыграл чемпиона мира Гари Каспарова в блиц, затем победил его в одной из классических шахматных партий и, наконец, выиграл сам матч. Само по себе это не страшно, но в то же время стоимость владения шахматным помощником уменьшилась почти линейно благодаря общему развитию информатики.
С тех пор любой, кто умеет перемещать дорожки и записывать ходы, может победить очень мощные счетчики зерна, если только у него есть компьютер с установленной программой.
Поэтому компьютерные технологии предоставляют новые возможности для мошенничества. Используйте программу во время игры и обратитесь за советом к специалисту или к человеку, имеющему доступ к компьютерным услугам.
Соответственно, стали появляться различные модификации классических шахмат. Например, Fischer Chess 960 — это шахматная игра со случайно выбранной раскладкой, и игроки не могут использовать ходы, сохраненные в начале игры. В результате было создано несколько фундаментальных изменений в классических шахматах. По сути, это новые игры, в которых сохранены только внешний вид и основные принципы (например, шестиугольные шахматы Глинского, шахматы Капабланки).
Уменьшилось количество самих турниров по классическим шахматам. Например, согласно статистике результатов шахматных турниров (РШТ), в марте 2020 года в России было проведено 175 шахматных турниров, из которых только 38 были «классическими», а остальные — быстрыми (в основном) и блиц.
В результате текущее состояние шахмат выглядит следующим образом.
- В штатном режиме развиваются шахматы «для души», когда участники не преследуют каких-либо финансовых или других выгод, а играют ради удовольствия.
- Продолжается интенсивный уход средних и сильных шахматистов в быстрые шахматы (рапид или блиц), когда помощь компьютера становится невозможной или неэффективной. В эту категорию попадает подавляющее большинство коммерческих турниров.
- Проводится ограниченное количество турниров со специальными античитинговыми мероприятиями.
Если применить «шахматные» выводы к образованию, возникает почти идеальная аналогия. Реально можно применить только четыре сценария с использованием методов онлайн-оценки.
- «для себя», когда испытуемый сам заинтересован в объективной оценке своих знаний и умений, а использование прокторинга лишено смысла (аналог любительских шахмат);
- переход на быстрые тесты с неминуемо вытекающим отсюда кардинальным упрощением заданий (аналог рапида или блица);
- проведение оценивания только в специально оборудованном центре, где уже теоретически возможно гарантировать честность, но сложнее избежать коррупционных рисков (аналог турниров высокого уровня). Говорить о массовости онлайн-тестирования здесь можно только с большой долей условности;
- наконец, в образовании есть еще один сценарий, отсутствующий в шахматах, а именно — использование независимой онлайн-оценки в нишевом сегменте трудоустройства, когда сам по себе подтверждающий документ не является исчерпывающим доказательством владения компетенцией. В данном случае обманывать отчасти бессмысленно, поскольку все равно придется доказывать неслучайность успешного прохождения теста.
Он применяется так же, как и пассивный, но с добавлением мониторинга в режиме реального времени. Один супервайзер (наблюдатель) может следить за несколькими учениками одновременно.
Что такое экзамен на Stepik ?
В Stepik курсы организованы в виде модулей или недель обучения. Любой раздел можно превратить в экзамен, выбрав в настройках тип раздела «Экзамен» и установив продолжительность экзамена. Обучающиеся могут начать экзамен в течение периода, определенного преподавателем курса, нажав кнопку «Начать экзамен». Во время теста студенту показывают таймер с обратным отсчетом. После завершения теста студент больше не может накапливать баллы за тест.
Когда пользователь начинает тест, в базе данных для него создается запись о периоде теста, в которой фиксируется дата начала теста. Поскольку дата начала и минуты тестового периода известны, пользователю отображается оставшееся время. Пользователь получит баллы только за правильные решения, полученные до конца теста.
Как технически устроена интеграция с провайдером прокторинга?
Внедрение онлайн-тестирования экзаменаторов наложило дополнительные ограничения на возможность создания файлов экзаменационной сессии. Пользователи должны зарегистрироваться на свободную сессию супервизора и могут начать экзамен, только если супервизор дал разрешение. В то же время супервайзеры должны иметь возможность закрыть доступ к экзамену на ранней стадии в случае нарушений и оценить, есть ли в экзамене нарушения, которые могут повлиять на итоговую оценку. Для этого в Stepik была добавлена еще одна модель проктестированной сессии. Это ссылка на раздел экзамена и позволяет создать экзаменационную сессию только тогда, когда запущена сессия проктора (с помощью start_date_date).
- Start — запуск сессии (установка start_date);
- Stop — пользователь через интерфейс ProctorEdu может досрочно завершить экзамен;
- Submit — завершение сессии проктором и вынос заключения (поле score, в котором сохраняется число от 0 до 1 (шкала с границами «не одобрено»/«одобрено»).
Как уже упоминалось ранее, разница между прокетированным экзаменом и обычным студенческим экзаменом заключается в том, что для прокетированного экзамена проктор, контролирующий экзамен, должен быть предварительно зарегистрирован при наличии свободного места. Интерфейс Stepik решает эту проблему на странице тестирования — пользователю предлагается зарегистрироваться для участия в сессии мониторинга, пользователь регистрируется, чтобы перейти по ссылке на ProctorEdu (в этот момент для данного пользователя создается сессия мониторинга). ), где они зарегистрируются в Stepik, создадут аккаунт по протоколу OAuth2 и выберут время, доступное для теста.
Студент может начать экзамен (т.е. создать экзаменационную сессию), только если запущена сессия супервизора (т.е. супервизор выполнил команду start). Когда у студента есть экзамен, доступный для сдачи, он/она видит активную кнопку «Начать экзамен» и может сдавать экзамен.
Для управления сеансами пользователей провайдер монитора (назначая специальную роль «монитор») регистрирует серверное приложение, используя протокол OAuth2. Это приложение сможет управлять контрольными сессиями студентов на платформе Stepik с помощью вышеуказанных команд.
Как создать экзамен с прокторингом на Stepik?
- Создать курс;
- Сделать в нем модуль-экзамен, и наполнить его уроками с экзаменационными задачами;
- Настроить даты начала и даты окончания экзамена, продолжительность экзаменационной сессии;
- Включить для курса режим прокторинга и задать ссылку на домен провайдера прокторинга, что позволяет делать брендированный домен для разных заказчиков услуг прокторинга (пока недоступно в интерфейсе и делается по запросу администраторами платформы).
Автоматизированная система наблюдения ProctorEdu — это облачное решение SaaS (программное обеспечение как услуга) для организации и управления экзаменами по наблюдению. Сеансы записываются и анализируются на предмет нарушений до создания отчетов. ProctorEdu предоставляет интерфейс супервизора к рабочему месту супервизора, но также может предоставить своего собственного супервизора.
