Школьные уроки по чек-листу: создание AI-системы для проверки качества образования

Идею ввести в учреждениях некие чек-листы с набором требований для их автоматической проверки СЕО сети позаимствовал из своего прежнего опыта в гостиничном бизнесе. Там благодаря привлечению сотрудника, который ежедневно вручную заполнял бланки соответствия установленным нормам, удалось вывести сервис на новый уровень всего за 1,5 месяца. У руководителя возникло желание реализовать похожую схему в школах и детских садах московской сети — только ради экономии на человеко-часах полностью ее автоматизировать. Разработку AI-системы, способной на основании записей с видеокамер проводить анализ качества уроков, поручили нам.

1

Перед созданием промежуточного решения нам необходимо было проверить, возможно ли вообще с помощью больших языковых моделей детектировать видеозаписи с уроков на визуальную и аудио составляющие для прогона по заданному чек-листу. Главной сложностью была работа с крайне ограниченным объемом данных — мы могли использовать лишь несколько одобренных видеозаписей с уроков, поскольку изображения детей напрямую попадают под федеральный закон о защите персональных данных.

От будущей AI-системы требовалось, например, умение «видеть» наличие телефонов в руках школьников, «слышать» повышение тона со стороны учителя и «замечать» опоздания. Важной особенностью проверки стала оценка только тех моделей, которые не требовали вложений больших ресурсов в дообучение и могли быть размещены на закрытом сервере с ограниченной мощностью — порядка 40 Гб оперативной памяти. Выбор локального сервера также был обоснован необходимостью защиты персональных данных учащихся и учителей.

С нашей стороны в работу включились:

• AI data scientist, консультант, ML expert — это всё один человек;
• Python ML-инженеры — 2-3 специалиста, в зависимости от фазы проекта;
• проджект-менеджер;
• тестировщик;
• бизнес-аналитик.

Со стороны клиента также была привлечена команда:

• сотрудники методического отдела — помогали прорабатывать списки требований для составления чек-листов и оценивать результаты их проверки AI-системой;
• IT-специалисты — занимались наладкой непосредственного взаимодействия искусственного интеллекта с камерами видеонаблюдений;
• юристы — консультировали по вопросам соответствия тех или иных действий закону о персональных данных.

В рамках пилотного проекта мы довольно быстро справились с обработкой расписания занятий. Также без особых усилий был создан первый отчет — он представлял собой текстовый файл без четкой структуры и служил скорее для понимания того, что система в принципе способна определять, что происходит на уроке.

Сложнее всего было подобрать три AI-модели, которые оказались бы максимально эффективными для детектирования параметров определенного рода:

• Для диаризации — обработки голосового потока с идентификацией говорящих. Было испробовано 3 варианта, пока мы не остановились на подходящем. Искали тот, что обеспечит высокое качество и не даст чрезмерную нагрузку на сервер.

• Для визуального детектирования событий и объектов — по стоп-кадрам с видеозаписей. Здесь мы испробовали около 10 разных вариантов. Искали «умную», умеющую хорошо считывать с картинки, но компактную, под имеющиеся мощности.

• Для распознавания эмоций — также по стоп-кадрам. Эту модель было подобрать проще остальных. Ее требовалось лишь правильно настроить и оптимизировать под закрытый сервер.

Совместно с методическим отделом было проработано два чек-листа: один — для всех школ сети, другой — для детских садов. В каждом — некий набор параметров, которые AI-система по полученным через языковые модели данным оценивает и делает соответствующую отметку.

Примеры таких параметров:

• Урок начался не позже, чем через 2 минуты после его начала по расписанию
• Ученики не использовали смартфоны во время урока
• Опоздавших на урок нет
• Урок закончился вовремя, то есть за 2 минуты до его окончания дети начали собирать вещи в портфели и т.д.

Процесс пилотирования и оценки гипотезы занял в общей сложности около 2 месяцев.

2

2

Для выхода на новый уровень мы «переехали» на более мощный сервер. Стояла задача развернуть на нем те же языковые модели и выжать из них максимум возможностей.

Чтобы сделать из пилотного проекта масштабируемую Production Ready систему, способную брать на себя большую нагрузку, мы разделили свою разработку на 4 отдельных микросервиса:

• Микросервис диаризации. Он принимает звуковые дорожки, поступающие с видеокамер, переводит речь в текст и разбивает его на реплики учителей и учеников. При этом все ученики в классе принимаются за одного говорящего, учитель — за другого.

• Микросервис, который представляет собой локально развернутую визуальную языковую модель. Для экономии памяти на сервере он сохраняет записанные видео не целиком, а в виде стоп-кадров. Сами записи теперь берутся не из хранилища — они поступают напрямую с подключенных камер по RTSP-протоколу. Настройка соответствующего взаимодействия прошла оперативно и без сложностей.

• Микросервис, считывающий эмоции. В него также передаются стоп-кадры с видеозаписей, на основании которых модель определяет усредненную эмоциональную обстановку в классе: радость, испуг, злость, зажатость и т.д.

• Микросервис-оркестратор, или некий pipeline обработки данных. Он автоматизирует включение записи камерами по расписанию, которое теперь хранится в базе данных в виде большого Excel-файла, координирует работу остальных микросервисов и обрабатывает результаты проверок по чек-листу.

В разработке использовался OpenAI-интерфейс, позволяющий в любой момент времени в будущем заменять сервисы на другие.

В рамках настройки системы мы столкнулись с тем, из-за особенностей тех или иных уроков и кабинетов, при проверке по чек-листу могла возникать логическая ошибка. Система проводила проверку и расставляла отметки в обычном режиме, но во время ручной обработки результатов обнаруживались те или иные нестыковки.

Мы выделили 3 школьных предмета, уроки по которым требуют создания обособленных чек-листов с учетом всех нюансов:

• Иностранные языки — из-за необходимости мультиязычной транслитерации. Дети и учитель говорят то на русском языке, то на изучаемом. К тому же в произношении могут допускаться значительные ошибки. Всё это затрудняет обработку языковой моделью.

• Информатика и изобразительное искусство — из-за нетипичной рассадки в классах и особенностей кабинетов. Камеры могут быть направлены на спины или располагаться слишком далеко от обучающихся — в итоге существенно снижается качество аудиозаписи и становится невозможным считывать эмоции.

Отдельно рассматривается вопрос о работе AI-системы на уроках физкультуры, которые в теплое и холодное время года проводятся в разных зонах, да и в целом требуют уникального подхода.

Чтобы решить проблему с камерами, мы сформировали списки тех из них, что нужно перепрошить или заменить. Отдельный список включает те участки в классах, где камеры следует добавить. Методический отдел взял на себя доработку чек-листов по «сложным» для анализа предметам.

Еще местами страдало качество передачи видеозаписей из-за низкой скорости интернета — там были открыты дополнительные Wi-Fi-приемники.

Работы по второму этапу в среднем заняли также 2 месяца.

Разработанное нашей командой решение позволяет собирать данные с видеокамер, обрабатывать их и на основе полученных результатов проводить проверку параметров в чек-листе. Как это работает?

Пример:

У 9«А» начинается урок математики в 135 кабинете.

Микросервис-оркестратор подключается в этот момент к камере в классе, ведет запись в течение 45 минут урока, а потом передает ее другим микросервисам на обработку.

Те, в свою очередь, работают с аудио- и видео-рядами, делают стоп-кадры и сохраняют результаты в базе данных.

Далее оркестратор отправляет в три действующие AI-модели запросы под конкретные параметры в чек-листе. Ответы формируются в виде списков с пометками «+» или «-».

Если по всем пунктам чек-листа система проставила значение «+» — это 100% выполнение. Такой урок считается идеально проведенным. Если же в каких-то из пунктов появляются отметки «-», процент снижается. Это сигнал о том, что урок проведен с недочетами.

Администрации школ могут отслеживать показатели в динамике, по классам, учителям и предметам. Но делают они это не в нашей системе — есть отдельная команда на стороне заказчика, в руках которой сложная Power Business intelligence база, куда непосредственно попадают все результаты проверок. Там из наших сводок по чек-листам с применением различных формул создаются графики, дашборды, таблицы, отчеты.

Системному администратору на стороне клиента мы показали основные инструменты мониторинга и админ-панель управления системой.

Для методического отдела была подготовлена обучающая информация и выгрузки с результатами проверок в удобном формате.

Команде, занимающейся интеграцией данных из нашей системы в Power BI-базу, сотрудники CYFER предоставили архитектурную техническую документацию.

На отдельные детальные вопросы мы ответили в серии коротких созвонов.

Фишка нашей AI-системы — в автоматизации. Она работает так, как если бы у двери каждого кабинета, где идет урок, стоял на протяжении 45 минут человек и расставлял плюсики по параметрам. Только всё это делает компьютер в автономном режиме, компенсируя огромное количество человеко-часов.

Сейчас мы лишь отмечаем факт того или иного события и инцидента. В планах по проекту — добавление функции измерения. Мы намерены начать работу с подтверждающими материалами, чтобы подкреплять ими результаты проверок.

Система сможет не только фиксировать, что урок начался позже установленного в расписании времени, но и помечать, насколько точно. Если кто-то из детей достанет на уроке смартфон, к отметке об этом будет приложен соответствующий стоп-кадр.

Проект находится на этапе внедрения в производство. Предстоит еще много работы, которая займет порядка 3-4 месяцев. Наша команда настроена на успех.

Вопросы по внедрению ИИ
в образовательных учреждениях

?

Технологический стэк

Частная сеть школ в Москве внедрила AI-систему для автоматической проверки качества образовательного процесса

Этапы работы над AI-решением

Проверка гипотез и запуск пилотного проекта:

• Разработка и тестирование AI-моделей с использованием ограниченных данных.
• Оценка возможностей системы в детектировании событий на уроках (визуальные данные, аудиоанализ, эмоциональная обстановка).
• Создание промежуточного функционального решения: базовый анализ видео- и аудиозаписей уроков.

Составление первых чек-листов совместно с методистами.

Разработка Production Ready системы:

• Деление системы на микросервисы для повышения производительности: диаризация звука, визуальный анализ видео, эмоциональный фон классов.
• Управление данными и оркестрация процессов.
• Оптимизация языковых моделей под возможности локального сервера с ограниченной мощностью.
• Внедрение RTSP-протокола для обработки видео в реальном времени без необходимости хранения записей.

Интеграция системы в образовательные учреждения:

• Настройка взаимодействия системы с видеокамерами и базами данных расписаний.
• Тестирование и адаптация системы под разные типы классов и учебных предметов.
• Обучение сотрудников использования системы и интерпретации данных.

Длительность работы над решением: 4 месяца.

Что сделано

Результат внедрения

Узнайте, как внедрить AI-систему в ваше образовательное учреждение – закажите демонстрацию AI-решения!