# WER и CER для ASR: нормализация текста без сокрытия ошибок

WER и CER сравнивают расшифровки только при объявленной нормализации, особенно для русского текста с числами, пунктуацией и вариантами написания.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/asr-wer-cer-normalization-russian/
Language: ru

WER и CER сравнивают расшифровки только при объявленной нормализации, особенно для русского текста с числами, пунктуацией и вариантами написания. Снижение нормализованной ошибки может отражать смену правил подсчёта, а не лучшее распознавание сведений, которые пользователю нужны из записи разговора или технической инструкции.

## Определить единицы подсчёта

[Глава Hugging Face об оценке аудио](https://huggingface.co/learn/audio-course/chapter5/evaluation) объясняет частоты словесных и символьных ошибок. WER считает правки по словам, CER — по символам. Ни один показатель напрямую не оценивает правильность технической инструкции. Неверная цифра продукта может быть важнее нескольких безвредных различий оформления. Рядом со сводкой сохраняют примеры, чтобы арифметика единиц не скрывала практических последствий и не заслоняла исходную задачу. Иначе хороший общий результат способен сопровождаться непригодностью важных отдельных ответов пользователя.

## Объявить нормализацию заранее

[Реализация JiWER](https://github.com/jitsi/jiwer) и [документация](https://jitsi.github.io/jiwer/) предоставляют цепочки преобразований. Для эталона и гипотезы одинаково определяют регистр, пунктуацию, пробелы и числовые формы. В русском тексте отдельно решают, эквивалентны ли ё и е для задачи. Политика общего распознавания может не подходить точной орфографии или идентификаторам. Правило выбирают до сравнения моделей, чтобы нельзя было задним числом смягчить подсчёт только ради выгодного результата и выдать изменение оценки за улучшение распознавания.

## Подготовить содержательный русский пример

Вручную проверяют эталоны с произнесённой суммой, кодом продукта и отрицанием. Сравнивают запись цифрами с формой словами, затем отдельно рассматривают действительно неверную цифру. Нормализация может убирать различия представления, но не должна стирать неправильный идентификатор или отрицание ради меньшей ошибки. Сырые расшифровки сохраняют для проверки каждого преобразования. Значимые различия остаются доступны человеку, способному прослушать оригинал и объяснить, какое отличие является оформлением, а какое меняет содержание или применимость технической инструкции.

| Различие | Решение для оценки |
| --- | --- |
| Только пунктуация | Нормализовать, если вне задачи |
| Число словами или цифрами | Применить объявленное правило эквивалентности |
| Неверный символ продукта | Сохранить как содержательную ошибку |
| Потерянное отрицание | Отдельно проверить изменение смысла |

## Агрегировать без сокрытия нагрузки

Указывают способ объединения реплик и сохраняют срезы идентификаторов, тихой речи и смешения языков. Среднее корпуса может улучшиться при ухудшении критичных коротких инструкций. Пустые эталоны, повторы и границы сегментов требуют правил. Поведение библиотеки используют явно вместо самодельного расчёта под знакомым названием без документации. Разная подготовка способна сделать внешне сопоставимые баллы оценками разных задач. Поэтому одну неизменную конфигурацию подсчёта сохраняют вместе с набором, а все альтернативные варианты показывают как отдельные эксперименты.

## Показать изменения текста и правил

Сохраняют редакцию эталона, шаги нормализации, реализацию метрик и характерные выравнивания. При необходимости сравнивают сырой и нормализованный разбор, объясняя исключённые различия. Смысловую проверку инструкций оставляют вне арифметической метрики. Так WER и CER становятся воспроизводимыми инструментами, не выдаются за универсальную полезность расшифровки. Мягкая нормализация не должна скрывать ошибки, меняющие продукт, условие или смысл записанной инструкции. Итоговый вывод соотносится с объявленной задачей, а не только с наиболее выгодным числом среди возможных способов подсчёта.

Связанные материалы: [Whisper на CPU или GPU: как сравнить время и стоимость обработки](/ru/journal/whisper-cpu-vs-gpu/); [Бенчмарк GPU для инференса, которому можно доверять](/ru/journal/inference-benchmark-method/).