В этом материале
Распознанное число или обозначение продукта может оставаться полезным текстом транскрипта, даже если принудительное выравнивание не дало времени слова.
WhisperX способен оставить распознанные слова без надёжного времени, если модель выравнивания не сопоставляет их символы или звучание. Такие слова сохраняют вместе с неопределённостью, а не удаляют: отсутствие временной отметки не означает, что транскрипция не содержит существенного подтверждения для последующего поиска.
Различить распознавание и выравнивание
Статья WhisperX объясняет получение времени через выравнивание, а репозиторий проекта описывает ограничения. Транскрипция предсказывает слова по звуку; forced alignment размещает переданный текст относительно акустических данных. Этапы ошибаются по-разному. Распознанное число может быть полезным текстом без времени, а точно выровненное слово — неправильным результатом распознавания. Ни один выход автоматически не подтверждает правильность другого, поэтому их сохраняют раздельно и сравнивают по исходной записи при разборе сомнительного места.
Проверить язык и покрытие словаря
WhisperX описывает языковые модели выравнивания и сложности со словами вне словаря, включая некоторые записи чисел и валют. До обвинения аудиозаписи проверяют представление транскрипции и выбранную модель. Неверный язык или неподдержанные символы способны вызвать систематические пропуски. Каждое отсутствующее время нельзя заменять отметкой соседнего слова: это превращает известную неопределённость в ложную точность. Сначала устанавливают причину, затем выбирают явно обозначенный способ использования такого слова в поиске либо отображении.
Создать пример с числами
Выберем короткую запись с идентификатором продукта, суммой в валюте и обычной окружающей речью. Сохраним исходную транскрипцию Whisper и сравним с выровненным результатом. Для каждого токена отметим сохранность текста и наличие времени. Проверка должна различать исчезновение текста и отсутствие временной позиции. Иначе аккуратный экспорт субтитров способен незаметно удалить самую важную техническую деталь разговора, хотя общая читаемость предложения после удаления даже улучшится и скроет проблему от поверхностной проверки.
| Наблюдение | Направление исследования |
|---|---|
| Текст есть, времени нет | Покрытие выравнивания или представление |
| Неверный текст имеет время | Ошибка распознавания до выравнивания |
| Много пропусков одного языка | Пригодность выбранной модели выравнивания |
| Участники говорят одновременно | Акустическая неоднозначность и сегментация |
Явно хранить неопределённость времени
В записи токена сохраняют текст, доступное время и статус выравнивания. Интервал предложения может оставаться пригодным при отсутствии времени отдельного слова, но обладает другой точностью. Если формат требует полного времени, применяют документированное приближение с сохранением исходного статуса. Интерполированную позицию не выдают за прямое измерение модели. Это позволяет читателю и приложению отличить уверенно выровненное слово от удобного предположения, которое было добавлено только для удовлетворения требований конкретного формата экспорта.
Проверить последующее использование
Поиск, цитирование и субтитры проверяют на одном наборе сомнительных слов. Индекс способен сохранить идентификатор даже без точного позиционирования воспроизведения. Цитата может вести к окружающему аудиоинтервалу с явно указанным ограничением времени. Критерий приёмки — сохранение значимого текста и честное временное разрешение, а не исчезновение всех пустых полей. Так исправление временной разметки остаётся отделено от неподтверждённого редактирования распознанного содержания, которое могло бы изменить смысл исходного разговора.
Связанные материалы: Длинное аудио в Whisper: сегменты, очередь и хранение результата; GPU для Whisper: как выбрать память под распознавание речи.