В этом материале
Пунктуация меняет границы отображения, не создавая акустического события, поэтому оформленному тексту нужна обратимая связь с исходными токенами и их временем.
Восстановление пунктуации должно менять оформление расшифровки без скрытой замены слов и происхождения времени. Читаемое предложение является производным видом; поиску и цитированию всё равно нужны исходные распознанные слова и статус выравнивания, чтобы проверить, что действительно прозвучало в конкретном месте оригинальной записи.
Сохранить исходные токены неизменными
Проект Whisper предоставляет транскрипцию и инструменты вывода, а WhisperX добавляет выравнивание отдельных слов. Распознанную последовательность хранят отдельно от отображаемого текста. Пунктуация меняет границы предложений без добавления акустического события. Если форматирование объединяет, разделяет или исправляет слова, нужно явное соответствие вместо замены временных токенов новым предложением. Иначе точные временные отметки будут выглядеть сохранёнными, хотя фактически уже относятся к другим исходным единицам и не подтверждают показанную формулировку.
Различить время и оформление
Статья WhisperX связывает время с выравниванием. Добавленная ради читаемости запятая или точка не обязательно имеет собственный измеримый интервал. Присоединение знака к соседнему слову допустимо как правило отображения, но не должно менять исходное время этого слова. Соглашение документируют, чтобы построители субтитров и цитат одинаково трактовали границы вместо независимого выдумывания времени знаков. Такое правило особенно важно при переносе текста в несколько форматов, использующих разные способы разбиения строк и предложений.
Проверить чувствительную к смыслу фразу
Возьмём запись с коротким отрицанием, идентификатором продукта и паузой, похожей на границу предложения. Сравним сырые слова, текст с пунктуацией и показанный отрывок. Форматировщик не должен удалять отрицание или превращать код в другой продукт. Предложение после таких изменений может выглядеть красивее, но хуже передавать сказанное. Поэтому человек проверяет не только наличие точек и запятых, а сохранение значимых слов и их отношения к оригинальному аудиоинтервалу записи.
| Слой | Сохраняемые сведения |
|---|---|
| Сырая транскрипция | Распознанная формулировка до оформления |
| Выровненные токены | Доступное время и неопределённость |
| Отображаемый текст | Пунктуация и читаемые группы |
| Соответствие | Связь показанных слов с исходными токенами |
Рассматривать правки как правки
Исправление написания или раскрытие сокращения выходит за пределы пунктуации. Его записывают производным изменением, оставляя исходную форму для точного цитирования. Если показанному слову соответствуют несколько временных токенов, сохраняют эту связь вместо выбора произвольной отметки. Отсутствие выравнивания остаётся видимым: проход пунктуации не создаёт акустического подтверждения там, где его не было. Это позволяет отдельно принимать редакционные улучшения и отдельно оценивать точность распознавания, не смешивая оба процесса в одном внешне аккуратном результате.
Совместно проверить поиск и экспорт
Пример пропускают через поисковые отрывки, субтитры и ссылки воспроизведения. Показанный текст должен вести к тем же словам и исходному интервалу во всех выходах. Отдельно проверяют пограничные слова возле новых предложений. Артефакт приёмки — обратимое соответствие токенов и отображения, а не только привлекательная пунктуация. Так читаемость улучшается без потери связи технических цитат, точных идентификаторов и временных утверждений с исходной транскрипцией и записью, которые остаются доступными для независимой проверки найденного ответа.
Связанные материалы: Длинное аудио в Whisper: сегменты, очередь и хранение результата; GPU-конвейер OCR для PDF: как оценить сервер на 1000 страниц.