В этом материале
Временной метке показа видео нужна её временная база; номинальная частота кадров не восстанавливает нерегулярные интервалы между кадрами.
Видео с переменной частотой кадров индексируют по временным отметкам показа и time base, а не предполагают точность деления номера кадра на номинальную частоту. Иначе найденный кадр способен вести к чужому речевому объяснению, особенно при нерегулярной записи или преобразовании частоты в предварительной обработке.
Сохранить смысл времени при декодировании
Документация времени PyAV объясняет timestamps и time base. Числу временной отметки нужна связанная единица времени, чтобы стать осмысленной позицией. С выбранными кадрами сохраняют исходный поток и временные метаданные. Порядок декодирования пакетов, порядок показа кадров и последовательный счётчик нельзя считать взаимозаменяемыми подтверждениями, особенно когда контейнер или кодек переупорядочивает данные. Это различие должно оставаться явным при передаче изображений в следующий этап индексирования и при последующем создании ссылок воспроизведения.
Различить номинальную частоту и время
Документация backend PySceneDetect прямо предупреждает о приблизительной нумерации для переменной частоты. Номинальная частота полезна как метаданные, но не восстанавливает каждый нерегулярный интервал показа. Сохраняют позицию реально декодированного кадра. Если интерфейсу нужен номер, указывают способ получения вместо объявления универсально точного места источника. Особенно важно не смешивать такой производный номер с идентификатором исходного кадра при сравнении нескольких обработанных версий одного и того же видеоматериала.
Проверить запись экрана с паузами
Выберем запись с нерегулярным обновлением изображения и озвученным действием. Найдём кадр изменения настройки и сопоставим с соответствующей речью. Сравним позиционирование по времени с вычислением через номинальную частоту. Это диагностический пример, а не заявление об измеренной величине дрейфа: он обнаруживает зависимость от предположения, которому вход не соответствует. В исходном файле сохраняют контрольные точки до и после паузы, чтобы возможная ошибка не скрылась в одном случайно совпавшем месте.
| Сохраняемое поле | Его задача |
|---|---|
| Временная отметка показа | Позиция декодированного кадра |
| Time base | Интерпретация единиц временной отметки |
| Идентификатор потока | Различение видео и остальных дорожек |
| Производная метка кадра | Удобное отображение с явными предположениями |
Учесть поиск позиции и конвертацию
Документация FFmpeg описывает seeking и параметры времени. Поиск позиции способен потребовать декодирования от соседней точки, а не мгновенного получения произвольного точного изображения. Преобразование в постоянную частоту может повторять или удалять кадры. Такие операции записывают вместе со связью исходного времени. Индекс обработанного видео не должен подразумевать неизменную идентичность и время оригинальных кадров. При построении цитаты используют сохранённое отображение, а не заново выводят его из новых свойств выходного файла.
Проверить мультимодальные подтверждения
Выбранные кадры и интервалы транскрипции разрешают обратно в оригинал и проверяют согласованность возле видимых действий. Нужны ранние, поздние и нерегулярные участки, а не один удобный кадр. Карту времени хранят с версией индекса. Так видеоцитаты воспроизводимы, а правильное визуальное совпадение не получает постороннюю речь лишь потому, что приблизительный счётчик приняли за достоверное время источника. Итоговый ответ должен вести к проверяемому эпизоду, а не только к похожей картинке без корректной временной привязки.
Связанные материалы: Локальный RAG-сервер: какие компоненты размещать рядом с GPU; Длинное аудио в Whisper: сегменты, очередь и хранение результата.