"Дёрганые панорамы" или "Разный FPS на выходе и выходе"

[DiSel]

Моё внимание к этому вопросу привлёк Верендей, сетуя на переменный fps на исходниках с айфонов. Почему я сам не увидел - привык к неравномерности проигрывания в окне просмотра на старом железе.
Итак, есть ролик про Кунашир, в котором был материал с разных источников: три разных айфона, андроид и коптер, с разным набором разрешений и fps: 25, 30, 29.97. Местами ещё и тот самый VFR, но зло было не в нём. При таком наборе, какой бы я ни выбрал fps при выводе, всё равно было бы масса несовпадений, поэтому с этим как-то надо справляться. Можно делать ускорения/замедления (с 30 fps до 50 либо 25), такое применимо к общим планам с дрона, где нет движений, которые в неродном темпе будут выглядеть неестественными. Но это не решает проблему со съёмками людей, а также кадры с переменной частотой кадров.
И тут я вспомнил про "киллер-фичу" Адоби Премьера как раз для таких случаев. В одном из обучающих роликов, которые я смотрел после установки, приводился пример трёх вариантов расчёта промежуточных кадров (Time interpolation), когда fps исходника не совпадает с заданной fps при просчёте, а также при замедлении/ускорении. Вариантов три: Frame Sampling (выбирается ближайший по времени кадр), Frame Blending (смешивается два соседних кадра ) и Optical Flow (новый кадр расчитывается на основе "оптического потока" - карты скоростей пикселей, построенной по соседним кадрам). В теории - как раз то, что нужно, в демо ролике всё идеально. Теперь смотрим на практике.
Во-первых, я вспоминаю, что ролик выводил как раз с Optical Flow в настройках рендера. Но раз на видео видны продёрги, значит, не помогло. Надо разобраться.

1677007753410.png

Нахожу в ролике фрагмент с продёргами, дублирую поверх самого себя, сдвигаю на один кадр и меняю режим наложения на difference, чтобы увидеть смещение между соседними кадрами. Так невооружённым взглядом становится видно, где картинка дёргается: на четырёх кадрах контуры объектов одной ширины, на каждом пятом - в два раза шире.

1677008393612.png

Вывожу этот фрагмент с тремя разными настройками. Содержимое видеопотоков побайтово эквивалентно между собой, отличия только в метаданных файла и потока (время создания, uid). Подумал на несовершенство аппаратных алгоритмов, сделал просчёт программно - то же самое. То есть, изменение режима при выводе недостаточно.
Нахожу, что такой выбор доступен как минимум ещё в двух местах: при изменении скорости клипа и в настройках самого клипа.

1677008728484.png

Делаю просчёт, убеждаюсь: да, разница есть, виден микс кадров на frame blending и плавность движения на optical flow. Но заметил я это не сразу, т.к. в окне program monitor при изменении кадра сначала отображается быстрый ближайший кадр, затем через 2-3 секунды отображается кадр, пересчитанный с учётом режима интерполяции. Я же по тыкал переход на соседний кадр и поначалу не увидел разницы, пока не решил сделать просчёт фрагмента. Кстати, если просчитанный фрагмент наложить поверх в режиме difference, то при перемотке поначалу виден рельеф, говорящий о несовпадении кадров, а после "обдумывания" просмотр становится почти абсолютно чёрным.
Ближе к выводам.
Математически, может, с Optical Flow движение и стало равномерным и плавным. Но, как говорил наш математик, математически и стиральная доска является гладкой кривой. Да, движение уже не дёрганое, смещение на рассчитанных кадрах выглядит одинаковым, но одинаково плохим. Качество на стоп-кадре такое себе. Я специально выбрал кадр с самым худшим смещением, как пример. Для анализа приведу увеличенный фрагмент (шириной примерно 250 пикселей из 3840). Для понимания масштаба - это красная рамка в кадре. Да и сам кадр тоже сгодится для оценки - это с optical flow.

src_fragm.jpg

Ниже сравнение этого фрагмента в четырёх вариантах интерполяции. Красным здесь я выделил контрастный край с чёткого кадра для понимания смещения. Первый - Frame Sampling, просто берём ближайший кадр. На втором варианте видно подмешивание предыдущего кадра со следующим. Видны дубликаты очертаний объектов. В оригинале смещение составило 23 пикселя вправо, 11 вверх. Дальше интереснее. При расчёте оптического потока также появились"призраки", но их положение не совпадает ни с предыдущим кадром, ни с последующим. Синим я подчеркнул тот же край на ближайшем из "призраков". Для понимания расстояния, смещение между "призраками" составило где-то около 6 пикселей вправо и 4 вверх, смещение от предыдущего кадра - 8 вправо и 4 вверх, плюс-минус один пиксель. Т.е., это два рассчитанных промежуточных кадра, смешанные между собой. Почему, а главное зачем - непонятно.
Ну, и последний вариант - это фрагмент, пересчитанный в Topaz с увеличением частоты до 50 fps. На нём красным - граница объекта от предыдущего кадра, синим - граница левого из призраков от optical flow, чтобы показать, что они не совпадают. Смещение от предыдущего кадра составило 10 пикселей вправо и 4 вверх. Т.е., до следующего будет где-то (13;7), значит, положение рассчитывается пропорционально времени между расчётным кадром и соседними.

prem_test_horz.jpg

Вывод пока для себя сделал такой: некоторые возможности Adobe Premiere в очередной раз несколько преувеличены и перехвалены. При нужде работать со смешанными исходниками, либо с VFR, режим "оптического потока" лучше, чем просто прореживание или дублирование кадров, и не требует дополнительных манипуляций. Но для качественной картинки, похоже, без внешних средств никак не обойтись.

[Verendey]

Спасибо за подробный разбор!
У меня пока лишь теория, совсем слегка проверенная практикой: пишут, что Davinci Resolve (он же DVR) может очень качественно переводить из 25 fps в 30.... Но пишут те, кто хвалит DVR по любому поводу, невзирая на истину))) Новая религия такая у монтажёров - DVR (и новый повод для "холиваров")...
Я попробовал изменить частоту в Davinci - результат на троечку (просто неофиты не умеют смотреть, точнее смотрят, но нпе видят- с детства смотрят "бракованные" видео и принимают баги как фичу)))


НО я сторонник другой "религии" под названием Topaz :ROFLMAO: там есть отдельный пресет - перевод в 30fps. Я его использовал, но... не смогу так подробно, с картинками описать. Просто увидел, что дрыжки и продёрги пропали и успокоился. Долго - да. Но качественно...

[veren]

переводить нормально из 30 в 25 умеет только AE и Davinci.
Все эти костыли в Премьере-это имитация.
Просто нужно снимать все в идентичном формате кадров и потом на монтаже не будет проблем.
А если все же принесли такой исходник,то прогонять через вышеперечисленные проги и только потом приступать к черновому монтажу.

[Sego]

переводить нормально из 30 в 25 умеет только AE и Davinci

+ FinalCut

[Verendey]

"не верю" © Станиславский
Давай я пришлю тебе исходник HEVC HLG (30 fps) а ты "переделаешь" его в 25 ?

[Sego]

пришли

[Verendey]

Предлагаю коллективную "лабораторную работу"

Чтобы результат был "чистым, нужно брать материал из одного источника :
" есть "эталонно неправильный" файл (впрочем, как и любая панорама, снятая с переменной частотой кадров)

Показать

https://disk.yandex.ru/i/C6Cj2_LI8yymYA

Мы исходим из того, что в проекте есть файлы как 25 к/сек так и 30... Предположим, что преобладают файлы с 25 к/сек и мы решили всю секвенцию сделать 25 к/сек (fps)

Тогда панорамы, снятые в 30 к/сек будут "дёргаться", рывками идти (НО на айфоне, да и в плеере VLC панорама выглядит ровной)
Исходник 30 fps Секвенция 25 fps ."дёргается панорама"]



Если частота кадров и секвенции совпадают - панорама намного ровнее
НО "благодаря" переменной частоте кадров всё равно заметны "рывки" на панораме (НО на айфоне их нет). Вы их видите? Может у меня слишком "избалованный глаз", но я не только вижу (не вглядываясь), но они мне мешают)))

исходник и секвенция совпадают (30 fps)

Показать

Предлагаю делится результатами..
У меня так получилось: в программе Topaz переконвертировал из 30 к/сек в 50 к/сек Потом в Premiere создал секвенцию 25 fps и уже оттуда экспортировал.

На мой взгляд результат неплохой, хороший даже)


PS вдруг у кого есть под рукой файл с панорамой, снятой в 25 fps, пришлите для теста?

[Sego]

Правильно не верил) Дергается, но я сильно и не заморачивался (проект 25 сделал и вывел в h264 , без всяких улучшалок), потому что проблемы не вижу, или не понимаю...Если бы делал я - 30 фпс, 30 бы и оставил, современные плеера- телевизоры это все понимают , читают и воспроизводят, если переменный 25-30, делал бы 30, предварительно пересчитав исходники, зачем из 30 делать 25 - х.е.з.)). Но я уже давно ни чего не делаю, поэтому .... нет и проблем!+)

[Verendey]

проблемы не вижу, или не понимаю

скорее второе
Но это моя вина, не описал подробно задачу: всё чаще приходят материалы, снятые с разной (несовместимой, не кратной)) частотой (30 и 50) (уровень "операторов" падает)
И как быть в такой ситуации? Когда в одном фильме половина с частотой 25 кадров в секунду, а другая половина 30 к/сек ?

[Verendey]

зачем из 30 делать 25 - х.е.з

затем, что мы в Европе живём)))
Европейский стандарт: частота электрических сетей 50 Гц и поэтому частота кадров 25 (кратно).
В Америке и Азии (частично) частота сетей 60 Гц и частота кадров соответственно 30

[Dik]

Европейский стандарт: частота электрических сетей 50 Гц и поэтому частота кадров 25 (кратно).
В Америке и Азии (частично) частота сетей 60 Гц и частота кадров соответственно 30

Заметил, последнее время юмор удается Верендею )
Вдогонку:
средняя частота сердцебиения равна 60 , поэтому кратная съемка 30 к/сек наиболее комфортна для операторов.

[Verendey]

Заметил, последнее время юмор удается Верендею )
Вдогонку:
средняя частота сердцебиения равна 60 , поэтому кратная съемка 30 к/сек наиболее комфортна для операторов.

Отсюда делаю вывод: либо вам на курсе не давали основ видео, либо ты прогулял эти лекции
Ты реально не знал, о прямой связи частоты электрических сетей и частоты кадров (сначала на ТВ потом и на видео) ?
почитай

[Verendey]

... вот за что люблю эксперименты! Неожиданно нашёл элегантное и "бесплатное" решение ("девяностопроцентное" - для интервью не подходит, синхрон потеряется) .

Если Файл в окне проект интерпретировать (interpret footage) как 25 fps - то видео станет чуть-чуть замедленным (что зачастую неплохо) и без дрыжков.
Вот смотрите:
(файл был 17 сек, стал 21 но на глаз изменения скорости некритичны

[Verendey]

***
я пока остановлюсь на Топазе. Таких проблемных панорам (у меня) не так уж и много, штук 5-8 на один фильм . На один файл обработки в Топазе ушло 4, 5 минуты, терпимая "цена" за качество

[Dik]

Может ошибаюсь...
много лет назад из-за прорисовки экрана одиночным электронным лучом
появились ТВ системы, привязанные к частотам электросети 50 и 60 Гц,.
Но на современных экранах нет бегущего луча, поэтому твоё

мы в Европе живём... Европейский стандарт: частота электрических сетей 50 Гц и поэтому частота кадров 25 (кратно).
В Америке и Азии (частично) частота сетей 60 Гц и частота кадров соответственно 30

осталось в прошлом. )
Беря камеру в руки или монтируя - не надо звонить в Мосэлектросеть и спрашивать сколько у них Гц.
Имхо, имхо...

[Verendey]

Имхо, имхо...

так и подмывает на сарказм, но отвечу без оного)

Не только "электронный луч", есть множество других "привязок" частоты видео к частоте сети. Например "мерцание" ламп (мерцают все, просто у "проф. " ламп мерцание минимально, но бытовые - ощутимо. В одном и том же помещении с лампами дневного света - кадры с видеокамеры (25 к/сек) - нормально, кадры с айфона (30 fps) мерцание

[Dik]

Погодь, погодь....
При чем здесь освещение бытовыми лампами накаливания, если тема о том, как быть, когда при монтаже имеем видео контент с разным fps ?
В огороде бузина, а в Мюнхене с Ромштайном дядька )
Поэтому и подумал, что на вопрос Сего

зачем из 30 делать 25 - х.е.з.)).

Ты пошутил:

мы в Европе живём... Европейский стандарт: частота электрических сетей 50 Гц и поэтому частота кадров 25 (кратно).

Оказывается, ты не шутил. И всерьез отдаешь предпочтение окончательной секвенции fps 25 при монтаже разных исходников, как кратной европейской частоте электросетей 50 Гц.
ИМХО, очень спорная мысль )

[Sego]

очень спорная мысль

именно так! Это имело смысл, когда ТВ трубки были, сейчас их одинаковые продают, что там, что здесь.
Лампы - да, могут мерцать, надо снимать с соответствующей выдержкой (или кратной).

[veren]

Верендей хитрит))))
дело в том,что он дает исходник не совсем 30 кадров в секунду...а в плавающей частоте)
В iPhone будет проигрываться ровно,на таймлаене,будут заметны рывочки

[Sego]

а в плавающей частоте

тогда проект делать по "наибольшей" частоте, программе так проще интерполировать..(имхо)