Основы цифрового видео

Источник материала:

(Продолжение. Начало в №26)

Сейчас мы полностью уходим от аналога, индустрией пересматриваются устаревшие стандарты, осуществляется полный переход "в цифру". И это не является чем-то новым, скорее, для XXI века, обыденным. Инструменты производства и технологии быстро дешевеют, со стороны пользователей значительно увеличился спрос на ПО монтажа, и рынок этого софта начал развиваться более стремительно. Причем, скорее всего, все произойдет как и в звуке: программное обеспечение станет доминирующим элементом в области записи, обработки, монтажа и выпуска финальных продуктов.

В рамках этого и следующего материалов мы обсудим ряд интересных вопросов, которые введут нас в мир современных цифровых стандартов семейства MPEG.

Интересная случайность

Ваш покорный слуга, наверное, в предыдущей статье этой серии несколько утомил вас историей, за что извиняюсь, но та информация была полезной, по крайней мере, вы поняли, почему видеосигнал подразумевает вывод изображения по строкам и кто это придумал. Хотя, если бы экран в телевизоре Нипкова поместили горизонтально относительно вращающегося диска, то во всем современном видео и ТВ изображение выводилось бы по столбцам.

А сейчас стоит рассказать об очень интересной случайности, которая во многом предопределила развитие современных цифровых технологий, но имеет явное отношение к черно-белым телевизорам, которые в момент внедрения цветного ТВ стояли у разработчиков как кость в горле :).

Не думаю, что стоит говорить банальности о том, что парк черно-белых телеприемников был очень велик, поэтому, давая людям цвет, изобретатели должны были думать о совместимости со старым арсеналом. Кстати, это защитило нас и от множества неразумных шагов, например, реализации систем с последовательной передачей цветов, которые можно считать вредными для зрения, особенно в рамках технологического уровня того времени.

Когда же были изобретены люминофоры, способные излучать свет в красном, зеленом и синем спектрах, и сама технология формирования трехцветного изображения, стало возможным говорить о применении цветного сигнала, где цвета подаются не последовательно, а вкупе, в виде трех отдельных элементов. Сначала, как стандартное решение, виделось RGB, но, опять же, помешал рынок черно-белых телевизоров! Не встраивать же в них дополнительные устройства для суммирования трех сигналов? Эдакий апгрейд на полмира. Что делать?

В рамках стандартов NTSC, PAL и SECAM вместо обычного RGB было решено применить следующую схему, где общий компонентный сигнал включает в себя не три одноцветных, а три специально созданных составляющих:

Y - яркостный, по существу, являющийся R+G+B;

Cb - цветоразностный (синий, b-Y);

Cr - цветоразностный (красный, r-Y).

В четвертом, цветоразностном (зеленом, g-Y), отпадает необходимость, поскольку его можно быстро воссоздать (вычислить) в приемном устройстве, используя три поступающих.

Сигнал Y передается в той же полосе частот, что и обычный черно-белый сигнал (по существу, он им и является), его и воспроизводят обычные черно-белые телевизоры, а остальные два предназначены для цветных телеприемников. Потом выяснилось, что Y для формирования изображения, его четкости является доминирующим, а цветоразностные такой четкости не требуют, и могут занимать гораздо более узкую полосу частот. И пошло, и поехало...

Такому разбиению вы можете найти и еще одно более современное объяснение: у человека в органах зрения палочек в 20 раз больше, чем колбочек, соответственно, он больше чувствителен к изменениям яркости, нежели цвета. И это объяснение вы найдете в описании такого популярного ныне стандарта, как...

JPEG

Группа экспертов Joint Photographic Expert Group (JPEG) была создана в 1986 году, и ее основной задачей были исследования в области компьютерного представления статических изображений.

Если вы рассмотрите структуру обычного графического BMP-файла, то обнаружите, что в нем описана некая матрица, включающая определенное количество элементов по вертикали и горизонтали, а по существу, цветовых точек, каждая из которых описана определенным числом, выраженным в виде 8-16-24 и т.д.-разрядного значения. Этому значению соответствует определенный цвет, не более того. Программисты вам расскажут, что все легко преобразуется в то же RGB-представление, а также в любое другое, что можно наблюдать в ряде графических пакетов. Естественно, BPM - это не единственный стандарт, есть множество других, но в данном случае стал вопрос: а можно ли сэкономить ресурсы на хранении изображений. Сжатие BPM без потерь в качестве (lossless-компрессия) тогда позволяло уменьшать объемы в 2 раза, не более. Это не являлось удобным.

И в данном случае мы остановимся на экспертной группе JPEG, которая работала над тем, чтобы получить сжатый вариант BPM без существенных потерь в качестве, но с большим коэффициентом. Естественно, подразумевалось, что потери все-таки будут (lossy-компрессия), но все это должно не сильно сказываться на качестве картинки. Разработанный стандарт утвержден как ISO/IEC 10918-1, а для простоты назван JPEG, по имени создателя.

Суть технологии состоит в том, что любое изображение разбивается на небольшие, но оптимальные для вычислений "квадратики" размером 16х16 точек, соответственно, получается матрица из маленьких изображений, каждое из которых обрабатывается по отдельности. Далее производится переход (!) к представлению в YCbCr. Зачем? В данном случае, тот вариант объяснения, что мы яркость воспринимаем лучше, чем цвета, более применим. Теперь вспомним о том, как стали поступать с цветоразностными сигналами в телевидении? Правильно, уменьшать их диапазон.

При кодировании в JPEG из этих небольших изображений 16х16 удаляются четные столбцы и строки, но не для яркостного, а только для двух цветоразностных составляющих сигнала. В русскоязычном варианте вы можете встретить такое понятие, как "прореживание". Потери получаются не так сильно заметными для глаза, но объем информации значительно уменьшается. Потом эти макроблоки разбиваются на меньшие 8х8 и в таком виде поступают на следующие этапы обработки - DCT (дискретное косинусное преобразование), последовательное считывание в зигзагообразном порядке квантованных значений матрицы DCT, энтропийное сжатие (кодирование длин серий и код Хаффмена). Кто хочет, может более подробно узнать о структуре стандарта в его описаниях.

То есть, как вы понимаете, в самой природе кодирования в JPEG нет вообще ничего близкого, что связано с технологиями аналогового (оцифрованного аналогового) телевидения и видео, кроме как представление цветов через YCbCr. Ведь речь идет о статических изображениях и об обработке их отдельных блоков.

Тем не менее, в этом варианте мы уже можем говорить о возможности выводить видео уже по сжатым кадрам. В принципе, эта идея не заставила себя ждать и реализовалась в стандарте Motion JPEG (MJPEG), а также во множестве вариантов для конференц-связи.

MPEG

MPEG - это не просто группа экспертов кодирования видеоизображения Moving Picture Coding Experts Group. Само название является, как бы это сказать, упрощенным, ведь подразделение, о котором идет речь, скрывается под другой аббревиатурой - ISO/IEC JTC1 SC29 WG11 (если читать с конца, то это одиннадцатая рабочая группа (WG11) двадцать девятого подкомитета (SC29) Объединенного технического комитета №1 (JTC1), созданного Международной организацией стандартизации (ISO) и Международной электротехнической комиссией (IEC)).

Данное подразделение было создано в 1988 году, и основной его целью являлась разработка новых информационных стандартов. Изначально оно было маленьким и включало около 25 человек, но потом разрослось до мировых масштабов. Буквально через четыре года после своего основания группа опубликовала, а на следующий год и утвердила стандарт ISO/IEC 11172 - Information Technology - Coding of Moving Pictures and Associated Audio for Digital Storage media at up to about 1,5 Mbit/s (Кодирование изображения и звука при скоростях цифрового потока компрессированных данных до 1,5 Мбит/с).

Он получил название в дальнейшем как MPEG-1, потому как ISO/IEC 11172 звучит так же, как и ISO/IEC JTC1 SC29 WG11:).

MPEG-1

MPEG-1 по структурному принципу очень схож с JPEG и даже основывается на этом стандарте, но с одной лишь разницей: используется множество специфических надстроек. То есть, например, для реализации короткого видеофрагмента нам может понадобиться только один полноценный кадр, сжатый в JPEG, а все остальное можно достраивать, регистрируя только небольшие изменения относительно исходного. Чтобы это понять, откройте любой видеоредактор и посмотрите: насколько сильно отличается конкретно взятый кадр от предыдущего и последующего? Различий мало.

Причем делать сравнение, опираясь на JPEG как исходный формат, можно и по тем же макроблокам 16х16, учитывая возможность поиска схожих (если речь идет о смещении) и так далее. То есть можно брать только исходный кадр, а потом в нем изменять лишь некоторые элементы, что очень удобно.

Поэтому разработчики стандарта поступили весьма хитрым образом, разбив всю структуру на чередующиеся кадры трех типов:

Таким образом, суммарная последовательность, именуемая GOP (Group of Pictures - группа изображений), имеет только один I-кадр и описывается общим числом кадров в группе и интервалом между P-кадрами. Например, для VideoCD применима схема 15/3, что подразумевает последовательность: IBBPBBPBBPBBPBB.

Теперь сравним: согласно Motion JPEG, на реализацию такого же понадобились бы все пятнадцать I-кадров (15 полноценных JPEG-файлов), а в MPEG-1 получаем примерно то же, но требующее в четыре раза меньшего объема.

Отличие MPEG-1 от Motion JPEG состоит и в том, что в MPEG-1 предусмотрено и сжатие звукового потока, что подразумевало отдельные технологии, получившие названия Layer I, Layer II и Layer III (известный MP3), наиболее популярные из которых основаны на психоакустическом принципе удаления ненужных элементов. Об этом много написано, так что тут останавливаться не будем. Отметим лишь одно: звук при кодировании в Layer I, Layer II и Layer III преобразуется в кадры, являющиеся, по сути, сжатыми мгновенными спектрами сигнала.

В общем и целом, хотя на то время уже разрабатывалось множество других цифровых видеостандартов, MPEG-1 был поддержан множеством организаций, включая некоторых вещателей, производителей техники и оборудования. Многие приписывают успех всего этого предприятия руководителю подразделения Леонардо Черильоне, который является не только хорошим инженером, но и отличным политиком. И, действительно, очень многое зависело от поведения на рынке, ведь была реальная конкуренция. Чарильоне сделал ставку на два кажущихся разносторонними направления:

Похоже на банальность, но... работает. Как это выглядит на деле, вы можете увидеть, хотя бы посмотрев на распространение MP3 стандарта в музыке :). Альянсы - есть, независимый стандарт - присутствует. Кстати, MP3 победил даже Microsoft'овский wma на их же поле :).

Что касается самого MPEG-1, он не был панацеей в глобальном смысле, имел достаточно узкие ограничения по качеству, потому как изначально разрабатывался для обеспечения уровня VHS, с точки зрения видео не совсем подходил для вещания.

Посему разработчики направили свои усилия на разработку нового стандарта... Основная группа вокруг ISO/IEC 13818 (а это и есть MPEG-2) была сформирована в 1992-93 гг. О нем и поговорим в следующем материале.

Кристофер,
christopher@tut.by