В мире трехмерного панорамного видео
Области применения панорамного видео
Существует немало способов отображения окружающей действительности, в числе которых фотография и видео, позволяющие запечатлеть любые реальные события. Но у них есть один существенный недостаток — отсутствие возможности управления информацией, то есть зритель может увидеть только то, что ему показывают.
Панорамное фото и панорамное видео отличаются тем, что, просматривая их, зритель сам определяет, что и в каком ракурсе он хочет увидеть. Он может путешествовать по панорамному изображению вверх, вниз, вправо или влево, может оглядеться по сторонам, изменить точку обзора и выбрать объект, который стоит рассмотреть поподробнее. Таким образом достигается эффект погружения зрителя внутрь изображения — оно как бы натягивается на сферу, а зритель ощущает свое присутствие в центре этой сферы. Это позволяет зрителю стать как бы участником сцены: видеть не все изображение, а только ту его часть, которая его интересует, причем делать это наиболее близким к реальности образом. Стоит только захотеть, и можно увидеть то, что расположено слева или справа, окинуть взглядом всю картину сверху, приблизить или удалить изображение и т.п. (рис. 1).
Рис. 1. Кадр из панорамного видеофильма — сиреневым цветом
выделена область, видимая зрителю в данный момент
Основное достоинство виртуальных фото- и видеопанорам заключается в том, что они позволяют практически в натуральном виде ознакомить зрителя с окружающей обстановкой, начиная с обычного загородного дома и заканчивая наблюдением за стратегическим объектом государственного значения.
Для знакомства с объектами, где для получения необходимого представления достаточно нескольких статичных фрагментов, например для знакомства с планировкой дома или квартиры, с внутренним видом автомобиля, с различными вариантами оформления интерьера и т.п., обычно используют фотопанорамы. Такой выбор объясняется просто: создавать фотопанорамы гораздо проще, для их получения не требуется дорогостоящего оборудования, а соответствующие им файлы получаются небольшими по объему, что важно при размещении фотопанорам в Интернете на страницах Web-сайтов и для передачи по сети.
Иное дело — объекты, за которыми необходимо наблюдение; здесь важна не только общая информация об объекте, но и зачастую фиксация малейших изменений обстановки, что имеет место при наблюдении за определенными событиями, природными явлениями или за работой механизмов. В таких случаях незаменимыми оказываются видеопанорамы, которые, в отличие от фотопанорам, позволяют, как на обычном видео, увидеть движение, а панорамный принцип представления информации обеспечивает возможность не просто наблюдать, а наблюдать интерактивно: перемещаясь по видеоизображению в нужном направлении, рассматривая объекты в интересующих ракурсах, приближая их или отдаляя, и пр. Путешествуя таким образом, например, по подводному музею, можно не только увидеть, как стайками перемещаются рыбы, как краб спешит по своим делам, а водоросли слегка колышатся, но и рассмотреть отдельных представителей подводного царства с разных сторон, — скажем, заглянуть за водоросли или переместиться в направлении движения краба и попытаться понять, что же так привлекло его внимание.
Области применения панорамного видео
В числе первых, кто заинтересовался технологией панорамного видео, была AtomFilms (http://www.atomfilms.com/) — передовая компания в области развлечений нового поколения, специализирующаяся на создании короткометражных фильмов, мультфильмов и цифровых произведений. Одно из направлений ее работы сегодня — создание фильмов с эффектом присутствия для Web, многие из которых могут быть загружены с сайта компании. Первым творением AtomFilms стал панорамный фильм «Новое прибытие» (“The New Arrival”), представленный на Каннском кинофестивале в 2000 году. Подобные кинокартины создаются с помощью видеотехнологии компании Be Here (http://www.behere.com), обеспечивающей круговой обзор каждого кадра.
Очень быстро на технологию панорамного видео обратили внимание производители автомобилей, которые стали использовать ее для демонстрации интерьеров своих новых моделей. Специализирующаяся на технологиях виртуальной реальности компания Ferris Productions пошла еще дальше, разработав интересный способ демонстрации новой продукции для автомобильной индустрии — виртуальную пробную поездку (Virtual Test-drive), круговой обзор в которой обеспечивается благодаря панорамному видео. Такая виртуальная поездка создает у потенциального клиента полную иллюзию поездки реальной — это помогает ему лучше оценить достоинства автомобиля.
Примерно в то же время системы панорамного видеонаблюдения компании Be Here стали устанавливать на гоночные автомобили серии «Формула-1» для обеспечения контроля положения автомобиля в любой момент времени относительно трассы. Позднее разнообразные системы панорамного видеонаблюдения стали широко применяться на бронетанковой технике (рис. 2), на подводных лодках — для контроля наведения, в автономных буях — для видеонаблюдения, в самолетах — для контроля состояния поверхности крыльев самолетов, на спутниках и в роботах — для контроля работы механизмов, в помещениях с агрессивной средой (например, радиоактивной) — для контроля обстановки и т.п. В этих областях нашли применение видеосистемы от разных разработчиков: например, для военных нужд США широко применяется система OmniTrack360 от американской компании Remotereality (http://www.remotereality.com/), которая позволяет вести удаленный контроль за разнообразными военными объектами.
Рис. 2. Система видеонаблюдения, смонтированная
на базе модернизированного бронетранспортера
Не меньшее значение имеют установка систем панорамного видеонаблюдения на оживленных автомагистралях (рис. 3) и в портах, организация наблюдения за линиями электропередач, нефте- и газопроводами, проведение географических, сейсмологических и геологических наблюдений и т.п. Здесь в числе прочих широкое признание получила видеотехнология от компании ImmersiveMedia (http://immersivemedia.com/).
Рис. 3. Видеонаблюдение на автомагистрали
Однако наибольшее распространение технология панорамного видео получила в охранных панорамных системах, задача которых — обеспечение обзорного видеонаблюдения за безопасностью военных (рис. 4 и 5), промышленных, административных и других объектов. Зачастую возможности таких систем не ограничены наблюдением и записью панорамного видео, а позволяют заранее запрограммировать реакцию системы при возникновении тревожных событий. В данной сфере известность получили системы панорамного видео от компаний Spherical Panorama, Inc. (http://sp.zdt.ru/), Remotereality (http://www.remotereality.com/), EGG Solution Inc. (http://360solutions.be/) и др.
Рис. 4. Наблюдение за военным полигоном
Рис. 5. Наблюдение за встречей парламентеров в зоне военных действий
Интересные разработки в плане использования панорамного видео имеются у лаборатории FX Palo Alto Laboratory (http://www.fxpal.com/), среди которых наибольшее внимание привлекает применение данной технологии при организации видеоконференц-связи и для создания интерактивных карт. В первом случае речь идет не только об обычной практике видеоконференций, но и о широком их использовании в дистанционном обучении, когда при проведении тестирования преподаватель может напрямую общаться со студентами, наблюдать за их мимикой и жестикуляцией, что позволяет ему лучше оценивать ситуацию. В отношении карт разработчики значительно расширили понятие интерактивности. Как правило, под термином «интерактивная карта» понимают доступные в Интернете карты, которые дают возможность рассмотреть какой-то фрагмент местности более подробно, выдают по запросу краткую справку о выбранной точке, снабжены возможностью поиска и т.п., но все равно остаются всего лишь картами. Интерактивные панорамные видеокарты позволяют не только найти объект на карте и рассмотреть близлежащий фрагмент местности более подробно (рис. 6), но и увидеть все это в реальности, благодаря тому что с определенными точками интерактивной карты связаны конкретные видеопанорамы. Стоит признать, что создание таких карт — занятие очень трудоемкое, и в первую очередь для оператора, поскольку необходимо создать видеопанорамы всех маршрутов карты. Для решения этой проблемы разработчиками была создана технология снятия панорам оператором, едущим в автомобиле (рис. 7).
Рис. 6. Изучение местности на интерактивной панорамной карте
Рис. 7. Процесс съемки видеопанорамы
Кроме того, панорамное видео используется в чисто развлекательных или в познавательных целях. Например, Национальная футбольная лига США показывала видеопанорамы своих стадионов и матчей с уровня футбольного поля. Захватывающие панорамные видеофильмы иногда демонстрируются в музеях, где помогают посетителям более ярко представить себе те или иные туристические маршруты и архитектурные сооружения. В этом смысле известен, например, швейцарский музей транспорта, где выставлены поезда, самолеты и автомобили и в завершение экскурсии посетителям предлагают посмотреть 20-минутный панорамный фильм, в ходе которого они совершают путешествие по Швейцарии и у них создается полная иллюзия, что они передвигаются на самолете, теплоходе, автомобиле и пешком. Возможно применение видеопанорам и в шоу-бизнесе — в виде разнообразных видеопрезентаций для трансляции и записи различных мюзиклов, выступлений артистов и т.п.
Широкое применение ждет видеопанорамы, предназначенные для Web-камер. Такие интерактивные Web-камеры, которые позволят пользователю видеть ситуацию подобно очевидцу происходящего, могут оказаться полезными как для новостных сайтов, так и для организации удаленного наблюдения за объектом. Правда, стоит отметить, что данный вариант, в силу большого объема видеопанорам, возможен только после их конвертирования до размера, приемлемого для передачи по Сети, — каждый видеокадр преобразуется в изображение в формате JPG, сохраняется на удаленном сервере, на который с определенной периодичностью обращается клиентский обозреватель и скачивает изображение (рис. 8).
Рис. 8. Схема работы Web-камеры
Еще одним направлением применения видеопанорам может стать домашнее видео, что становится вполне реальным — учитывая всевозрастающие аппаратные возможности современных компьютеров в совокупности с возможностью выбора сравнительно недорогого технологического решения.
Создание панорамного видео
Как правило, под видеопанорамой понимают панорамный видеофильм, каждый кадр которого содержит панорамное видеоизображение. От обычного видеофильма панорамный видеофильм отличается форматом и гораздо большим размером видеокадра.
Не стоит путать видеопанорамы с виртуальными турами, поскольку последние создаются на основе фотопанорам, то есть панорамных фотографий. В то же время совсем не редки случаи, когда в рекламных целях отдельные компании (это прежде всего относится к туристическим фирмам и компаниям, работающим с недвижимостью) представляют на своих сайтах под видом видеопанорам обычные фотопанорамы.
Панорамные видеокадры могут быть сферического или цилиндрического формата, что зависит от применяемого для создания видеофильма оборудования. Каждый кадр в сферическом формате представляет собой панораму, охватывающую поле зрения в 360° по горизонтали и в 180° (вплоть до полной сферы) по вертикали (рис. 9). Кадр цилиндрического формата отличается от сферического ограничением верхних и нижних углов обзора, так как лежащая в основе его панорама охватывает поле зрения в 360° по горизонтали и от 105 до 115° по вертикали, в зависимости от оборудования (рис. 10).
Рис. 9. Сферический кадр
Рис. 10. Цилиндрический кадр
Однозначно определить, какой из вариантов панорамного видео (сферический или цилиндрический) лучше — нелегко. У обоих вариантов есть как свои плюсы, так и минусы. Основным плюсом сферического видео является отсутствие ограничений в плане обзора, зато цилиндрическое видео меньше по объему, менее требовательно к аппаратным ресурсам при просмотре, а необходимое для его создания оборудование гораздо дешевле (табл. 1).
Таблица 1. Сравнение сферического и цилиндрического видеокадров
Оборудование и технология создания видеопанорам
Как было отмечено выше, существует два формата видеопанорам: сферический и цилиндрический, причем формат зависит от оборудования. Вариантов конфигураций оборудования может быть огромное множество, но в целом для создания сферического видеоизображения применяется мультикамерное оборудование с числом камер от 2 до 12. Каждая из камер захватывает собственный сектор (рис. 11), что и позволяет создать необходимое перекрытие швов, обеспечивая в итоге лучшее качество видеоизображения. Результатом видеосъемки является получение нескольких перекрывающих друг друга изображений, которые затем автоматически сшиваются, создавая сферический панорамный видеокадр в стандартном прямоугольном виде.
Рис. 11. Серия изображений, полученных каждой из трех камер
Для создания цилиндрического видеоизображения может быть использована обычная цифровая видеокамера, отличающаяся высоким разрешением и дополненная специальным оборудованием — конвертором (рис. 12). Дело в том, что камера сама по себе не способна сформировать панорамный кадр, однако это становится возможным, если подаваемое на нее изображение будет предварительно трансформировано в тороидальное, по форме напоминающее спасательный круг или пончик (рис. 13), за что и отвечает конвертор. После этого изображение преобразуется в стандартный прямоугольный формат, превращаясь в цилиндрический панорамный видеокадр.
Рис. 12. Конвертор компании Spherical Panorama, Inc. (используется
в охранных
видеосистемах)
Параллельно с формированием панорамного видеокадра монтируется звуковой поток необходимой конфигурации.
Независимо от формата панорамного видеокадра, весь панорамный видеопоток кадров, в каждом из которых находится панорамное изображение (сферического или цилиндрического формата), сжимается посредством видеокодеков — в результате получается непреобразованный панорамный AVI- или MPG-видеофильм (рис. 14). От выбора кодека компрессии зависят размер готового панорамного фильма и скорость подготовки кадров для их просмотра. Оптимальными видеокодеками компрессии для панорамных трехмерных фильмов являются MS MPEG42 и MS MPEG43; возможно использование DivX-кодеков для видео. После компрессии каждый кадр полученного AVI- или MPG-файла автоматически трансформируется (это обеспечивается при помощи встроенной программы-конвертора), а затем, как правило, на CD- или DVD-диск записывается готовый к просмотру панорамный видеофильм (рис. 15).
Просмотр видеопанорам
Для просмотра видеопанорам необходим клиентский обозреватель панорамного видео. На рынке имеется несколько таких обозревателей, реализованных либо в виде отдельных приложений, либо в виде плагинов для известных видеопроигрывателей, таких как Windows Media Player, QuickTime Player, RealPlayer и т.п. В подавляющем большинстве такие видеообозреватели поставляются только вместе с аппаратными системами панорамного видео, хотя есть и исключения, например обозреватель SP_VIDEO от компании Spherical Panorama, Inc. или плагин Plugin_360_RealPlayer для видеопроигрывателя RealPlayer от компании EGG Solution, Inc. (табл. 2). Стоит иметь в виду, что у конкретной компании может быть не одно панорамное видеорешение и что нередко для каждого из них предназначен свой обозреватель.
Таблица 2. Системы панорамного видео и соответствующие им обозреватели
При просмотре видеопанорам следует учитывать, что в сравнении с просмотром обычного видео к аппаратуре предъявляются более высокие требования. Дело в том, что загружается весь панорамный кадр, а не только его видимая часть — это примерно 15-20% от объема кадра, что и приводит к большим затратам ресурсов.
Панорамное видео на практике
Системы охраны и видеонаблюдения
Наиболее широкое применение видео получило в системах обзорного видеонаблюдения за безопасностью объектов — на практике используется множество разнообразных программно-аппаратных решений для систем охраны и наблюдения, среди которых немало и панорамных. Преимущество последних — в возможности перекрытия больших участков площади и контроля обстановки сразу на все 360°, что актуально на шоссейных магистралях, железнодорожных узлах, важных промышленных объектах и т.п.
Для примера рассмотрим программно-аппаратное решение от компании Spherical Panorama, представляющее собой систему внешнего наблюдения с одновременным панорамным охватом периметра на 360°. Достоинства данной системы — модульный принцип построения, который позволяет системе продолжать работу даже в случае выхода из строя одного из модулей, и некоторые особенности аппаратного решения, благодаря которым появляется возможность применения независимых программных разработок. Кроме того, особенности решения позволяют подключать панорамные видеомодули и клиентские компьютеры через локальную сеть или Интернет в зависимости от ситуации, что расширяет сферу применения видеосистемы.
Аппаратное решение
Видеосистема 360-градусного панорамного обзора разработана на базе независимой компоновки, в основе которой лежит использование микрокомпьютерных плат X-Board, ETX и т.п. Каждый независимый модуль видеосистемы включает следующие блоки:
- плата микрокомпьютера (например ETX-P3M или аналогичная), имеющая USB-, COM-, IDE-порты, Ethernet и пр. Объем перезаписываемой флэш-памяти для встроенной операционной системы составляет от 128 Мбайт;
- конвертор «параболическое зеркало»;
- любой видеосенсор с достаточной разрешающей способностью, который подключен к плате микрокомпьютера — обычно используют видеосенсоры на основе микропроцессорного набора серии «Блек-Фин»;
- накопитель на жестком диске (при необходимости).
Отдельный модуль, скомпонованный из перечисленных блоков, представляет собой независимый видеомикрокомпьютер, а несколько объединенных на основе локальных или глобальных сетей модулей образуют видеосистему наблюдения (рис. 16). Передача информации в видеосистеме осуществляется на основе TCP-протокола; возможно использование любого метода соединения через модем или Ethernet.
Принципы работы
Программа обработки видеосигнала получает с видеосенсора изображение, трансформирует его и в зависимости от варианта реализации формирует видеофильм в формате MPEG или последовательность JPEG-изображений.
Затем подготовленная в видеосистеме информация передается на предназначенный для этой цели сетевой ресурс, имеющий свой TCP-адрес. Возможна запись видеоинформации на дополнительный HDD.
Пользователь, имеющий соответствующие права, подключается к видеосистеме и получает возможность вести наблюдение. Технически это выглядит так: встроенная клиентская программа запрашивает данный TCP-адрес и получает доступ к готовому панорамному изображению, увидеть которое позволяет специальный обозреватель панорамного изображения, установленный на компьютере клиента. В качестве обозревателя применяется панорамный обозреватель сферических и круговых видеофильмов SP_VIDEO (рис. 17).
В итоге пользователь получает возможность вести видеонаблюдение в режиме реального времени. Однако зачастую этого бывает недостаточно — непрерывно наблюдать за объектом не только очень утомительно, но и практически нереально, так как панорамная видеосистема получает до 30 кадров в секунду. Поэтому довольно часто к видеосистеме дополнительно подключается модуль автоматического определения движения — тогда каждый панорамный кадр отрабатывается на движение. При обнаружении движения в тот период, когда его быть не должно (например, ночью), выполняется запрограммированный набор действий.
Программная реализация
Встраиваемая операционная система Windows 95/98/2000/XP-embeded может быть записана на специальную флэш-память этой платы или находиться на жестком диске (при его наличии). Программа обработки видеосигнала (конвертор панорамного изображения) в силу небольшого размера также записывается на внутреннюю флэш-память.
Домашнее видео
Как уже было отмечено, одним из преимуществ цилиндрического панорамного видео является сравнительно невысокая цена на необходимое для его создания оборудование. Поэтому в качестве первого варианта реализации идеи домашнего видео может быть выбрана система на основе формирования цилиндрического видеосигнала, состоящая из приемлемой по стоимости цифровой видеокамеры с высоким разрешением и конвертора (например, SurroundPhoto — http://www.vri.ca/ или «0-360» — http://www.0-360.com/).
Есть и иной путь — создавать панорамное видео на основе обычного видео, сделанного при помощи любой имеющейся видеокамеры со специальным ПО — программой Interactive Video 1.0. Правда, следует реально смотреть на вещи и не ждать, что из низкокачественного видео, сделанного дешевой видеокамерой, посредством Interactive Video удастся получить высококачественную видеопанораму — увы, чудес в этом мире не бывает: для хорошего результата нужна цифровая видеокамера с высоким разрешением.
Interactive Video 1.0
Разработчик: Imatronics
Сайт программы: http://www.imatronics.com/
Размер дистрибутива: 8,38 Мбайт
Способ распространения: shareware (30-дневная демонстрационная версия — http://www.imatronics.com/interactive_video/download/InteractiveVideoSetup.exe)
Цена: 250 долл.
Работа под управлением: Windows 95/98/Me/NT/2000/XP/2003 Server
Interactive Video предоставляет очень легкий и быстрый способ получения видеопанорамы из обычного видеофильма, причем без необходимости разбираться с дополнительными аппаратными устройствами. Программа отличается дружественным интерфейсом (рис. 18) и несложна в изучении.
Принцип работы программы основан на преобразовании изображения в тороидальный формат с дальнейшим его конвертированием в стандартное прямоугольное изображение с формированием цилиндрического видеокадра. Иными словами, программа заменяет необходимое в данном случае аппаратное устройство-конвертор. Созданную видеопанораму можно сохранить на CD/DVD-диске, причем программу можно настроить так, чтобы данная операция выполнялась в автоматическом режиме. Результат зависит как от качества исходного видеоматериала, так и от определяемых пользователем параметров компрессии: видеокодека и качества сжатия, а выбрать устраивающий вариант компрессии позволяет режим предварительного просмотра.
Входящий в поставку обозреватель OmniViewer предназначен для просмотра как обычного, так и созданного в среде Interactive Video панорамного видео. Возможны импорт и просмотр панорам, созданных в других системах, а также сохранение созданных в Interactive Video видеопанорам в форматах других разработчиков. Специальная функция Filter Sequence позволяет корректировать контрастность, яркость, насыщенность, резкость и другие параметры видеокадров.
SnapDV 1.1
Разработчик: Tiny Red Monkey Ltd
Сайт программы: http://www.snapdv.com/
Размер дистрибутива: 2,26 Мбайт
Способ распространения: shareware (демонстрационная версия, добавляющая водяной знак на фотопанораму, доступна по адресу: http://www.snapdv.com/download.php)
Цена: 94,99 евро
Работа под управлением: Windows 98/Me/2000/XP, DirectX 8.0 drivers
SnapDV — удобная и простая программа для получения фотопанорам из кадров обычного видеофильма (рис. 19), созданного стандартной цифровой домашней видеокамерой, хотя и необычным способом. Как правило, фотопанорамы создаются из нескольких специально подготовленных перекрывающихся фотографий специальными программами, которые сшивают снимки в единую панораму, удаляя неизменно возникающие искажения. Данная программа работает иначе и самостоятельно объединяет либо все, либо только указанные в определенном интервале кадры видеофильма в одну огромную 360-градусную фотопанораму.
Исходное видео может иметь формат AVI или MPG, а результат сохраняется в формате JPG, качество сжатия которого определяется пользователем. Результат зависит от качества исходного видео, причем последнее должно сниматься при строго вертикальном положении камеры (поэтому лучше воспользоваться треногой), а также от выбранной степени компрессии. Невыполнение условий съемки или неудачно выбранный режим сжатия может привести к получению зубчатой размытой фотопанорамы.