Программная стабилизация: новые идеи
Группе сотрудников Массачусетсского технологического института удалось создать принципиально новый алгоритм повышения четкости смазанных кадров, по своей эффективности значительно превосходящий используемые в настоящее время решения.
Работы по созданию программных средств для повышения четкости смазанных изображений после съемки ведутся уже довольно давно. Сейчас в арсенале пользователей графических редакторов имеется немало средств (как встроенных, так и поставляемых в виде подключаемых модулей — plug-ins), которые предназначены для повышения четкости смазанных снимков. Кроме того, подобные функции встроены в ряде моделей компактных цифровых фотокамер. Однако общим недостатком существующих решений является их низкая эффективность: в большинстве случаев полученный результат лишь с большой натяжкой можно назвать удовлетворительным. Во всяком случае, оптические системы стабилизации изображений, которые в последнее время получают все более широкое распространение в компактных цифровых фотоаппаратах, справляются с этой задачей намного лучше.
Нельзя не обратить внимание и на то, что эффективность работы многих программных средств повышения четкости напрямую зависит от траектории перемещения корпуса камеры в процессе экспонирования кадра. Например, в графическом редакторе Adobe Photoshop CS2 имеется фильтр Smart Sharpen, который позволяет повысить четкость смазанных снимков в том случае, когда камера перемещалась по прямой. Однако если траектория движения была более сложной, то эффективность работы этого фильтра значительно снижается.
Схема работы алгоритма, предложенного группой Роба Фергюса. На смазанном изображении выделяется небольшой фрагмент, путем обработки которого воссоздается траектория перемещения камеры. На основании этой информации выполняется восстановление четкости снимка (внизу)
Впрочем, разработчики не оставляют попыток найти «философский камень», который позволил бы кардинально улучшить качество работы программных средств для эффективной коррекции смазанных снимков. На проходившей в начале августа конференции SIGGRAPH 2006 группа сотрудников лаборатории компьютерной техники и искусственного интеллекта Массачусетсского технологического института (Massachusetts Institute of Technology, MIT), возглавляемая Робом Фергюсом (Rob Fergus), представила результаты своей работы по созданию принципиально нового алгоритма повышения четкости смазанных снимков.
Коррекция изображения осуществляется в два этапа. На первом этапе воссоздается траектория перемещения камеры в процессе экспонирования снимка. В ходе проведенных исследований ученым удалось найти определенную закономерность, присутствующую в структуре градиентных переходов между светлыми и темными участками кадра на изображениях различных снимков реальных физических объектов. «Как оказалось, в нашем физическом мире существует определенная закономерность распределения светотеневых градиентов», — отметил Роб Фергюс в одном из своих интервью.
Согласно собранным учеными статистическим данным, практически на всех фотографиях, сделанных с нормальной фокусировкой, обнаруживается схожее соотношение количества высококонтрастных границ между яркими и темными точками, с одной стороны, и плавных переходов, составленных из пикселов со схожими тональными и цветовыми характеристиками, с другой. Что касается смазанных фотографий, то на них доля контрастных переходов по вполне понятной причине оказывается значительно меньшей.
Воссоздание траектории перемещения камеры в процессе съемки осуществляется в несколько приемов. Сначала производится обработка копии участка исходного изображения, представленного с очень низким разрешением. Затем процедура повторяется с использованием копий изображения, имеющих более высокое разрешение. Образ истинного (четкого) изображения определяется на основе информации о распределении высококонтрастных границ. Применение многоступенчатой обработки смазанного изображения позволяет восстанавливать даже очень сложные траектории движения камеры.
Результатом первого этапа обработки является монохромное изображение траектории движения камеры относительно фотографируемого объекта в процессе экспонирования кадра. Это изображение исследователи назвали ядром размытия (blur kernel).
Второй этап обработки — восстановление четкости изображения с использованием ядра размытия методом обращения свертки (deconvolution), который был разработан еще в начале 70-х годов прошлого века.
В ходе демонстрации своего изобретения на SIGGRAPH 2006 ученые провели восстановление смазанного снимка птицы. На исходном изображении лапы и перья птицы практически неразличимы. После обработки на снимке проявились лапы, значительно более четкими стали детали оперения и темная область вокруг глаза.
Пример восстановления смазанного снимка птицы. Слева — исходное изображение, справа — результат программной обработки
Конечно, продемонстрированное решение еще далеко от совершенства. Для того чтобы это интересное изобретение можно было использовать в прикладных целях, ученым предстоит решить еще немало проблем.
Во-первых, на данном этапе для обработки одной фотографии, сделанной цифровой камерой, требуется от 10 до 15 мин. Впрочем, по словам Роба Фергюса, на данном этапе важнее всего было проверить работоспособность предложенного метода, в то время как используемый алгоритм восстановления четкости в будущем можно будет значительно усовершенствовать, снизив требования к вычислительной мощности. Это в перспективе позволит реализовать его не только в виде программных модулей для графических редакторов, но и как встроенную функцию в цифровых фотоаппаратах.
Во-вторых, на восстановленном изображении имеются характерные артефакты. Хотя ученые уверены в том, что им по силам решить эту проблему, поиск эффективных методов может занять немало времени. По словам одного из руководителей Adobe, специалисты компании на протяжении уже четырех лет ищут решение схожей проблемы, однако создать универсальный алгоритм им пока не удалось.
В-третьих, процесс обработки пока не является полностью автоматическим: для выбора области исходного изображения, по которой будет вычислено ядро смещения, необходимо вмешательство пользователя. На этом участке должны присутствовать контуры каких-либо объектов. Кроме того, при выборе слишком маленького участка используемый метод не позволяет получить удовлетворительных результатов, а обработка большой области требует значительных затрат времени.
Еще один пример восстановления смазанного снимка. Слева — исходное изображение,
справа — результат обработки
Разработчики также отмечают, что эффективность описанного метода заметно снижается при высоком уровне цифрового шума (это, к сожалению, является типичным недостатком недорогих аппаратов), а также при наличии на снимке недоэкспонированных и переэкспонированных участков. По словам Роба Фергюса, наилучшие результаты позволяет получить обработка цифровых снимков, сохраненных в формате RAW.
Авторы нового метода повышения четкости смазанных снимков уже подали заявку на получения патента на данное изобретение. Впрочем, Роб Фергюс предупреждает, что дебют этой технологии в коммерческих продуктах состоится еще не скоро, и даже по самым оптимистичным прогнозам до потребителей она дойдет лишь через несколько лет.
В статье использованы материалы пресс-релиза «SIGGRAPH 2006 in Boston: New Technology Corrects Blurry Photographs» и фотографии Роба Фергюса.
 |
|
