Как компьютерная фотография улучшает фотографии на смартфонах

Камера на iPhone 12 Pro Max.
Адриан / Shutterstock.com

Когда дело доходит до камер смартфонов, дело не только в аппаратном обеспечении. Современные смартфоны автоматически используют методы «вычислительной фотографии» для улучшения каждой фотографии, которую вы делаете.

Использование программного обеспечения для улучшения камеры вашего смартфона

Вычислительная фотография — это широкий термин, обозначающий множество различных техник. которые используют программное обеспечение для улучшения или расширения возможностей цифровой камеры. Важно отметить, что вычислительная фотография начинается с фотографии и заканчивается чем-то, что все еще выглядит как фотография (даже если ее никогда нельзя было сделать обычной камерой).

Как работает традиционная фотография

Прежде чем углубляться в подробности, давайте быстро разберемся, что происходит, когда вы делаете снимок на старую пленочную камеру. Что-то вроде SLR, которым вы (или ваши родители) пользовались еще в 80-х.

пленочная фотография изображение
Я снял это на пленочную камеру в 1989 году. Это почти не требует вычислений. Гарри Гиннесс

Когда вы нажимаете спусковую кнопку затвора, затвор открывается на долю секунды и позволяет свету попадать на пленку. Весь свет фокусируется физической линзой, которая определяет, как все будет выглядеть на фотографии. Чтобы приблизить далеких птиц, вы используете телеобъектив с большим фокусным расстоянием, а для широкоугольных снимков всего пейзажа вы выбираете что-то с гораздо меньшим фокусным расстоянием. Точно так же диафрагма объектива регулирует глубину резкости или то, какая часть изображения находится в фокусе. Когда свет попадает на пленку, он обнажает светочувствительные соединения, изменяя их химический состав. Изображение в основном вытравлено на пленку.

Все это означает, что физические свойства оборудования, которое вы используете, контролируют все, что касается изображения, которое вы делаете. После создания изображение не может быть обновлено или изменено.

Вычислительная фотография добавляет к процессу несколько дополнительных шагов и, как таковая, работает только с цифровыми камерами. Цифровые датчики не только фиксируют оптически определяемую сцену, но и могут записывать дополнительные данные, например, какой был цвет и интенсивность света, падающего на датчик. Одновременно можно сделать несколько фотографий с разной степенью экспозиции, чтобы получить больше информации о сцене. Дополнительные датчики могут записывать, насколько далеко находились объект и фон. И компьютер может использовать всю эту дополнительную информацию, чтобы что-то сделать с изображением.

В то время как некоторые зеркальные и беззеркальные камеры имеют встроенные базовые функции вычислительной фотографии, настоящие звезды шоу — смартфоны. Google и Apple, в частности, использовали программное обеспечение для расширения возможностей небольших камер с физическими ограничениями в своих устройствах. Например, взгляните на функцию камеры Deep Fusion в iPhone.

На что способна компьютерная фотография?

До сих пор мы говорили о возможностях и общих чертах. А теперь давайте рассмотрим несколько конкретных примеров того, что позволяет делать компьютерная фотография.

Модный портрет

пример портретного режима
Этот снимок в портретном режиме очень похож на снимок, сделанный на цифровую зеркальную камеру с широкоугольным объективом. Есть некоторые подсказки, что это не переходы между мной и фоном, но это очень впечатляет. Гарри Гиннесс

Портретный режим — один из самых больших успехов компьютерной фотографии. Маленькие линзы в камерах смартфонов физически не могут снимать классические портреты с размытым фоном. Однако, используя датчик глубины (или алгоритмы машинного обучения), они могут идентифицировать объект и фон вашего изображения и выборочно размывать фон, давая вам нечто, очень похожее на классический портрет.

Это прекрасный пример того, как вычислительная фотография начинается с фотографии и заканчивается чем-то, что выглядит как фотография, но с помощью программного обеспечения создает то, чего не может физическая камера.

Делайте лучшие фотографии в темноте

пример астрофотографии Google
Google запечатлел это на телефоне Pixel. Это просто смешно. Большинство зеркалок не делают так хорошо ночные фотографии. Google

Фотографировать в темноте с помощью традиционной цифровой камеры сложно; света просто не так много, так что приходится идти на компромиссы. Смартфоны, однако, лучше справляются с компьютерной фотографией.

Делая несколько фотографий с разным уровнем экспозиции и смешивая их вместе, смартфоны могут выделить больше деталей из теней и получить лучший конечный результат, чем можно было бы получить на любом отдельном изображении, особенно с крошечными сенсорами в смартфонах.

Эта техника, называемая Google Night Sight, Apple Night Mode и что-то подобное от других производителей, не лишена компромиссов. Съемка мультиэкспозиции может занять несколько секунд. Для достижения наилучших результатов вы должны устойчиво держать смартфон между ними, но он позволяет делать фотографии в темноте.

Лучше экспонируйте фотографии в сложных условиях освещения

пример смарт-HDR снят на iphone
Для этого снимка на моем iPhone был задействован Smart HDR. Вот почему все еще есть детали в тенях и светах. На самом деле это делает снимок здесь немного странным, но это хороший пример его возможностей. Гарри Гиннесс

Смешивание нескольких изображений не только улучшает качество фотографий, когда темно; он также может работать во многих других сложных ситуациях. HDR или фотография с расширенным динамическим диапазоном существует некоторое время и может выполняться вручную с изображениями DSLR, но теперь она используется по умолчанию и автоматически в последних iPhone и телефонах Google Pixel. (Apple называет это Smart HDR, а Google — HDR +.)

HDR, как бы его ни называли, работает путем комбинирования фотографий, в которых приоритет отдается светлым, с фотографиями, в которых приоритет отдается теням, а затем сглаживает любые несоответствия. Раньше HDR-изображения были перенасыщенными и почти мультяшными, но теперь процессы стали намного лучше. Они все еще могут выглядеть немного странно, но по большей части смартфоны отлично справляются с использованием HDR, чтобы преодолеть ограниченный динамический диапазон своих цифровых датчиков.

И многое другое

Это лишь некоторые из наиболее требовательных вычислительных функций, встроенных в современные смартфоны. Они могут предложить множество дополнительных функций, таких как вставка элементов дополненной реальности в ваши композиции, автоматическое редактирование фотографий для вас, создание изображений с длинной выдержкой, объединение нескольких кадров для улучшения глубины резкости конечной фотографии и даже предложение скромных режим панорамы, работа которого также зависит от программного обеспечения.

Вычислительная фотография: этого нельзя избежать

Обычно такой статьей мы заканчиваем, предлагая способы сделать компьютерные фотографии или рекомендуя поэкспериментировать с идеями самостоятельно. Однако, как должно быть довольно ясно из приведенных выше примеров, если у вас есть смартфон, вы не можете избежать компьютерной фотографии. Каждая фотография, которую вы делаете с помощью современного смартфона, автоматически проходит какой-то вычислительный процесс.

А методы компьютерной фотографии становятся все более распространенными. За последние полвека развитие аппаратного обеспечения камер замедлилось, поскольку производители достигли физических и практических ограничений и вынуждены их обходить. Улучшения программного обеспечения не имеют таких жестких ограничений. (У iPhone, например, были аналогичные 12-мегапиксельные камеры со времени iPhone 6. Дело не в том, что новые камеры не лучше, но скачок качества сенсора между iPhone 6 и iPhone 11 намного меньше. драматичнее, чем между iPhone 6 и iPhone 4.)

В ближайшие несколько лет камеры смартфонов будут продолжать становиться более функциональными, поскольку алгоритмы машинного обучения совершенствуются, а идеи переходят из исследовательских лабораторий в потребительские технологии.

Похожие записи

Добавить комментарий

Ваш адрес email не будет опубликован.