Handy: выбор камеры
Вступление
Группа работает над проектом Handy – манипулятором, который способен играть в настольный теннис. Позиционирование мячика будет происходить с помощью массива камер на частоте 100Hz. При этом камеры будут работать в условиях освещения помещения, захват изображения придется производить с низкой экспозицией, а на сцене будет маленький быстро движущийся объект. Сегодня мы расскажем, как выбирали наиболее подходящую камеру для наших задач и узнали много нового для себя!
CMOS сенсор
Мы рассматривали CMOS (Complementary Metal Oxide Semiconductor) фото матрицы, как самые распространенные и эффективные. Это светочувствительные матрицы, где каждый пиксель сенсора имеет фотодетектор (обычно фотодиод) и один или несколько активных транзисторов. В MOS сенсоре используются полевые транзисторы MOSFET (MOS field-effect transistors) в качестве усилителей. Технология позволяет делать компактные и энергоэффективные сенсоры с независимым доступом к произвольному пикселю.
Фотоны попадают на фотодиод, который преобразует свет в электрический заряд, который в свою очередь разряжает конденсатор. По величине оставшегося напряжения в конденсаторе можно понять, как много света попало на пиксель. Затем конденсатор снова заряжается (происходит сброс) и цикл повторяется вновь: уменьшение заряда, измерение, зарядка. Длительность такого цикла называется выдержкой кадра.
Проблема в том, что электроны могут вылетать из фотодиода не только из-за попавших в него фотонов, но и по причине теплового движения электронов. Появившийся таким образом электрон нельзя отличить от порожденного фотоном, поэтому он также уменьшает заряд конденсатора и дает некоторую погрешность в измерениях. Параметр Dark Noise показывает, насколько много таких электронов будет поймано при полном отсутствии света. Интересно, что для повышения точности измерений приборы можно охлаждать и таким образом минимизировать погрешность из-за теплового движения частиц.
Часто можно сравнивать сенсоры по отношению сигнала к шуму в децибелах — Signal-to-Noise Ratio:
Такое отношение показывает, насколько устройство подвержено помехам при передаче сигнала, а вместе с перечисленными выше параметрами завершает описание шума изображения. Это наиболее важные для нас параметры, так как съемка будет проводиться при короткой выдержке и комнатной освещенности, а это значит, что уменьшение шума будет одной из важнейших задач.
QE(%) — эффективность преобразования света в камере, также известная как квантовая эффективность, представляет собой меру способности сенсора преобразовывать поступающий на него свет в электрический сигнал, измеряется в процентах.
Еще один параметр — Saturation Capacity — измеряет максимальное количество света, которое может зарегистрировать пиксель до своего “насыщения”. Как уже было сказано, получение света на фотодиод разряжает конденсатор, изначальный заряд которого не бесконечен, поэтому есть предел, дальше которого количество полученных фотонов измерить не получится. Чем больше этот предел, тем более яркие объекты можно снимать без потери информации.
Sensitivity threshold (люкс/секунду) — минимальное количество света, которое сенсор способен зафиксировать.
Saturation сapacity и sensitivity threshold вместе определяют dynamic range — способность достоверно снимать объекты разной яркости в одном кадре. Особенно значимым для проекта Handy стал sensitivity threshold, чтобы сенсор смог зафиксировать как можно больше информации даже при низкой экспозиции.
На иллюстрации ниже заметно, что прежний сенсор плохо показывает контрастность в темных участках, когда основная часть сцены хорошо освещена. Новый сенсор, напротив, сохраняет и контрастность, и яркость цветов. Это наглядная демонстрация влияния Dynamic Range на качество снимков.
Также необходимо различать виды затворов: global и rolling shutter. От этого зависит то, в какой очередности будут получены данные с пикселей сенсора: одномоментно при глобальном затворе или “по строкам” при скользящем. Наиболее явно различия между видами затворов можно заметить при съемке движущихся объектов, потому что за время получения одного кадра предмет успевает сместиться.
Итоги выбора камеры
В итоге был выбран именно IMX174 от Sony. Согласно независимым измерениям, этот сенсор предлагает QE на уровне 68% и отношение сигнала к шуму в 45 децибел. А наши эксперименты показали его тотальное преимущество.
| Sensor | Size | Pixel size | QE(%) | Dark Noise | Signal to Noise (dB) | Saturation Capacity | Dynamic Range | Sensitivity threshold | FPS |
|---|---|---|---|---|---|---|---|---|---|
| PYTHON 1300 | 6.4 × 4.8 mm | 4.8 μm | 61.4 | 9.45 | 39 | 7600 | 58 | 10.7 | 211 |
| SONY IMX174 | 13,33 × 10,67 мм | 5.86 μm | 68 | 6.2 | 45 | 31700 | 73 | 7.1 | 165 |
Объектив и его параметры
Не менее важную роль в качестве изображения играет объектив, именно он определяет сколько света попадет на сенсор, и как он будет сфокусирован. Вот важнейшие параметры, на которые стоит обратить внимание при выборе...
Фокусное расстояние (мм) — расстояние, на котором попадающие в линзу лучи фокусируются в одной точке. Чем оно меньше, тем более широкоугольным получится изображение. Поскольку наш проект подразумевает трекинг мяча, то мы остановили наш выбор на наименьшем фокусном расстоянии: 4 мм, что гарантирует нам угол обзора более 80 градусов.
Размер матрицы. Так как сенсор находится на фиксированном расстоянии от системы линз, то легко понять, какого размера будет проецироваться изображение на сенсор. Этим обусловлены требования к совместимости сенсора и объектива: сенсор должен быть не больше изображения объектива, а лучше — равен. В противном случае произойдет виньетирование изображения, так как некоторые лучи не смогут попасть на сенсор, этим и будут обусловлены радиальные темные зоны.
Размер диафрагмы объектива (светосила) измеряется в f-стопах, это отношениях фокусного расстояния к диаметру открытого отверстия, оно показывает, какая часть объектива открыта. Для нас было важно, чтобы оптика пропускала как можно больше света, поэтому мы выбирали объективы с как можно большей светосилой и остановились в итоге на максимальном размере диафрагмы в f/2.
Рассмотрев все совместимые с выбранной камерой оптики, мы остановились на объективе с фокусным расстоянием 4мм, диафрагмой f/2 и углами обзора 83 градуса по ширине и 67 градусов по высоте.
Стоит отметить, что этот объектив совместим с разными по размеру сенсорами: от 1/1.8” до 1/3”, разница будет заключаться в углах обзора, так как крайние лучи будут проходить через линзы, но не попадут на сенсор. Поэтому и произойдет обратный виньетированию эффект: кроп, то есть захват лишь центральной части изображения и краев кадра.
Итоги
Выбор камеры в итоге оказался сложной задачей. Сначала мы купили на пробу сенсор Python1300, но проведя ряд экспериментов, поняли, что камера не совсем нас устраивает. Это побудило нас провести более детальный анализ того, что есть на рынке. В итоге выбор пал на SONY IMX174, который мы закупили и также протестировали. Его качества оказалось уже достаточно, чтобы занять роль основного сенсора на проекте. Сейчас в нашем распоряжении есть две камеры, а это значит, что можно приступить к задаче калибровки стереопары, а затем начать эксперименты с позиционированием.
Подписывайтесь на наш канал Robot Tales и следите за нашей работой на YouTube канале, чтобы ничего не пропустить!