Фотон фото: Модельный ряд Foton 2021 — вся линейка автомобилей Фотон на официальном сайте

НОВОСТИ ПАРТНЕРОВ

Фотон против фото — в чем разница?

Существительное ( en имя существительное ) (частица) Квант света и другой электромагнитной энергии, рассматриваемый как дискретная частица, имеющая нулевую массу покоя, отсутствие электрического заряда и неопределенно долгое время жизни. Это калибровочный бозон. * {{quote-magazine, год = 2013, месяц = ​​июль-август, автор = Фенелла Сондерс , title = Крошечные линзы видят большую картину , журнал = ( American Scientist ) , пассаж = Однократная оптика глаза млекопитающих дает некоторые очевидные визуальные преимущества.Такие линзы могут принимать фотонов и фотонов из широкого диапазона углов, увеличивая светочувствительность. У них также высокое пространственное разрешение, позволяющее детализировать входящие изображения.}} Производные термины * фотоника См. Также * фонон * плазмон —-

Английский Существительное ( en имя существительное ) Фотография. * {{quote-magazine, год = 2013, месяц = ​​июль-август, автор = Кэтрин Клэбби , magazine = ( Американский ученый ), title = В центре внимания , пассаж = Не так давно было сложно делать фотографии крошечных существ, каждая часть которых была бы в фокусе.Это потому, что линзы, которые превосходно увеличивают крошечные объекты, создают небольшую глубину резкости. Это изменило метод обработки фото , называемый наложением фокуса.}} Глагол (, глагол ) Сделать фотографию. * [1956] изд. 1992, Полные тексты песен Коула Портера [http://print.google.com/print?hl=en&id=5kjheskJwVAC&pg=PA465&lpg=PA465&sig=_CY8N5ZLStxnOIlf_CNHh10EP] Как весело быть сфотографировали вместе, / Какая удача для перерыва, так удачного. / Ой, что за жаворонок / Позировать в парке / Под юным полумесяцем луны. * 1998, Ханс Шмидт, Maverick Marine [http://print.google.com/print?hl=en&id=vQ7DKhq0ZckC&pg=PA192&lpg=PA192&sig=hrMAoHDI9vAnq4RQwgFro_ ] Он даже сфотографировал себя , помогал держать один из пожарных шлангов. * 2000, Салман Рушди, Земля под ее ногами [http: // print.google.com/print?hl=en&id=2nFEV20sE1AC&pg=PA219&lpg=PA219&sig=8MxWTUwSXHcfah6pEaAnVLYaiL4] Всегда фото выходит. Что все эти выходы, как не репетиции для себя? См. Также * Фото- * светочувствительный * фотосинтез, фотосинтез * фотогеничный * фотоэлемент * фотофиниш * возможность фото * снимок —-

Запутанные фотоны образуют парадокс

Квантовое изображение выделяет объекты светом, который не взаимодействует с ними.

У вас есть полный доступ к этой статье через ваше учреждение.

Карбордовый вырез кошки, изображенный фотонами, которые никогда не проходили через вырез. Предоставлено: Габриэла Баррето Лемос

Физики изобрели способ делать снимки, используя свет, который не взаимодействует с фотографируемым объектом.

Эта форма визуализации использует пары фотонов, близнецов, которые «запутаны» таким образом, что квантовое состояние одного неразрывно связано с другим. В то время как один фотон может пройти через объект фотографии и затем потеряться, другой фотон попадает в детектор, но, тем не менее, «знает» о жизни своего близнеца и может использоваться для создания изображения.

Обычно вы должны собирать частицы, которые исходят от объекта, чтобы отобразить его, говорит Антон Цайлингер, физик из Австрийской академии наук в Вене, который руководил работой.«Теперь, впервые, вам не нужно этого делать».

Одно из преимуществ метода состоит в том, что два фотона не обязательно должны иметь одинаковую энергию, говорит Цайлингер, а это означает, что свет, который касается объекта, может быть другого цвета, чем обнаруживаемый свет. Например, квантовый имидж-сканер может исследовать хрупкие биологические образцы, посылая через них фотоны низкой энергии, создавая изображение с помощью фотонов видимого диапазона и обычной камеры. Работа опубликована в номере Nature от 28 августа ¹ .

Подкаст о природе

Элизабет Гибни беседует с Габриэлой Баррето Лемос, ведущим исследователем в области квантовой визуализации.

Цайлингер и его коллеги основали эту технику на идее, впервые изложенной в 1991 году, согласно которой фотон может путешествовать двумя путями. Каждый из них содержит кристалл, который превращает частицу в пару запутанных фотонов ^2,3 . Но только один путь содержит объект, который нужно отобразить.

Согласно законам квантовой физики, если никто не определяет, какой путь прошел фотон, частица фактически прошла оба маршрута, и пара фотонов создается сразу на каждом пути, говорит Габриэла Баррето Лемос, физик из Австрийской академии. наук и соавтор последней статьи.

По первому пути один фотон в паре проходит через объект, который нужно отобразить, а другой — нет. Фотон, прошедший через объект, затем рекомбинируется со своим другим «возможным я», которое прошло по второму пути, а не через объект, и выбрасывается.Оставшийся фотон из второго пути также воссоединяется с самим собой из первого пути и направляется в камеру, где он используется для построения изображения, несмотря на то, что он никогда не взаимодействовал с объектом.

Исследователи изобразили вырез в виде кошки шириной в несколько миллиметров, а также другие формы, выгравированные на кремнии. Команда исследовала вырез кошки, используя длину волны света, которую, как они знали, не может обнаружить их камера. «Это важно, это доказательство того, что это работает», — говорит Цайлингер.

Кошка была выбрана в честь мысленного эксперимента, предложенного в 1935 году австрийским физиком Эрвином Шредингером, в котором гипотетический кот в коробке одновременно жив и мертв, до тех пор, пока никто не знает, есть ли яд в ней. коробка была выпущена. Точно так же Баррето Лемос говорит, что в последнем эксперименте, пока нечего сказать, по какому пути прошел фотон, один из фотонов в создаваемой впоследствии паре прошел и не прошел через объект.

Предыдущие эксперименты пытались сделать нечто подобное в процессе, известном как создание фантомных изображений. Но последний метод проще, говорит Мэри Жаквилин Ромеро, физик из Университета Глазго, Великобритания. При визуализации призраков, даже если с объектом взаимодействует только один фотон, для восстановления изображения необходимо собрать оба фотона, тогда как в работе Венской группы необходимо обнаружить только один фотон. Поскольку для создания изображения фантомного изображения нужны оба фотона, некоторые физики задаются вопросом, действительно ли эффект квантовый или его можно объяснить с помощью классической физики ⁴ — аргумент, который, по словам Цайлингера, было бы трудно сделать с помощью этого эксперимента.

Роберт Бойд, физик из Рочестерского университета в Нью-Йорке, говорит, что эксперимент настолько интригующий, что он хотел бы сначала подумать о нем. «Это величайший комплимент, который может сделать ученый», — говорит он.

Ссылки

1. 1

   Barreto Lemos, G. et al. Природа 512 , 409-412 (2014).

   ADS Статья Google Scholar

2. 2

   Zou, X.Y., Wang, L.J., Mandel, L. Phys. Rev. Lett. 67 , 318–321 (1991).

   ADS CAS Статья Google Scholar

3. 3

   Wang, L.J., Zou, X. Y. & Mandel, L. Phys. Ред. А 44 , 4614–4622 (1991).

   ADS CAS Статья Google Scholar

4. 4

   Shih, Y. Quantum Inf Process 11 995–1001 (2012)

   Артикул Google Scholar

Скачать ссылки

Об этой статье

Цитировать эту статью

Gibney, E.Запутанные фотоны создают картину из парадокса. Природа (2014). https://doi.org/10.1038/nature.2014.15781

Ссылка для скачивания

Поделиться этой статьей

Все, с кем вы поделитесь следующей ссылкой, смогут прочитать это содержание:

Извините, ссылка для совместного использования в настоящее время недоступно для этой статьи.

Предоставлено инициативой по обмену контентом Springer Nature SharedIt

Поведение фотонов и камеры

Что такое фотон? Вы можете свести себя с ума, пытаясь вообразить это. На самом деле никто не знает.

Фотоны

Не может быть понимания камер без понимания фотонов.
Современное представление о том, что может быть фотон, было развито Альбертом Эйнштейном в 1905-1917 годах. Название «фотон» происходит от греческого слова, обозначающего свет, и было придумано в 1926 году физиком-химиком Гилбертом Н. Льюисом ¹ , когда физики изо всех сил пытались справиться с этой скользкой рыбой. Фотон представляет собой электромагнитный «волновой пакет» и может вести себя как волна или частица в зависимости от эксперимента.Будет справедливо сказать, что никто по-настоящему не понимает фотоны, тем не менее, мы можем моделировать их поведение и использовать их так, как если бы мы это делали.

Для целей этого раздела фотон — это частица света. Фотоны — это дискретные частицы (т.е. у вас не может быть и половины фотона), и они являются воплощением энергии в электромагнитной форме. Их энергия точно квантована (благодаря квантовой теории), и эта энергия определяет цвет света. Высшие энергии — синие, нижние — красные, а зеленый — посередине.Световая энергия выходит за пределы видимого спектра, но нам не нужно здесь останавливаться.

• Фотоны видимого света очень малы: зеленый фотон имеет длину волны 555 нм. Если бы в пакете было 20 волн, он был бы примерно 1/100 миллиметра в поперечнике. Не то чтобы вы должны пытаться визуализировать их, они не следуют реальности, как мы ее знаем.
• Они движутся ОЧЕНЬ быстро: 300 000 км / с, максимальная скорость, возможная для физических объектов (законы физики распространяются быстрее).
• Они содержат ОЧЕНЬ небольшое количество энергии. Их энергия пропорциональна их частоте согласно формуле Планка. Зеленые фотоны имеют энергию 3,58 × 10 ^-19 Дж.
• Их много: это тоже хорошо, так как они несут так мало энергии. Квадратный метр верхних слоев атмосферы Земли получает около 1300 Вт ^{(см. Сноску 2} ) солнечного излучения, когда солнце находится прямо над ним (не все это достигает земли). Это 3,6х10 ²¹ фотонов в секунду!

Фотонный поток

Теперь давайте свяжем это с камерами и установим некоторые критерии в отношении потока фотонов для ряда реальных фотографических ситуаций, включающих различные шаги пикселей и условия освещения.

Максимальный поток фотонов на пиксель (выдержка 1/60 с)

	Звездный свет	Тропики Полная Луна	Гостиная Комната	Шторм Темный	Европейский Офис	Пасмурно на открытом воздухе	Яркий День Оттенок	Полный Солнце
Освещенность (люкс) см. Сноску 3	0,0001	1	50	100	500	1 000 900 30	15 000	80 000
Энергия излучения (Вт / м²)	2.0×10 -7	2,0х10 -3	0,10	0,20	1,0	2,0	30	160
Мощность на мкм² (Вт)	2,0х10 -19	2,0х10 -15	1. 0x10 -13	2,0х10 -13	1.0×10 -12	2,0х10 -12	3.0×10 -11	1,6х10 -10
Энергия на мкм² за 1/60 сек (Дж)	3,3х10 -21	3,3х10 -17	1,7х10 -15	3,3х10 -15	1,7х10 -14	3,3х10 -14	5.0×10 -13	2,7х10 -12
Фотонов на мкм² за 1/60 с	9.3х10 -3	93	4,700	9 300 900 30	47 000	93 000	1,4х10 6	7,4х10 6
Фотонов на пиксель — 70 мкм² Шаг пикселя	0,65	6 500	330 000	650 000	3.3х10 6	6.5×10 6	9,8х10 7	5,2х10 8
Фотонов на пиксель — 35 мкм² Шаг пикселя	0,33	3 300	160 000	330 000	1,6х10 6	3,3х10 6	4,9×10 7	2,6×10 8
Фотонов на пиксель — 8 мкм² шаг пикселя	0. 074	740	37 000	74 000	370 000	740 000	1,1х10 ​​ 7	6.0×10 7
Фотонов на пиксель — шаг пикселя 3 мкм²	0,028	280	14 000	28 000	140 000	280 000	4,2х10 6	2,2х10 7

Из этой таблицы мы видим, что да, полное солнце означает НАМНОГО больше фотонов, чем ночная гостиная, и да, датчик с шагом пикселя 70 мкм, используемый в Canon 5D mk1, получает намного больше фотонов, чем пиксели вашего типичного современный дерьмовый компакт с шагом 3 мкм (в 20 раз больше), вот и все, как и ожидалось.Но посмотрите на реальные цифры: SLR, снимающий в формате RAW, хранит 14 бит динамического диапазона, то есть 16000 различных уровней. Очевидно, что уровни должны увеличиваться как минимум с шагом в 1 фотон, поэтому вы можете подумать, что нам просто нужно 16 000 фотонов на пиксель в ярких точках, чтобы получить идеально чистое изображение. (Или мы бы сделали это, если бы человеческий глаз демонстрировал линейное восприятие. Подробнее об этом позже). Смеющийся! Даже в гостиной у нас гораздо больше, чем нам нужно. Что касается маленького компакта: в нем всего лишь 12-битный АЦП ⁴ , поэтому максимальный динамический диапазон составляет 4000 уровней.Снова смеюсь! Из него легко получается барная стойка для гостиной. «ФАНТАСТИКА!» ты говоришь. Все эти камеры сделают идеальные снимки прямо в вашей тусклой загородной гостиной. … Не так ли?

К сожалению, нет! Свет просто так не работает. Но помните об этих контрольных цифрах, они будут важны позже. А пока сделайте себе кофе и пристегнитесь, потому что то, что будет дальше, довольно сложно.

Распределение Пуассона

Как правило, фотоны, падающие на поверхность, прибывают случайным образом, как люди, звонящие в колл-центр.Хотя среднее число , приходящее в секунду, является постоянным, фактическое число в любую заданную секунду значительно варьируется. Эта форма поведения моделируется распределением Пуассона, и это большая проблема конструкции сенсора и налагает одно из критических ограничений на разрешение изображения и миниатюризацию камеры.

Коротко о распределении Пуассона

На этом графике показано квантовое поведение света при низкой интенсивности. Это имитация того, что видит один пиксель, когда он сфокусирован на белом объекте при слабом освещении.Среднее количество фотонов — это мера интенсивности света, это среднее (или ожидаемое) количество фотонов, падающих на пиксель при данной экспозиции.

График «Вероятность подсчета фотонов» использует распределение Пуассона, чтобы дать вероятность того, что пиксель получит количество фотонов для данного математического ожидания (среднего). Синие полосы — это вероятности, когда ожидается 1 фотон, бордовый — когда 2 и кремовый — когда 4. Обратите внимание, как распределение Пуассона приближается к стандартному распределению, когда ожидаемое количество попаданий достигает 4 и выше.

Пуассоновский шум

Чтобы получить точное изображение объекта, каждый пиксель должен иметь правильный цвет и интенсивность. Для этого в каждый фотосайт должно быть нанесено ожидаемых фотонов. Вот проблема: глядя на график, мы видим, что, когда ожидается всего 1 фотон, есть только 36% -ный шанс получить этот результат, есть равные шансы ничего не получить и почти равные шансы получить больше, чем 1. Если 0 фотонов соответствует черному цвету, 1 — серому, 2 — ½ тону, 3 — тону и 4 — белому, то ваше изображение, которое должно быть однородным ¼ серым, будет состоять из случайных точек, 36% черного, 36% тона, 18% ½ тона, 6% тона и 4% белого.Случайный беспорядок! Я значительно уменьшил динамический диапазон в этом примере, чтобы подчеркнуть суть. В реальном мире, в ваших тенях, пятнышек не будет максимальным, но они все равно будут выделяться. Также помните, что ваши пиксели не являются монохроматическими, они состоят из 4 отдельных фотосайтов (по 1 для красного и синего и 2 для зеленого), и каждый из них подвержен распределению Пуассона, поэтому вы получаете случайные цвета, а также случайную интенсивность. в твоих шумовых пятнах.

Наихудшие крапинки появляются, когда фактическое количество фотонов очень далеко от ожидаемого.Худший случай возникает, когда вы ожидаете только 1 фотон. По мере увеличения интенсивности света количество ожидаемых фотонов увеличивается, и хотя все еще есть вариации в том, сколько каждый фотосайт получает, вариация на относительно меньше на . К тому времени, когда вы дойдете до ожидаемых 4 фотонов на экспозицию, есть 90% шанс получить от 1 до 7 фотонов. Это звучит больше, чем в предыдущем примере, но относительно меньше, потому что вы расширили определение пикселей.Если 2-6 фотонов соответствуют тону серого и 0-2 фотона черному, то 6-10 соответствуют ½ тона, 10-14 тону и 14+ белому. Из графика вы можете видеть, что теперь у вас будет примерно 17% черного, 65% тона, 17% ½ тона, 1% тона и почти ничего белого. У вас все еще есть крапинки, но это большое улучшение.

Шум изображения с реальной камеры в нижнем, нижнем, среднем и среднем диапазонах. D60 ISO1600 4xMag.

Коэффициент Пуассона

Распределение Пуассона ведет себя во многом как гауссово (или нормальное) распределение, когда среднее значение превышает 20.Если мы разделим ожидаемое количество попаданий на ширину основной части колокола (то есть на удвоенное стандартное отклонение), то мы получим меру ожидаемого относительных вариаций яркости пикселей. Эта мера очень похожа на «Q Factor» инженеров-электронщиков. На самом деле так близко, что я применил этот термин здесь, хотя это не совсем то же самое.

Фактор Пуассона для больших отсчетов

На этом графике показано, как увеличивается коэффициент добротности по мере увеличения интенсивности света.Более высокое значение Q означает меньшее относительное изменение яркости пикселей и, следовательно, более точное изображение. Например, Q = 2 достигается при среднем потоке фотонов 20. Это означает, что 68% пикселей получат от 15 до 25 совпадений (одно стандартное отклонение с каждой стороны от среднего), 13,6% между 10 и 15, 13,6 % от 25 до 30 (с учетом следующих стандартных отклонений) и только 0,3% за пределами этого диапазона. У нас есть 99,7% уверенности, что когда мы ожидаем 20 фотонов, мы получим от 10 до 30.

Пуассоновское наложение

Проблема больших относительных вариаций при малом количестве фотонов быстро решается увеличением среднего потока фотонов, но, когда дело доходит до камер, возникает еще одна проблема — Poisson Aliasing .Псевдонимы — это когда одно значение интерпретируется как другое. В этом случае, когда часть изображения, которая должна иметь определенную интенсивность, записывается как что-то еще.

Это правда, что Poisson Noise (также известный как Shot Noise), описанные выше, и Poisson Aliasing , обсуждаемые здесь, на самом деле одно и то же, но то, как они проявляются в фотографических изображениях, и способы борьбы с ними совершенно разные, поэтому Я решил различать их. Для целей этой диссертации я буду называть экстремальное хаотическое поведение при очень низких счетах фотонов Poisson Noise , а более плавное и коварное поведение во всем остальном динамическом диапазоне — Poisson Aliasing . Это две стороны одной медали — распределения Пуассона.

Пуассоновское наложение

Из этого графика видно, как вероятности Пуассона от одного среднего сильно перекрывают соседние средние. Чтобы получить правильное изображение, датчик должен записывать средний уровень для данного пикселя, но датчик не знает, что это среднее, он знает только, сколько фотонов он получил. Как видно из графика, не существует единого среднего значения для любого заданного количества фотонов.Например, количество фотонов 18 может означать истинное среднее значение 16, 17, 18, 19, 20 и других. Вероятности того, что истинное среднее значение равно 16, 17, 18, 19, 20, довольно близки, поэтому мы действительно не можем ожидать, что изображение, полученное путем простого подсчета фотонов на пиксель, будет точным.

Единственный способ обойти эту проблему — сгруппировать счетчики фотонов в разделы, где разделение центрируется вокруг заданного среднего значения с границами, установленными на заданных доверительных пределах от среднего. Эти доверительные пределы обычно выражаются в стандартных отклонениях, так что, например, если границы установлены на уровне ± 1 SD, то у нас есть 68% уверенность в том, что если количество пикселей попадает в этот раздел, оно принадлежит центральному среднему.Более поздние графики показывают, как это работает.

Проблема на светлом конце

Давайте возьмем идеализированную камеру с динамическим диапазоном 16 бит на цвет и рассмотрим, что происходит, когда она делает снимок идеального объекта, который демонстрирует соответствующий динамический диапазон 16 бит. Горячие пиксели (те, которые записывают самые яркие части изображения) будут записывать в 2 ¹⁶ раз больше попаданий, чем холодные пиксели (те, которые записывают черный). Нам нужен достаточный коэффициент добротности, чтобы в большинстве случаев, когда мы ожидаем зарегистрировать наивысшее значение, мы не регистрировали второе по величине.

Если мы хотим, чтобы каждый пиксель был на 68% правильным, мы должны размещать границы пикселей с шагом в два раза больше SD. Если мы хотим, чтобы каждый пиксель был правильным на 99,7%, тогда они должны быть с 4-кратным приращением. Распределение Пуассона обладает уникальным свойством: его среднее значение равно квадрату его стандартного отклонения. Это приводит к тому, что для установки максимального количества пикселей мы должны умножить требуемый динамический диапазон на ширину раздела в SD и получить результат в квадрате .

Для 16-битного динамического диапазона и 4 SD ширины нам нужно 2 ³⁶ фотонов, попадающих в самый яркий пиксель.Это примерно 6,9х10 ¹⁰ фотонов! Что ж, ни одна камера в приведенном выше списке даже близко не улавливает такое количество фотонов на пиксель. Если мы забудем о «почти определенном» уровне дискриминации и просто будем стрелять без промедления, мы получим цифру 1,7х10 ¹⁰ фотонов, о которой все равно не может быть и речи. Это хорошая причина не использовать 16-битное разрешение. Система этого не примет.

Сегодняшние SLR требуют только 14-битного разрешения, но если мы разрешим разделение уровней на 2 SD, то можно ожидать (16,384 x 2) ² = 1. 1×10 ⁹ фотонов в горячих пикселях. Опять же, даже 35-миллиметровый датчик на полном солнце не даст вам этого. Следовательно, мы видим, что заявить о разрешении в 14 бит нереально, но из-за современной маркетинговой практики такое поведение стало стандартной практикой для всех производителей.

Обычно мы можем ожидать, что RAW обеспечит максимум 2 стопа с каждой стороны 8-битного JPG на канал. Это 12 бит, так что давайте посмотрим, что произойдет при таком разрешении.

12 бит на канал, разрешение по интенсивности

12 бит — это 4096 различных уровней.Если мы будем разделять уровни на 2 SD, мы можем ожидать (4096 x 2) ² = 6,7×10 ⁷ фотонов в горячих пикселях. Стандартная зеркальная фотокамера (датчик APS-C) улавливает такое количество фотонов на пиксель в яркой тени или качественная компактная камера на полном солнце. По крайней мере, там мы находимся в пределах видимости от бейсбольного стадиона. Стандартное отклонение на горячем конце составляет 8192 фотона, поэтому наши перегородки в этом случае будут вдвое больше, или 16 384 фотона в ширину. Это означает, что когда мы должны получать 6,7×10 ⁷ фотонов, мы можем иметь это значение до 8192 фотонов ниже или больше, и при этом классифицироваться как самый горячий уровень, то есть уровень 4096.

Я вставил эти параметры в электронную таблицу и построил следующие графики, чтобы проиллюстрировать эту точку зрения. (Между прочим, для этих вычислений распределения Пуассона с большим средним мне пришлось использовать распределение Гаусса. Не многие программы расчета будут выполнять 1 миллион факториала, это просто слишком много.)

Дискриминация линейного разделения в стандартных отклонениях для 12-битного динамического диапазона

Здесь мы видим, насколько хорошо каждый динамический уровень отличается от своих соседей.Обратите внимание, что, как и ожидалось, проблема в горячем конце, хотя в среднем диапазоне все еще наблюдается небольшой переход. Проблемный хотэнд разделен на квазииндивидуальные колокола для каждого динамического уровня, хотя колокола не полностью разделены, и 32% полученных фотонов все еще попадают на соседние уровни. Однако это довольно небольшой эффект, и я сомневаюсь, что его можно увидеть в реальном мире. Если бы максимальное количество фотонов было значительно уменьшено, мы бы увидели бы гораздо более мелкие колокольчики, перекрывающие друг друга гораздо сильнее на верхнем конце, и потеря дискриминации была бы заметна.

Это разумный результат, но он не будет работать в помещении с SLR, тем более с компактным. И это не соответствует поведению человеческого глаза. Пора переходить к следующему этапу нашего пути.

Если вы хотите проверить мои расчеты или поиграться с параметрами для себя, то «будь моим гостем»! Вот таблица.

Кстати. В этот момент вы можете спросить: «Что все эти разговоры о проблемах с ярким концом? Я знаю по своей камере, что большая часть шума находится в тени.«Что ж, да, когда вы посмотрите на готовое изображение, выглядит как , а выглядит как , чтобы противоречить этому анализу, но я уверяю вас, что это не так! Истинное объяснение этого эффекта довольно сложно, и я буду иметь дело с ним и дальше, когда я пройду больше.

Границы | Обработка данных двухфотонных изображений кальция в реальном времени, включая коррекцию артефактов бокового движения

Введение

Двухфотонная визуализация кальция широко используется для визуализации активности нейронов у бодрствующих животных.Нейроны насыщены кальций-чувствительным красителем или, что более часто, экспрессируются генетически кодируемым индикатором кальция, так что их флуоресцентный сигнал отражает пиковую активность нейронов. Однако нервная активность — не единственная причина изменения сигнала флуоресценции. Записанный фильм часто влечет за собой некоторые артефакты, такие как артефакты движения, вызванные движениями тела бодрствующих животных, и базовые изменения, часто наблюдаемые при непрерывной съемке. Чтобы лучше определить нервную активность по сигналу флуоресценции, очень важно исправить эти артефакты.Из артефактов движения можно исправить с помощью вычислений боковое движение. Таким образом, коррекция бокового движения стала решающим шагом в обработке изображений кальция от бодрствующих животных. После удаления артефакта движения определяются интересующие области (ROI) и вычисляется средняя интенсивность флуоресценции пикселей в каждой ROI. Отношение переходной флуоресценции кальция к предполагаемому исходному уровню рассчитывается, чтобы сделать вывод о пиковой активности клетки. Этот процесс определения соотношения также может сделать вывод менее чувствительным к постепенному смещению ROI, если он не исправлен с помощью коррекции бокового движения.В экспериментах с обратной связью в реальном времени все этапы обработки изображения должны выполняться для каждого кадра с минимальной задержкой, а параметры нельзя настраивать итеративно, оценивая результат. Если параметры зависят от условий визуализации, они должны быть настроены и установлены в начале эксперимента, а неудачный выбор правильных параметров приведет к аннулированию эксперимента. Следовательно, быстрый интегрированный конвейер для удаления этих артефактов с небольшим количеством параметров является предпосылкой для экспериментов с замкнутым циклом в реальном времени.

TurboReg (Thévenaz et al., 1998) широко используется для исправления артефактов бокового движения. Он использует подход пирамиды и сначала строит пирамиду изображений из серий уменьшенных изображений. Преобразование с конечным разрешением получается путем оптимизации с использованием преобразования, оцененного с уменьшенным изображением в качестве начального значения, и этот шаг повторяется рекурсивно несколько раз. Предостережение при уменьшении масштаба изображения заключается в том, что, когда изображение слишком сильно уменьшено, процесс может удалить мелкие пространственные особенности, важные для коррекции движения.

Двухфотонные микроскопы обычно используют возбуждающий свет для сканирования по образцу, и движение во время сканирования может не только сдвигать, но и искажать изображение, потому что каждый пиксель или линия сканируются в разное время. Сообщается, что несколько методов, основанных на скрытой марковской модели (Dombeck et al., 2007) и оптическом потоке (Greenberg and Kerr, 2009), исправляют искажения, возникающие в приложениях с низкой скоростью сканирования.

TurboReg может исправлять артефакты движения с преобразованием до четырех ориентиров, но может быть полезно выровнять более четырех ориентиров при отображении большего поля зрения.Недавно сообщалось, что NoRMCorre (Pnevmatikakis and Giovannucci, 2017) оценивает нежесткое преобразование для такого приложения. Этот метод разбивает поле изображения на перекрывающиеся участки, оценивает перемещение каждого участка и увеличивает дискретизацию дислокации, чтобы получить перемещение в каждом пикселе. Этот метод требует, чтобы каждый патч содержал достаточно пространственного сигнала, чтобы обеспечить покадровое выравнивание, и может быть неприменим, если маркировка разреженная или слабая. Если некоторые участки не содержат достаточно пространственных объектов, выравнивание участка может быть нестабильным и влияет на регистрацию соседних пикселей.Scanbox, программное обеспечение для обработки изображений на основе Matlab, включает функцию автоматической стабилизации путем выравнивания нескольких выбранных вручную подобластей в реальном времени (Ringach), но детали реализации и анализ производительности не публиковались.

Эти предыдущие методы коррекции движения, как правило, настолько медленные, что могут стать аналитическим узким местом. Таким образом, были предприняты усилия для повышения скорости коррекции движения. Например, moco — это алгоритм быстрой коррекции движения, основанный на дискретном преобразовании Фурье и повышающей дискретизации с учетом кеш-памяти, обеспечивающий более быструю коррекцию движения, чем TurboReg (Dubbs et al., 2016). Подобно TurboReg, moco минимизирует расстояние L2 между шаблоном изображения и скорректированным изображением, нормализованным по площади перекрытия, от всех возможных попиксельных сдвигов. Он был написан на Java как подключаемый модуль ImageJ и, как сообщается, имеет производительность, близкую к производительности в реальном времени при анализе post hoc . В то время как moco может только оценивать трансляцию изображений, нежесткое преобразование может не потребоваться при высокой скорости сканирования, которая стала более распространенной для резонансных сканеров, потому что она может сделать внутрикадровое искажение незначительным. Фактически, алгоритмы коррекции движения, основанные на перемещении, широко использовались в анализе post hoc , хотя это может быть проблематично при более высоком масштабировании, на которое могут повлиять небольшие смещения внутри кадра. В этом исследовании мы сосредоточились на жесткой коррекции перевода.

Регистрация на основе дискретного преобразования Фурье исправляет артефакты движения с точностью до пикселя. Когда каждая область интереса содержит только небольшое количество пикселей, регистрация субпикселей может потенциально повысить точность оценки кальциевого сигнала.Регистрация изображения с повышенной дискретизацией — это подход к достижению субпиксельной точности, но он увеличивает объем вычислений для регистрации. Был введен эффективный метод для расчета только коэффициентов корреляции с повышенной дискретизацией вокруг оптимального попиксельного сдвига (Guizar-Sicairos et al., 2008). Это можно сделать без полного вычисления обратного дискретного преобразования Фурье для изображений, подвергнутых повышающей дискретизации, что снижает требования к памяти и время вычислений. Однако сообщалось, что общая точность регистрации была ниже по сравнению с moco или TurboReg при применении к изображениям из двухфотонной кальциевой визуализации (Dubbs et al., 2016).

Обсуждаемые выше алгоритмы представляют собой алгоритмы регистрации на основе интенсивности. В качестве альтернативы для исправления артефактов движения можно использовать регистрацию на основе признаков (Aghayee et al., 2017). Это может быть полезно, когда особенности легко распознаются в каждом кадре, но может не работать, когда отношение сигнал / шум низкое. На момент исследования реализация была недоступна (пустой репозиторий, доступ 8.07.2018), и в этом исследовании мы сосредоточились на регистрации на основе интенсивности.

Недавние исследования начали использовать двухфотонную визуализацию кальция в экспериментах с обратной связью в реальном времени (Clancy et al., 2014; Hira et al., 2014; Prsa et al., 2017; Mitani et al., 2018). Они требуют быстрой обработки изображений в реальном времени, а коррекция бокового движения не реализована и игнорируется в большинстве этих исследований из-за технических трудностей. Однако визуализация бодрствующих животных обязательно включает артефакты движения, что привело ко многим исследованиям с post hoc анализом с использованием TurboReg и других алгоритмов регистрации изображений. Mitani et al. (2018) был первым, кто, насколько нам известно, сообщил об обработке изображений кальция в реальном времени с учетом коррекции бокового движения.В этом методе использовался метод восхождения на холм, чтобы уменьшить вычисление коэффициента корреляции между шаблоном и смещенными изображениями. Здесь мы сообщаем подробности и анализ производительности реализации коррекции быстрого движения, включая некоторые улучшения, внесенные нами с момента первоначального исследования. Помимо обработки изображений в реальном времени, этот метод также можно использовать для более быстрой обработки post hoc .

После коррекции движения обычно идентифицируются области интереса и вычисляется относительное изменение средней интенсивности флуоресценции всех пикселей в каждой области интереса на основе оценки базовой линии средней интенсивности флуоресценции. Для оценки исходного уровня широко используются метод процентилей и метод устойчивого среднего, но каждый из них имеет недостатки.

Percentile оценивает базовый уровень, беря определенный процентиль временного ряда интенсивности флуоресценции. При визуализации кальция кальциевый сигнал имеет тенденцию к симметричному шуму и редкой положительной активности. Следовательно, процентиль, представляющий истинный базовый уровень, зависит от уровня активности. При отсутствии активности базовый уровень должен быть медианным распределением, тогда как он соответствует более низкому процентилю с большей активностью.Кроме того, когда указанный процентиль не соответствует истинной базовой линии, величина ошибки зависит от уровня шума. При более высоком уровне шума оценка будет дальше от истинной базовой линии.

Другой популярный метод оценки исходных условий — это надежное среднее. Этот метод вычисляет среднее значение сигнала, исключая выбросы, которые, как предполагается, в основном связаны с активностью кальция. Выбросы обычно определяются как значения, отличающиеся от среднего больше, чем установленный порог, например, 2 стандартного отклонения. Предположение для этого метода состоит в том, что среднее значение близко к истинному базовому уровню, что не является случаем, когда уровень активности высок и может привести к плохой оценке исходного уровня.

Чтобы преодолеть эти проблемы общих методов, мы оценили базовый уровень, используя оценку плотности ядра. Оценка плотности ядра — это метод оценки плотности ядра из ограниченного числа выборок в предположении, что функция плотности ядра является гладкой. Плотность ядра — это распределение вероятностей, из которого создается каждый образец.После оценки пик плотности ядра приближается к центру базовой линии. Это только предполагает, что пики базового распределения находятся в центре с симметричным шумом, и пик выше, чем плотность ядра при значениях флуоресценции во время кальциевых событий. Получение пика плотности ядра непрерывного распределения сравнимо с взятием режима дискретного распределения. Поэтому мы предположили, что существует небольшая систематическая ошибка из-за повышенной активности и повышенного шума. Кроме того, этот метод не предполагает конкретного распределения шума и имеет меньше параметров, чем два других метода.Здесь мы рассмотрели три базовых алгоритма оценки.

Материалы и методы

Экспериментальные методы

Животные

Все процедуры соответствовали протоколам, утвержденным Комитетом по уходу и использованию животных UCSD, и руководящим принципам Национального института здоровья США. Всех животных помещали в одноразовые пластиковые клетки со стандартной подстилкой в ​​комнате с обратным световым циклом (12 ч / 12 ч). Обычно эксперименты проводились в темное время суток.Скрещивание между CaMK2a-tTA [JAX 003010] и tetO-GCaMP6s [JAX 024742] использовали для визуализации клеточного тела. Все животные имели фон C57bl / 6.

Хирургия

Хирургические процедуры были выполнены, как описано ранее (Mitani et al. , 2018). Взрослых мышей (самцы и самки старше 6 недель) анестезировали изофлураном и вводили подкожно байтрил (10 мг / кг), дексаметазон (2 мг / кг) и бупренорфин (0,1 мг / кг) для предотвращения инфекции, воспаления и дискомфорта. . К черепу приклеивали нестандартную головную пластину.Краниотомия (~ 3 мм) выполнялась над правой каудальной областью передней конечности (300 мкм спереди и 1500 мкм латеральнее от брегмы). Смесь AAV1.Syn.Flex.GCaMP6f (конечное разведение 1: 5000–10000) и AAV1.CMV.PI.Cre (конечное разведение 1: 2), разведенных в физиологическом растворе, вводили 20–30 нл в 3–5 участков (∼ Глубиной 250 мкм, ∼500 мкм друг от друга) для визуализации дендритов. Эксперименты проводились не менее чем через 7 дней после операции.

Изображения

Получение изображений проводили с помощью коммерческого двухфотонного микроскопа (Bscope, Thorlabs) с использованием объектива 16x (NIKON) с возбуждением на длине волны 925 нм (Ti-Sa лазер, Ньюпорт).Изображения были получены с помощью ScanImage 4 (Vidrio Technologies). Визуализацию проводили у бодрствующих животных. Изображения (512 × 512 пикселей) были получены при ∼28 Гц.

Вычислительные методы

Коррекция движения (общая)

Сначала шаблонное изображение было сгенерировано из 1000 кадров изображения, полученных до экспериментов. Используя метод сопоставления шаблонов OpenCV (поясняется позже), первые 500 изображений были выровнены по среднему значению последних 500 изображений, последние 500 изображений были выровнены по среднему значению из 500 исправленных изображений и среднему значению всех 1000 исправленных изображений. использовались в качестве шаблона.

Максимальный абсолютный сдвиг (м) в каждом направлении был установлен равным 1/4 ширины (w) и высоты (h) изображения. С каждого края изображения шаблона было обрезано m пикселей, чтобы занять центральную часть [(w-2m) × (h-2m) пикселей]. Чтобы исправить артефакт движения каждого изображения, цель состоит в том, чтобы найти место на изображении, которое лучше всего соответствует этой центральной части шаблона и максимизирует коэффициент корреляции, который используется в качестве метрики сходства (обзор в Zitová and Flusser, 2003).

Коррекция движения (метод восхождения на холм)

Вместо глобального максимума, локальный максимум может быть достигнут итеративно с помощью техники восхождения на холм (обсуждается у Лукаса и Канаде, 1981).Пусть (x, y) будет текущей позицией, где сдвиг максимизирует коэффициент корреляции среди всех сдвигов, протестированных до этой точки. Коэффициенты корреляции для сдвигов (x + 1, y), (x-1, y), (x, y + 1) и (x, y-1) вычисляются, и если есть какой-либо сдвиг, который увеличивает корреляцию коэффициент, текущая позиция обновляется на 1 пиксель, чтобы максимизировать коэффициент корреляции. Этот шаг повторяется до тех пор, пока текущее положение не достигнет локального максимума. Чтобы оценить вычислительную сложность, мы используем здесь большую нотацию O, чтобы указать, как требования ко времени выполнения растут по мере увеличения размера входных данных.Когда алгоритм требует времени O (n) для ввода размера n, это означает, что время вычислений линейно или меньше зависит от n. Предполагая, что путь несколько прямой, вышеупомянутый метод подъема на холм требует O (m) шагов для схождения, и каждый шаг занимает O (wh) времени. Следовательно, вычислительная сложность алгоритма в предположении составляет O (mwh).

Сложность может быть дополнительно уменьшена с помощью пирамидального подхода (Adelson et al., 1984). Выравнивание изображений, уменьшенных на 2, занимает 1/8 времени, и соответствующий сдвиг в исходном изображении должен дать хорошую оценку.Это может не дать точного максимума, но разница должна быть небольшой, если уменьшенные изображения имеют достаточно функций для коррекции движения. Использование этого сдвига в качестве начального сдвига ограничивает количество ожидаемых шагов до достижения конечной цели. При достаточно глубокой пирамиде изображений вычислительная сложность приближается к O (wh). Однако он требует, чтобы пространственные особенности для выравнивания были доступны на всех уменьшенных изображениях, а практически слишком глубокая пирамида делает алгоритм нестабильным (Dubbs et al. , 2016).

Коррекция движения (метод плотного поиска)

Чтобы достичь глобального максимума, необходимо вычислить коэффициенты корреляции для всех возможных сдвигов. В простейшей реализации вычислительные затраты на вычисление коэффициента корреляции пропорциональны количеству пикселей, которое составляет O (wh), и есть O (m ² ) сдвигов потенциала. Таким образом, вычислительная сложность наивного алгоритма составляет O (m ² wh). Это может быть слишком медленно для применения к изображению с исходным разрешением, но время быстро сокращается по мере дальнейшего уменьшения масштаба изображения, поскольку оно пропорционально квадрату количества пикселей (обратите внимание, что m пропорционально w и h) .Мы применили этот метод для оценки оптимального смещения для самого уменьшенного изображения пирамиды изображений в сочетании с методом подъема на холм в каждом масштабе, как описано выше.

Коррекция движения (метод сопоставления с шаблоном OpenCV)

Цель такая же, как и у метода восхождения на холм, но с помощью функции matchTemplate OpenCV она вычисляет коэффициент корреляции для каждого возможного сдвига, чтобы достичь глобального максимума. Функция внутренне использует дискретное преобразование Фурье.Теорема корреляции утверждает, что коэффициенты корреляции могут быть эффективно вычислены из преобразований Фурье изображений с использованием быстрого преобразования Фурье (Brown, 1992). Чтобы увеличить скорость вычислений, изображение может быть сначала уменьшено, а затем сдвиг может быть умножен на исходное разрешение, даже если это уменьшит разрешение коррекции движения, если не применяется регистрация субпикселей.

Коррекция движения (регистрация субпикселей)

Во многих экспериментах по визуализации кальция области интереса невелики (~ 10 пикселей в ширину), и регистрация субпикселей может повысить точность оценки активности кальция.Регистрация субпикселей выполнялась с помощью оптимизации (Thévenaz et al., 1998) или повышающей дискретизации (Guizar-Sicairos et al., 2008), но у каждого из них есть проблемы со скоростью или точностью (Dubbs et al., 2016). Здесь мы использовали подход параболической подгонки (Debella-Gilo and Kääb, 2011), который быстрее и больше подходит для приложений в реальном времени. Регистрация субпикселей была достигнута путем нахождения пика тепловой карты коэффициента корреляции с точностью до субпикселей с использованием параболической аппроксимации. В методе восхождения на холм он использует пользовательскую реализацию на C ++ с использованием 5 точек на тепловой карте (пик и соседние точки в 4 направлениях).По оси x или y коэффициент корреляции точки пика и двух соседних точек соответствует параболической кривой, а пик параболической кривой использовался в качестве субпиксельной оценки положения пика в этой оси. ось. В методе OpenCV использовалась такая же реализация алгоритма Уильяма Ардена (minMaxLocSubPix).

Измерение эффективности методов коррекции движения

Цель наших методов — максимизировать коэффициент корреляции между двумя изображениями с боковыми смещениями.Алгоритмы коррекции движения путем максимизации некоторой метрики сходства для боковых смещений широко используются, например, TurboReg (Thévenaz et al., 1998) и moco (Dubbs et al. , 2016), причем moco особенно близок к нашим методам (moco минимизирует расстояние L2 , а максимальное увеличение коэффициента корреляции эквивалентно минимизации расстояния L2 после нормализации).

Чтобы оценить точность алгоритмов, мы исследовали, как на коррекцию влияет добавление случайных сдвигов (до 16 пикселей для нейронного ансамблевого изображения и до 8 пикселей для отображения дендритов по осям x и y ) .Для каждого кадра мы повторно применяли случайные сдвиги перед коррекцией движения 100 раз, и мы исследовали чистый сдвиг, который является суммой начального случайного сдвига и оцененного сдвига. Если алгоритм может корректировать начальные случайные сдвиги вместе с артефактами движения, чистые трансляции должны быть согласованными для различных случайных сдвигов. Если они не согласованы, это означает, что алгоритму не удалось выровнять изображения. Здесь кадры с ошибками коррекции движения определяются следующим образом: среди 100 случайных сдвигов есть по крайней мере пять чистых перемещений, которые отличаются от медианы 100 чистых перемещений более чем на 10 пикселей. Это было применено к изображениям на рисунках 1, 3 с алгоритмами и параметрами, рассмотренными на рисунках. Тест хи-квадрат использовался для сравнения частоты кадров с ошибками коррекции движения между различными методами.

Рисунок 1. Сравнение скорости и стабильности с различными алгоритмами и параметрами для нейро-ансамблевой визуализации. Расчетные сдвиги (синий: ось Y , зеленый: ось X ) с различными алгоритмами и параметрами для визуализации тела клетки (512 × 512 пикселей, 1000 кадров).Плотный поиск был самым медленным даже на глубине 2, а меньшая глубина не учитывалась). Максимальный сдвиг для коррекции был установлен на 128 пикселей во всех условиях.

Кроме того, скорость алгоритма, примененного к фильму 512 × 512 × 1000, была измерена с использованием следующих конфигураций:

Оборудование: Intel Core i7 4790, 16 ГБ DDR3.

Программное обеспечение: Windows 10, Matlab R2014a, OpenCV 3.2.0, Visual Studio 2013.

Базовая оценка

Три метода оценки исходного уровня, метод процентилей, метод устойчивого среднего и метод оценки ядерной плотности были исследованы в двух последовательных окнах из 2000 кадров с явной активностью кальция и без нее.Мы использовали разницу оценок между двумя окнами как показатель чувствительности метода к уровням активности. Сначала кадры были разделены на 100 бинов по 20 последовательных кадров. Для уменьшения масштаба 20 кадров были усреднены. Для понижающей дискретизации был выбран первый кадр в каждом бине, и 19 кадров были исключены. Понижение масштаба уменьшает покадровый шум за счет усреднения, а понижающая дискретизация имитирует, когда сигнал имеет больше покадрового шума. Из этих 100 значений метод процентилей использует 20-й процентиль в качестве базовой оценки.Для метода надежного среднего надежное среднее вычислялось путем исключения кадров с абсолютным стандартным отклонением больше 2. Этот шаг повторялся до сходимости с использованием вновь оцененных надежного среднего и стандартного отклонения на каждом этапе. Метод оценки плотности ядра использует пик оценки ядра, вычисленный функцией ksde density в Matlab (R2014a). Вкратце, это делается путем свертки гауссова ядра ширины, оптимизированного для выборок. Диапазон оценок в четырех условиях (первое и второе окно, уменьшение масштаба и уменьшение частоты дискретизации) сравнивался с помощью трех методов.

В экспериментах в реальном времени каждые 20 кадров базовая линия каждой выбранной области интереса обновлялась следующим образом. Предыдущие 2000 кадров использовались для оценки исходного уровня. 2000 кадров сначала были разделены на 100 интервалов по 20 последовательных кадров, и была рассчитана средняя флуоресценция каждого интервала. Базовая линия была оценена как значение на пике оцененного распределения ядерной плотности из 100 средних значений. Скрипт для обработки интенсивности кальция в каждом кадре и оценки базового уровня доступен по адресу https: // github.com / amitani / baseline_kde.

Результаты

Коррекция движения

Время, затрачиваемое на коррекцию движения, должно быть коротким, особенно в приложении для анализа в реальном времени. Хотя прямое сравнение времени вычислений, о котором сообщалось ранее, затруднительно, отчасти из-за того, что детали конфигурации часто не сообщаются, NoRMCorre, как сообщалось, исправил фильм размером 512 × 512 × 2000 за 40 с (жесткое преобразование) и 117 с (нежесткое преобразование). ) (Пневматикакис, Джованнуччи, 2017).Сообщалось, что moco исправляет видео размером 512 × 512 × 2000 за 90 секунд, тогда как TurboReg (Thévenaz et al., 1998) занимает 170 секунд (быстро) и 298 секунд (медленно), как сообщалось в том же исследовании (Dubbs et al., 2016). При 30 кадрах в секунду захвата изображения требуется 66 секунд для захвата 2000 кадров. Только жесткое преобразование с помощью NoRMCorre выполняется немного быстрее, но для обработки кадра по-прежнему требуется больше половины времени сбора данных. Учитывая накладные расходы на другие этапы, например, передачу изображения между процессами и оценку базовой линии, необходимо сократить время обработки для анализа в реальном времени.

Мы сравнили три реализации коррекции движения на основе максимизации коэффициента корреляции. Наши методы похожи на moco, но вместо использования полного перекрытия мы взяли центральную часть изображения шаблона и попытались максимизировать коэффициент корреляции с соответствующей частью целевого изображения. Сначала мы опробовали метод восхождения на холм, чтобы найти локальный максимум. Для увеличения скорости использовался подход пирамиды. В этом подходе начальный сдвиг для подъема на холм определяется выравниванием уменьшенного изображения.Теоретически это становится быстрее с более глубокой пирамидой изображения, но не было значительного увеличения скорости, когда сдвиг был небольшим (рис. 1, левый столбец). Это связано с тем, что начальный сдвиг по умолчанию (без сдвига) достаточно близок к окончательному сдвигу.

Недостаток метода подъема на холм состоит в том, что он не работает хорошо, когда истинная заключительная смена далека от начальной смены. По мере того, как путь становится длиннее, требуется больше вычислений, что делает его медленнее. Более того, если на пути есть другой локальный максимум, алгоритм может сходиться к локальному максимуму, а не к истинному окончательному сдвигу. Это может быть проблематичным в длительных экспериментах, когда медленный дрейф не был должным образом отрегулирован во время эксперимента. Чтобы смоделировать ситуацию, когда изображения далеки от шаблона, мы искусственно сдвинули каждый кадр изображения на 32 пикселя по осям X и Y перед коррекцией движения (рисунок 2). Без пирамиды изображений алгоритм почти никогда не сводился к истинному окончательному сдвигу; вместо этого он прыгал между локальными максимумами, о чем свидетельствуют внезапные скачки скорректированного расстояния (рис. 2, вверху слева). Пирамида изображений с четырьмя слоями требовалась для алгоритма, чтобы сходиться к тому же окончательному смещению, оцененному без дополнительного смещения (рис. 2, левый столбец).Однако глубокая пирамида изображений может привести к нестабильным результатам (см. Обсуждения), и это решение может быть неприменимо в других ситуациях.

Рис. 2. Сравнение скорости и устойчивости с различными алгоритмами и параметрами с искусственно добавленными фиксированными сдвигами для нейронного ансамбля. То же, что и на рисунке 1, с фиксированными сдвигами (32 пикселя по оси X и Y ), искусственно добавленным перед коррекцией движения.

Чтобы преодолеть это, мы выполнили плотный поиск, чтобы выровнять наиболее уменьшенное изображение пирамиды изображений, вычислив коэффициенты корреляции для всех возможных сдвигов, чтобы найти глобальный максимум (рисунок 2, средний столбец).С пирамидой изображения, уменьшающей изображение дважды, этот алгоритм может сходиться к тому же окончательному сдвигу, который был первоначально оценен, без дополнительного сдвига, отличного от алгоритма восхождения на холм. Однако это было реализовано путем наивного исчерпывающего перебора, замедляющего скорость с мелкой пирамидой изображений или без нее.

В качестве альтернативы мы использовали функцию matchTemplate в OpenCV для поиска всех возможных сдвигов для достижения глобального максимума. Когда для сокращения времени вычислений использовалось масштабирование, предполагаемый сдвиг был преобразован для исходного разрешения изображения с помощью параболической аппроксимации (подъем на холм не использовался). Этого было достаточно быстро, чтобы применить к уменьшенному в 2 раза изображению, и он был более точным, чем метод восхождения на холм с аналогичной скоростью.

Мы дополнительно исследовали производительность алгоритмов с разреженно размеченными данными изображения дендритов (рис. 3). Эти данные более сложны для коррекции движения, потому что артефакт движения сильнее при более высоком увеличении, а сигнал имеет тенденцию быть слабее в дендритах. Результаты показывают, что выравнивание становится нестабильным, когда изображение слишком сильно уменьшено (рисунок 3, нижний ряд), а метод восхождения на холм нестабилен без пирамиды изображений или с пирамидой неглубоких изображений (рисунок 3, левый столбец).Чтобы имитировать более серьезные артефакты движения, мы добавили случайный сдвиг до 8 пикселей в каждом направлении в каждом кадре (рис. 4). Результаты дополнительно демонстрируют скорость и стабильность метода сопоставления шаблонов OpenCV в более суровых условиях. Интересно, что оценка становится более шумной с методом сопоставления шаблонов OpenCV, когда применяется к более уменьшенным изображениям. Это связано с тем, что на оценку влияет то, как пиксели разделяются на участки для уменьшения масштаба. Обратите внимание, что этот эффект незначителен, когда изображение масштабируется только до 2 раз.

Рисунок 3. Сравнение скорости и стабильности с различными алгоритмами и параметрами для построения изображения дендритов. То же, что на рисунке 1, применительно к визуализации дендритов.

Рисунок 4. Сравнение скорости и стабильности с различными алгоритмами и параметрами с искусственно добавленными случайными сдвигами для построения изображения дендритов. То же, что на рисунке 1, применительно к визуализации дендритов со случайными сдвигами (до 8 пикселей в каждом направлении), добавленными искусственно перед коррекцией движения.Для визуализации эти искусственно добавленные сдвиги были вычтены перед нанесением на график скорректированных расстояний.

Чтобы предоставить один пример набора количественных оценок точности показанных алгоритмов, мы исследовали количество кадров с ошибками коррекции движения (методы). Для нейронной ансамблевой визуализации (из рисунка 1) используется метод восхождения с пирамидой изображений из 4 слоев, методы плотного поиска с пирамидами изображений из 2, 3 и 4 слоев и методы OpenCV с коэффициентами уменьшения 1, 2, 4. , 8 и 16 не имели кадров с ошибками коррекции движения.Напротив, методы восхождения с 0, 1, 2 и 3 слоями пирамид изображений имели 1000 ( p <0,0001, критерий хи-квадрат, сравнение с методами без ошибок; то же самое применимо и далее), 881 ( p <0,0001), 266 ( p <0,0001) и 4 ( p = 0,0453) кадров соответственно. Для получения изображений дендритов (из рисунка 3) методы плотного поиска с 2 и 3 слоями пирамид изображений и методы OpenCV с коэффициентами масштабирования 1, 2, 4 и 8 не имели кадров с ошибками коррекции движения.Методы восхождения на холмы с 0, 1, 2, 3 и 4 слоями пирамид изображений имели 829 ( p <0,0001), 728 ( p <0,0001), 423 ( p <0,0001), 173 ( p <0,0001) и 74 ( p <0,0001) кадра с ошибками коррекции движения соответственно, а метод плотного поиска с пирамидой изображений из 4 слоев и метод OpenCV с коэффициентом масштабирования 16 имели 78 ( p <0,0001) и 32 ( p <0,0001) кадра с ошибками коррекции движения соответственно. Эти результаты подтверждают, что при больших сдвигах методы подъема на холм не могут найти глобальный максимум, сходясь к локальному максимуму, и что коррекция движения становится нестабильной, если изображения слишком уменьшены.

Среди алгоритмов и параметров, рассмотренных в текущем исследовании, мы пришли к выводу, что применение метода OpenCV к дважды уменьшенному изображению лучше всего уравновешивает скорость и точность в наших экспериментах. Это была самая быстрая комбинация, которая не вызывала ошибок коррекции движения, даже когда коэффициент масштабирования был увеличен вдвое или в четыре раза.На рисунке 5 показано улучшение сигналов флуоресценции от коррекции движения.

Рисунок 5. Влияние коррекции движения на сигнал флуоресценции кальция. Расчетные сдвиги (синий: ось Y , зеленый: ось X ) (верхний ряд) , сигнал флуоресценции кальция (средний ряд) и усредненные изображения (нижний ряд) изображений тела клетки (слева столбец) и изображение дендритов (правый столбец) . Сигнал флуоресценции кальция оценивался без коррекции движения (синие линии) и с коррекцией движения (красные линии).Синие треугольники указывают, когда коррекция движения улучшает сигналы. Области интереса для сигналов флуоресценции кальция обведены красным на средних изображениях. Для коррекции движения использовался метод OpenCV с дважды уменьшенными изображениями.

Базовая оценка

Мы сравнили исходную оценку на двух последовательных окнах по 2000 кадров с явной активностью кальция и без нее. Мы использовали разницу оценок между двумя окнами как показатель чувствительности метода к уровням активности.Кроме того, чтобы имитировать повышенный шум, мы сравнили понижающую дискретизацию и усреднение бинов (рис. 6). Эти результаты показывают, что оценки методом ядерной оценки плотности были наиболее надежными в различных условиях, даже при повышенной активности и повышенном уровне шума.

Рисунок 6. Сравнение методов оценки процентиля, устойчивого среднего и ядерной плотности для базовой оценки. (A) Анализ окна из 2000 кадров с небольшой активностью кальция.Синяя линия показывает необработанный сигнал, а красная линия показывает сигнал после биннинга и усреднения каждые 20 кадров, который использовался для базовой оценки (вверху). Гистограмма интенсивности сигнала. Красная линия указывает оценку плотности ядра. Треугольник с пунктирной линией обозначает 20-й процентиль, сплошная линия обозначает пик оценки плотности ядра, ромб с пунктирной линией обозначает устойчивое среднее (исключая значения не в пределах 2 SD от среднего) (Среднее). Кумулятивная функция плотности распределения интенсивности (синяя линия) (внизу). (B) То же, что и (A) на следующих 2000 кадрах до (A) . Это окно содержит высокий уровень активности кальция. (C, D) То же, что (A, B) с понижающей дискретизацией. Красная линия показывает сигнал, субдискретизированный на 20 (исключая 19 кадров из 20 кадров), который в дальнейшем используется для оценки базовой линии (вверху). Обратите внимание, что только метод оценки плотности ядра выявил согласованные базовые значения в усредненных и субдискретизированных данных.

Реализация обработки изображений в реальном времени для экспериментов с замкнутым циклом

Мы разработали конвейер обработки изображений в реальном времени для двухфотонной визуализации кальция для экспериментов с замкнутым контуром, который включает коррекцию бокового движения со сравнимой точностью с популярными методами post hoc , а также улучшенный метод оценки базовой линии.В конвейере каждое изображение сначала копируется в файл с отображением в память во время получения настраиваемым плагином для ScanImage 4. Пользовательское приложение Qt GUI считывает каждое изображение из файла с отображением памяти, исправляет артефакт движения с помощью OpenCV метод сопоставления с шаблоном и сохраняет исправленное изображение в другом файле с отображением в память. Другой экземпляр Matlab считывает скорректированное изображение из файла с отображением в память, вычисляет среднюю интенсивность пикселей для каждой области интереса, оценивает базовый уровень и вычисляет ΔF / F. Эта информация об относительном изменении флуоресценции в дальнейшем используется в эксперименте с замкнутым контуром.

Обсуждение

Здесь мы обсудили нашу реализацию алгоритмов коррекции быстрого движения и оценки базовой линии для обработки изображений в реальном времени при двухфотонной кальциевой визуализации. Насколько нам известно, это первый сообщенный конвейер обработки изображений в реальном времени, не относящийся к конкретной платформе формирования изображений, для экспериментов с замкнутым циклом с коррекцией артефактов движения. Исходный код реализации размещен в общедоступных репозиториях на GitHub.Мы включили плагин для ScanImage, и он также будет работать с другими платформами обработки изображений на основе Matlab с минимальными изменениями. Более ранняя версия реализации использовалась в предыдущем исследовании для экспериментов с обратной связью в реальном времени (Mitani et al., 2018).

Наша реализация коррекции движения значительно быстрее, чем сообщалось ранее, при сохранении точности за счет глобального максимума коэффициента корреляции. Используя обычный персональный компьютер, наш метод сопоставления шаблонов OpenCV с уменьшением масштаба в два раза обработал фильм размером 512 × 512 × 1000 менее чем за 3 секунды, в то время как moco (Dubbs et al., 2016) и NoRMCorre (Pnevmatikakis and Giovannucci, 2017) (жесткий), как сообщается, для обработки фильма размером 512 × 512 × 2000 требуется 40 и 90 с соответственно.

Изображения часто уменьшаются, чтобы уменьшить вычислительные затраты на коррекцию движения, например, метод пирамиды изображений в TurboReg (Thévenaz et al., 1998), но этот процесс может стирать мелкие пространственные особенности, необходимые для коррекции движения. В подтверждение этого в предыдущем исследовании сообщалось, что метод пирамиды изображений, уменьшающий изображение в 3 и 4 раза, дает серьезные ошибки (Dubbs et al., 2016). Мы наблюдали такие ошибки при построении изображений дендритов с помощью глубокой пирамиды изображений. С другой стороны, из-за итеративного процесса оптимизации метод подъема на холм с неглубокой пирамидой изображений сходился к локальному максимуму и терпел неудачу при большом сдвиге. Это означает, что количество слоев пирамиды изображений должно быть правильно отрегулировано для каждого экспериментального условия. Однако настройка параметров часто включает попытки и ошибки, что не подходит для экспериментов в реальном времени. Напротив, наша реализация на основе OpenCV достаточно быстра, чтобы найти глобальный максимум в реальном времени без значительного уменьшения масштаба.

Наши методы и moco оценивают перевод всего изображения. Однако неоднородный артефакт может возникнуть из-за деформации ткани и искажения из-за конечной скорости сканирования (Pnevmatikakis and Giovannucci, 2017). Деформация более проблематична при большем поле изображения, а искажение более проблематично, когда движения при сканировании кадра соответствуют большему количеству пикселей. В таких случаях может быть полезна нежесткая коррекция. NoRMCorre — это метод нежесткой регистрации, основанный на кусочно-жестком алгоритме, который включает регистрацию исправлений на основе перевода (Pnevmatikakis and Giovannucci, 2017). Хотя NoRMCorre недостаточно быстр для обработки изображений 512 × 512 с частотой 28 Гц, объединение нашего метода с их кусочно-жестким алгоритмом может привести к более быстрой нежесткой коррекции движения, применимой к обработке в реальном времени.

Базовая оценка кальциевого сигнала — еще один важный этап визуализации кальция. Среди методов процентилей, метода устойчивого среднего и метода ядерной плотности мы показали, что наш метод ядерной плотности дает наиболее согласованную оценку среди различных уровней шума и активности. Кроме того, потенциальное ограничение, характерное для метода процентилей, может возникнуть, когда есть тенденция к увеличению или уменьшению базовой линии.Обычно процентиль ниже медианы используется в качестве оценочного исходного уровня. В этом случае наблюдается дрожание во времени, вызванное изменяющейся тенденцией базовой линии. Когда базовый уровень увеличивается, увеличение оценки происходит позже. С другой стороны, когда базовая линия уменьшается, уменьшение оценки происходит раньше. Например, давайте рассмотрим ситуацию с оценкой базовой линии из 100 значений без шума и активности. В этом случае 20-й процентиль значений интенсивности находится в 20-м интервале, когда базовая линия постоянно увеличивается, и в 80-м интервале, когда базовая линия постоянно уменьшается.Это создает временную разницу, эквивалентную 60 ячейкам. В зависимости от тенденции к увеличению или уменьшению базовой линии, существует различная степень задержки в оценке базовой линии. Этот недостаток лишен надежного метода среднего и метода плотности ядра.

имеет только два параметра, длину окна и размер каждого бина, которые можно регулировать в зависимости от отношения сигнал / шум, продолжительности активности и того, как быстро и как часто колеблется базовая линия.Группирование и усреднение обычно выполняются на этапах предварительной обработки и в других методах, в то время как другие методы имеют дополнительные параметры, например, значение процентиля для метода процентилей и порог отсечки для метода устойчивого среднего. Меньшее количество параметров особенно полезно в экспериментах с обратной связью, когда повторный запуск анализа с обновленными параметрами невозможен.

Наша реализация коррекции быстрого движения и базовой оценки обеспечивает конвейер обработки изображений в реальном времени, а небольшое количество настраиваемых параметров упрощает использование и оценку для каждого приложения.Конвейер также можно использовать для быстрого анализа post hoc . Действительно, многие из недавних публикаций нашей лаборатории использовали эту или предыдущие версии метода для анализа post hoc (Chu et al., 2016, 2017; Hwang et al., 2017; Peters et al., 2017; Li et al., ., 2018; Mitani et al., 2018), демонстрируя применимость этого метода к различным областям мозга, различным методам экспрессии и различным конфигурациям визуализации.

Авторские взносы

AM и TK разработали проект и написали статью.AM проводил эксперименты и разработку программного обеспечения. Все авторы внесли свой вклад в доработку рукописи, прочитали и одобрили представленную версию.

Финансирование