Görüşte Evrim Yaratıyor : Nöromorfik Kameraların Gücü
Neuromorfik Kameralar
Olay kamerası, aynı zamanda nöromorfik kamera, silikon retina veya dinamik görüntü sensörü olarak da bilinir, yerel parlaklık değişikliklerine yanıt veren bir görüntüleme sensörüdür. Olay kameraları, geleneksel (çerçeve) kameralar gibi bir obtüratör kullanarak görüntüleri yakalamaz. Bunun yerine, her piksel içinde bir olay kamera, bağımsız ve eşzamansız olarak çalışır, parlaklık değişikliklerini bildirir ve aksi halde sessiz kalır.
Fonksiyonel Tanım
Olay kamera pikselleri, parlaklık değişikliklerine anında yanıt verir. Her piksel bir referans parlaklık seviyesini saklar ve sürekli olarak mevcut parlaklık seviyesiyle karşılaştırır. Parlaklık farkı bir eşiği aştığında, piksel referans seviyesini sıfırlar ve bir olay oluşturur: piksel adresini ve zaman damgasını içeren bir paket. Olaylar ayrıca bir parlaklık değişikliğinin polaritesini (artış veya azalış) veya aydınlatma seviyesinin anlık ölçümünü de içerebilir. Bu nedenle, olay kameraları, sahne aydınlatmasındaki değişiklikler tarafından tetiklenen asenkron bir olay akışı üretir.
Olay kamerası ve geleneksel kamera tarafından üretilen verilerin karşılaştırılması.
Olay kameraları mikrosaniyelik zamansal çözünürlüğe, 120 dB dinamik aralığa ve çerçeve kameralardan daha az aşırı/eksponaja ve hareket bulanıklığına sahiptir. Bu, nesne ve kamera hareketini (optik akış) daha doğru bir şekilde izlemelerini sağlar. Gri tonlamalı bilgiler verirler. Başlangıçta (2014), çözünürlük 100 piksele kadar sınırlıydı. Daha sonraki bir giriş, 2019’da 640×480 çözünürlüğe ulaştı. Bireysel piksellerin bağımsız olarak ateşlenmesi, olay kameralarının nöromorfik hesaplama gibi eşzamansız hesaplama mimarileriyle entegrasyon için uygun görünmesini sağlar. Piksel bağımsızlığı, bu kameraların parlak ve karanlık bölgelerle başa çıkmasına olanak tanır ve bu bölgelerin ortalamasını almadan.
Türler
Zamansal kontrast sensörleri (örneğin DVS (Dinamik Görüntü Sensörü) veya sDVS (hassas-DVS)) parlaklıkta polariteyi (artış veya azalış) gösteren olaylar üretirken, zamansal görüntü sensörleri her olayda anlık yoğunluğu gösterir. DAVIS (Dinamik ve Aktif-Piksel Görüntü Sensörü) aynı fotosensör dizisini paylaşan dinamik görüntü sensörüne (DVS) ek olarak global obtüratörlü aktif piksel sensörünü (APS) içerir. Bu nedenle, olaylarla birlikte görüntü çerçeveleri üretme yeteneğine sahiptir. Birçok olay kamerası ayrıca bir atalet ölçüm birimi (IMU) taşır.
Retinomorfik sensörler
Ana madde: Retinomorfik sensör
Sol: foto duyarlı kapasitörün şematik kesit diyagramı. Orta: retinomorfik sensörün devre şeması, üstte foto duyarlı kapasitör. Sağ: Sabit aydınlatmaya uygulandığında retinomorfik sensörün beklenen geçici yanıtı.
Başka bir olay sensörü sınıfı, sözde retinomorfik sensörlerdir. Terim retinomorfik genel olarak olay sensörlerini tanımlamak için kullanılmış olmasına rağmen, 2020’de bir direnç ve fotosensitif kapasitör serisine dayalı belirli bir sensör tasarımı için ad olarak benimsenmiştir. Bu kapasitörler, güneş enerjisi depolamak için kullanılan fotokapasitörlerden farklıdır ve aydınlatma altında kapasitans değiştirme özelliğine sahiptirler. Kapasite değiştiğinde hafifçe şarj/deşarj olurlar, ancak aksi takdirde denge halinde kalırlar. Bir fotosensitif kapasitör bir dirençle seri olarak yerleştirildiğinde ve devreye bir giriş voltajı uygulandığında, sonuç olarak ışık yoğunluğu değiştiğinde bir voltaj üreten bir sensör elde edilir, aksi takdirde yapmaz.
Diğer olay sensörlerinden (genellikle bir fotodiyot ve bazı diğer devre elemanları) farklı olarak, bu sensörler sinyali doğal olarak üretir. Bu nedenle, bunlar diğer olay kameralardaki küçük bir devre gibi aynı sonucu üreten tek bir cihaz olarak düşünülebilir. Retinomorfik sensörler şu ana kadar sadece araştırma ortamında incelenmiştir.
Algoritmalar
Bir yaya, gece araba farlarının önünden geçer.
Sol: geleneksel bir kamera ile çekilen görüntü ciddi hareket bulanıklığı ve eksik pozlama sergiler. Sağ: olay kamerasından elde edilen olaylarla sol görüntünün birleştirilmesi ile yeniden oluşturulan görüntü.
Görüntü yeniden oluşturma
Olaylardan görüntü yeniden oluşturma, yüksek dinamik aralığa, yüksek zamansal çözünürlüğe ve azaltılmış hareket bulanıklığına sahip görüntüler ve videolar oluşturma potansiyeline sahiptir. Görüntü yeniden oluşturma, örneğin yüksek geçişli veya tamamlayıcı filtre kullanılarak zamansal düzeltme ile elde edilebilir. Alternatif yöntemler, optimizasyon ve gradyan tahmini takip eden Poisson entegrasyonunu içerir.
Uzamsal konvolüsyonlar
Uzamsal olaya dayalı konvolüsyon kavramı 1999’da önerilmiştir (DVS’den önce), ancak daha sonra AB projesi CAVIAR sırasında (DVS’nin icat edildiği sırada) bir dizi entegre ve ateşleme pikselinde bir olayın koordinatı etrafında her olayı yansıtan bir keyfi konvolüsyon çekirdeğinin projelendirilmesi ile genelleştirilmiştir. Çok çekirdekli olaya dayalı konvolüsyonların genişletilmesi, olaya dayalı derin konvolüsyonel sinir ağları için olanak sağlar.
Hareket tespiti ve takibi
Olay kamerası tarafından görülen hareketli nesnelerin segmentasyonu ve tespiti, sensör tarafından çiplerde yapıldığı için basit bir görev gibi görünebilir. Ancak, bu görevler zorludur, çünkü olaylar az miktarda bilgi taşır ve tekstür ve renk gibi yararlı görsel özellikler içermez. Bu görevler, hareketli bir kamera verildiğinde daha da zor hale gelir, çünkü olaylar, hareket eden nesneler tarafından ve statik sahne (kameranın ego hareketi tarafından indüklenen görünür hareket) tarafından görüntü düzleminde her yerde tetiklenir. Bu problemi çözmek için son yaklaşımlardan bazıları, hareket telafi modellerinin ve geleneksel kümelenme algoritmalarının dahil edilmesini içerir.
Potansiyel uygulamalar
Potansiyel uygulamalar arasında nesne tanıma, otonom araçlar ve robotlar bulunmaktadır. ABD ordusu, düşük güç tüketimi ve azalan ısı üretimi nedeniyle kızılötesi ve diğer olay kameralarını düşünmektedir.
Nöromorfik Teknoloji: Beynin Gücünü Taklit Etmek
Yapay zeka topluluğunda, nöral ağlar temel bir kavramdır ve neredeyse her büyük nöral ağ eğitimi için önemli işleme ve enerji gereksinimlerinin bilincindedir.
Bu nedenle, alana ilerlemek için yeni donanıma ihtiyaç vardır. Bazı profesyoneller, kuantum hesaplamanın bu eksik parça olabileceğine inanıyor.
Kuantum hesaplamanın büyük potansiyel göstermesine rağmen, gelişimi onlarca yıl sürecek bir teknolojidir. Fizik teorileri henüz pratik ve ekonomik ürünlerin oluşturulmasına izin verecek kadar gelişmemiştir.
İşte bu noktada, nöromorfik teknolojisinin önemi devreye giriyor.
Nöromorfik teknoloji, çiplerin nöronlar gibi davrandığı bir mimariyi kullanır ve beynin avantajlarından yararlanır. Bu makale, yapay zeka ve nöromorfik teknolojileri yakından inceleyecek ve farklılıklarını ve benzerliklerini açıklayacaktır.
Peki, Nöromorfik Teknoloji Nedir?
Nöromorfik teknoloji, beynimize daha yakından benzeyen bilgisayarlar oluşturmak için kullanılan bir tekniktir. Bu, beyindeki nöronların ve bunları birbirine bağlayan sinapsların temel yapısı ile aynı özelliklere sahip özel bilgisayar çiplerinin geliştirilmesini gerektirir.
Bu çipler, insan beyninin bilgi işlemesine benzer şekilde bilgiyi işleyebilirler, bu da belirli faaliyetlerde, örneğin desen tanıma ve karar verme gibi, daha etkili hale gelirler.
Özetle, insanlar gibi “düşünebilen” ve “öğrenebilen” bilgisayarlar oluşturmanın bir tekniğidir, ancak daha az enerji tüketirler ve bunu anında yaparlar.
Bu, Karmaşık algoritmalar yerine, beynimizin nasıl çalıştığını taklit eder.
Nöromorfik Teknoloji Nasıl Çalışır?
Nöromorfik teknolojinin çalışması için, özel bilgisayar çipleri, beynimizin nöronlarının ve birbirlerine bağlanan sinapsların temel yapısıyla aynı özelliklere sahip olacak şekilde inşa edilmelidir.
Bu çipler, insan beyninin bilgi işlemesine benzer şekilde bilgiyi işleyebilirler, bu da belirli faaliyetlerde, örneğin desen tanıma ve karar verme gibi, daha etkili hale gelirler.
Basitçe söylemek gerekirse, çip, beynin sinaptik ağını oluşturan yapay bir sinir gibi işlev görecek şekilde tasarlanmıştır.
Beynin bilgi işlemesi gibi, çip de bilgiyi paralel olarak işleyebilir. Geleneksel bilgisayar işlemcilerinden daha az enerji tüketen çip, veriyi analiz edebilir ve anında kararlar alabilir, daha az enerji tüketir.
Bir görüntüde bir köpeği tanımlayabilen bir bilgisayar oluşturmayı nöromorfik teknoloji kullanarak düşünün. Çipin ağında her yapay nöron, kürk, dört ayak veya kuyruk gibi belirli özellikler için görüntüyü tarar.
Ağdaki bu nöronlardan yeterince fazlası, aynı özellikleri görüntüde görürse, başka bir nörona sinyal gönderir ve bir köpek olduğunu belirten bir işaret gönderir.
iniVation AG
iniVation, dünyanın en yüksek performanslı görüntü sistemlerini sunan nöromorfik vizyon sistemlerinin öncüsüdür. Benzersiz nöromorfik teknolojisi sayesinde, şirket hız, güç ve sinyal kalitesi konusunda etkileyici sonuçlar elde etmektedir.
Şirket, endüstriyel ve bilimsel alanlarda kullanılan ödüllü DVXplorer ve DAVIS kameraları ile tanınır. Bu kameralar, yüksek performanslı nöromorfik görüntü arayan müşteriler için bir giriş noktası olarak hizmet eder. DVXplorer ve DAVIS kameraları, fabrikalardan uzaya kadar çeşitli ortamlarda başarıyla kullanılmıştır.
iniVation’ın yazılım araçları dünya çapında binlerce geliştirici tarafından kullanılmaktadır. Grafiksel araç takımı kullanıcıların hızlı bir şekilde başlamasını sağlarken, yüksek performanslı, açık kaynaklı C/C++ kütüphaneleri en iyi performansı sunar. Ayrıca, şirket müşterilere eğitim, özel geliştirme hizmetleri ve IP lisanslama yoluyla destek sağlar.
Tüketici sektöründe, iniVation’ın Speck ürünü dikkat çeker. Speck, yüz tanıma ve jest algılama gibi uygulamaları destekleyen ultra düşük güç tüketimli, sürekli açık akıllı algılama sunar. Dünyanın ilk nöromorfik sistem-üzeri çipi olarak geliştirilen Speck, akıllı ev IoT, oyuncaklar ve diğer tüketici elektroniği uygulamaları için tasarlanmıştır.
XR (Genişletilmiş Gerçeklik) kullanım durumları için, iniVation Aeveon™ sensör teknolojisini geliştirmiştir. Bu teknoloji, göz izleme, el izleme ve görsel konumlandırma kameraları da dahil olmak üzere XR uygulamaları için kapsamlı düşük güçlü, yüksek hızlı algılama sunar.
iniVation, küresel olarak müşterilere hizmet sunmakta ve endüstriyel pazarlarda öncü konumda bulunmaktadır. Dünya çapında binlerce geliştiriciyi desteklemesi nedeniyle, nöromorfik teknoloji alanında önemli bir referans noktası olarak hizmet vermektedir.
Sonuç
Sonuç olarak, nöromorfik kameralar ve nöromorfik teknoloji, görüntüleme ve bilgi işleme alanlarında önemli bir ilerleme vadeden yenilikçi yaklaşımlardır. Geleneksel kamera sistemlerinden farklı olarak, nöromorfik kameralar parlaklık değişikliklerine hızlı ve etkili bir şekilde yanıt verirler ve daha az güç tüketirler. Bu özellikler, endüstriyel ve bilimsel uygulamalarda geniş bir kullanım potansiyeline işaret eder.
Nöromorfik teknoloji, insan beyninin işleme şeklini taklit ederek, yapay zeka alanında önemli bir rol oynamaktadır. Bu teknoloji, özellikle desen tanıma, karar verme ve nesne takibi gibi alanlarda geleneksel yapay zeka yöntemlerinden daha etkili olabilir.
iniVation AG gibi öncü şirketler, nöromorfik teknolojinin potansiyelini endüstriyel ve bilimsel alanlarda kullanmak için yüksek performanslı nöromorfik görüntü sistemleri sunmaktadır. Ayrıca, bu teknolojinin tüketici elektroniği alanında da kullanımını destekleyen ürünler geliştirmektedirler.
Gelecekte, nöromorfik kameralar ve nöromorfik teknoloji, daha geniş bir uygulama alanına yayılabilir ve endüstrideki diğer alanlarda da önemli bir rol oynayabilir. Bu yenilikçi teknolojilerin gelişimi, görüntüleme ve bilgi işleme alanında önemli bir dönüşüm sağlayabilir.
