Sony ha da poco presentato i primi sensori d’immagine intelligenti al mondo dotati di funzionalità di elaborazione basata sull’intelligenza artificiale
I rivoluzionari modelli di sensori d’immagine intelligenti Sony rendono possibile un’elaborazione edge ad alta velocità basata su IA e contribuiscono alla creazione di sistemi ottimali connessi al cloud. Tali sensori d’immagine intelligenti l’azienda afferma essere i primi al mondo dotati di funzionalità di elaborazione basata sull’intelligenza artificiale.
L’inclusione di tale funzionalità sul sensore d’immagine stesso permette un’elaborazione edge ad alta velocità col supporto dell’intelligenza artificiale e l’estrazione dei soli dati necessari. Se abbinato all’uso di servizi cloud tutto ciò consente di ridurre la latenza di trasmissione dei dati, affrontare le problematiche relative alla privacy, contenere i consumi energetici e i costi delle comunicazioni.
I nuovi prodotti ampliano le possibilità di sviluppo di fotocamere dotate di intelligenza artificiale, promuovendo svariate applicazioni nel campo del retail, delle attrezzature industriali e contribuendo alla creazione di sistemi ottimali connessi al cloud. Con la diffusione dell’IoT qualsiasi tipo di dispositivo è stato dotato di una connessione al cloud e ciò ha reso di uso comune i sistemi di elaborazione in cui le informazioni ottenute dai dispositivi stessi sono processate tramite IA su cloud.
Inoltre il crescente volume di informazioni gestite in remoto pone svariati problemi, tra cui la maggiore latenza di trasmissione dei dati che ostacola l’elaborazione delle informazioni in tempo reale. Non di meno ci sono i timori per la sicurezza legati alla archiviazione di dati personali identificabili e altre questioni quali l’aumento dei consumi energetici e dei costi di comunicazione legati ai servizi connessi al cloud.
I nuovi sensori d’immagine intelligenti presentano una configurazione a strati formata da un chip pixel e da un chip logico. Sono i primi sensori d’immagine al mondo dotati di funzionalità di elaborazione e analisi dell’immagine basate su IA su chip logico. Poiché il segnale acquisito dal chip pixel è gestito tramite IA sul sensore, non sono più necessari processori ad alte prestazioni o memoria esterna e questo favorisce lo sviluppo di sistemi di IA edge. Il sensore invia i metadati (informazioni semantiche proprie dei dati dell’immagine) invece che l’immagine vera e propria, perciò il volume dei dati è ridotto così come vanno a risolversi i timori relativi alla privacy. Al tempo stesso le diverse funzionalità basate su IA presentano una notevole versatilità d’impiego, permettendo per esempio il tracking degli oggetti in tempo reale con un’elaborazione ad alta velocità fondata su IA. I diversi modelli di IA possono essere selezionati riscrivendo la memoria interna in base ai requisiti dell’utente o alle condizioni proprie del luogo di utilizzo del sistema.
Quanto alle caratteristiche principali il chip pixel è retroilluminato e dispone di circa 12,3 Megapixel effettivi, che consentono di acquisire informazioni attraverso un ampio angolo di campo. In aggiunta al circuito operativo dei sensori d’immagine convenzionali il chip logico è dotato di un DSP (Digital Signal Processor) originale di Sony, dedicato alla elaborazione del segnale tramite IA oltre che di memoria per i modelli di IA. Tale configurazione elimina la necessità di processori ad alte prestazioni o memoria esterna ed è perciò ideale per i sistemi di IA edge. I segnali acquisiti dal chip pixel sono processati da un ISP (Image Signal Processor) e l’elaborazione tramite IA avviene in fase di gestione sul chip logico. Le informazioni estratte sono inviate sotto forma di metadati, con una conseguente riduzione della quantità di dati gestiti.
Assicurare che le immagini non vengano trasmesse aiuta a ridurre i rischi legati alla sicurezza e risolvere i timori relativi alla privacy. Oltre a quanto registrato dal sensore d’immagine convenzionale gli utenti possono selezionare il formato di output in base alle esigenze e all’uso, tra cui immagini in formato ISP (YUV / RGB) e immagini ROI (Region of Interest) con estratti di aree specifiche. Registrando un video con un sensore d’immagine convenzionale è necessario inviare i dati di ogni singolo fotogramma per permetterne l’elaborazione tramite IA: ciò determina un incremento dei dati trasmessi ostacolando le prestazioni in tempo reale. Nei nuovi sensori di Sony l’elaborazione ISP e l’elaborazione ad alta velocità basata su IA (elaborazione in 3,1 millisecondi – secondo il modello di analisi dell’immagine basato su IA per il riconoscimento di oggetti su dispositivi mobili) avvengono sul chip logico e l’intero processo viene completato in un unico frame video. Tale design rende possibile il tracking degli oggetti ad alta precisione e in tempo reale durante la registrazione di video.
Possibile quindi salvare i modelli di IA desiderati nella memoria integrata, riscrivendoli e aggiornandoli in base ai requisiti richiesti o alle condizioni del luogo in cui il sistema viene utilizzato. Per esempio se più fotocamere equipaggiate con il nuovo prodotto sono installate in un punto vendita lo stesso tipo di fotocamera può essere impiegato in maniera versatile in punti, circostanze, momenti o con scopi differenti. All’ingresso di una struttura può permettere di registrare il numero di visitatori che decidono di entrare. Sullo scaffale di un negozio può aiutare a visualizzare i prodotti in esaurimento. All’altezza del soffitto consente di elaborare la mappa di calore dei clienti (individuando le aree ad alta concentrazione) giusto per citare alcune specifiche applicazioni. Inoltre il modello di IA di una determinata fotocamera può essere riscritto per passare dall’elaborazione di mappe di calore all’identificazione del comportamento dei clienti.
Per ulteriori informazioni: link al sito Sony.
Specifiche tecniche principali sensori immagine Sony AI
Nome modello: IMX500 (solo chip) / IMX501 (pacchetto)
Numero di pixel effettivi: 4056 (oriz.) × 3040 (vert.), ca. 12,3 Megapixel
Dimensioni immagine: diagonale 7,857 mm (tipo 1/2,3)
Dimensioni cella, unità: 1,55 μm (oriz.) × 1,55 μm (vert.)
Frame rate: full pixel IMX500 / 60 fps IMX501
Video: 4K (4056 × 2288) 60 fps – 1080p 240 fps
Full/video + elaborazione IA: 30 fps
Output di metadati: 30 fps
Sensibilità (valore standard F5.6): 250 LSB ca.
Livello segnale di saturazione del sensore (valore minimo): Ca. 9610e-
Alimentazione: Analogica / 2,7 V (solo IMX501)
Digitale: 0,84 V
Interfaccia: 1,8 V
Funzioni principali: funzionalità di elaborazione IA, ISP, scatto HDR
Output: MIPI D-PHY 1.2 (4-lane) / SPI
Schema filtro colore: schema Bayer
Formato di output: immagine (Bayer RAW), output ISP (YUV/RGB), ROI, metadati
Package IMX501: LGA ceramica 12,5 mm (oriz.) × 15,0 mm (vert.)
© 2020, MBEditore – TPFF srl. Riproduzione riservata.
