Tecniche di segmentazione dell'immagine [implementazione passo passo]

Cosa vedi per primo quando guardi il tuo selfie? La tua faccia, giusto? Puoi individuare il tuo viso perché il tuo cervello è in grado di identificare il tuo viso e separarlo dal resto dell'immagine (lo sfondo).

Ora, se volessi che il tuo computer riconosca il tuo viso in un selfie, sarebbe in grado di farlo?

Sì, a condizione che possa eseguire la segmentazione dell'immagine.

Nell'articolo di oggi, discuteremo della segmentazione delle immagini e di tutti i suoi aspetti principali, comprese le varie tecniche di segmentazione delle immagini che puoi utilizzare. Tuttavia, è una lettura lunga, quindi ti consigliamo di aggiungere questo articolo ai segnalibri in modo da poterlo tornare più tardi.

Prima di iniziare a discutere le varie tecniche di segmentazione nell'elaborazione delle immagini, dovremmo prima capire: "Cos'è la segmentazione delle immagini?"

Che cos'è la segmentazione dell'immagine?

La segmentazione delle immagini è una branca dell'elaborazione digitale delle immagini che si concentra sulla partizione di un'immagine in parti diverse in base alle loro caratteristiche e proprietà. L'obiettivo principale della segmentazione dell'immagine è semplificare l'immagine per un'analisi più semplice. Nella segmentazione dell'immagine, dividi un'immagine in varie parti che hanno attributi simili. Le parti in cui dividi l'immagine sono chiamate Oggetti Immagine.

È il primo passo per l'analisi dell'immagine. Senza eseguire la segmentazione delle immagini, eseguire implementazioni di visione artificiale sarebbe quasi impossibile per te.

Utilizzando le tecniche di segmentazione dell'immagine, puoi dividere e raggruppare pixel specifici da un'immagine, assegnare loro etichette e classificare altri pixel in base a queste etichette. Puoi disegnare linee, specificare bordi e separare oggetti particolari (componenti importanti) in un'immagine dal resto degli oggetti (componenti non importanti).

Nell'apprendimento automatico, puoi utilizzare le etichette che hai generato dalla segmentazione delle immagini per la formazione supervisionata e non supervisionata. Ciò ti consentirebbe di risolvere molti problemi aziendali.

Un esempio sarebbe migliore per capire come funziona la segmentazione delle immagini.

Guarda l'immagine seguente.

Fonte

Qui puoi vedere una sedia posta in mezzo a una strada. Usando la segmentazione dell'immagine, puoi separare la sedia dall'immagine. Inoltre, puoi utilizzare numerose tecniche di segmentazione delle immagini per ottenere risultati diversi. Ad esempio, se desideri utilizzare un'immagine con più sedie, dovrai utilizzare la segmentazione semantica.

D'altra parte, se desideri identificare ogni sedia presente in un'immagine come la seguente, dovrai utilizzare la segmentazione dell'istanza:

Fonte

Perché è necessaria la segmentazione dell'immagine?

La segmentazione delle immagini è un aspetto importante della visione artificiale e ha molte applicazioni in numerosi settori. Alcune delle aree degne di nota in cui la segmentazione dell'immagine viene utilizzata in modo profuso sono:

1. Riconoscimento facciale

La tecnologia di riconoscimento facciale presente nel tuo iPhone e i sistemi di sicurezza avanzati utilizzano la segmentazione delle immagini per identificare il tuo volto. Deve essere in grado di identificare le caratteristiche uniche del tuo viso in modo che qualsiasi parte indesiderata non possa accedere al tuo telefono o sistema.

2. Identificazione targa

Molti semafori e telecamere utilizzano l'identificazione della targa per addebitare multe e aiutare con le ricerche. La tecnologia di identificazione della targa consente a un sistema del traffico di riconoscere un'auto e ottenere le informazioni relative alla proprietà. Utilizza la segmentazione dell'immagine per separare una targa e le sue informazioni dal resto degli oggetti presenti nella sua visione. Questa tecnologia ha semplificato notevolmente il processo di sanzione per i governi.

3. Ricerca basata su immagini

Google e altri motori di ricerca che offrono funzionalità di ricerca basate su immagini utilizzano tecniche di segmentazione delle immagini per identificare gli oggetti presenti nella tua immagine e confrontare i loro risultati con le immagini pertinenti che trovano per fornirti risultati di ricerca.

4. Imaging medico

Nel settore medico, utilizziamo la segmentazione delle immagini per individuare e identificare le cellule tumorali, misurare i volumi dei tessuti, eseguire simulazioni di chirurgia virtuale ed eseguire la navigazione intra-chirurgica. La segmentazione delle immagini ha molte applicazioni nel settore medico. Aiuta a identificare le aree colpite e pianificare i trattamenti per le stesse.

Oltre a queste applicazioni, la segmentazione delle immagini trova impiego nel settore manifatturiero, agricolo, della sicurezza e in molti altri settori. Man mano che le nostre tecnologie di visione artificiale diventano più avanzate, l'uso delle tecniche di segmentazione delle immagini aumenterà di conseguenza.

Ad esempio, alcuni produttori hanno iniziato a utilizzare tecniche di segmentazione delle immagini per trovare prodotti difettosi. Qui, l'algoritmo catturerebbe solo i componenti necessari dall'immagine dell'oggetto e li classificherebbe come difettosi o ottimali. Questo sistema riduce il rischio di errori umani e rende il processo di test più efficiente per l'organizzazione.

Le implementazioni comuni della classificazione delle immagini sono in Python, C, C++ e Matlab.

Quali sono i diversi tipi di segmentazioni dell'immagine?

La segmentazione delle immagini è un argomento molto ampio e ha diversi modi di seguire il processo. Possiamo classificare la segmentazione delle immagini in base ai seguenti parametri:

1. Classificazione basata sull'approccio

Nella sua accezione più elementare, la segmentazione dell'immagine è l'identificazione dell'oggetto. Un algoritmo non può classificare i diversi componenti senza prima identificare un oggetto. Dalle implementazioni semplici a quelle complicate, tutta la segmentazione delle immagini funziona in base all'identificazione degli oggetti.

Quindi, possiamo classificare i metodi di segmentazione delle immagini in base al modo in cui gli algoritmi identificano gli oggetti, il che significa raccogliere pixel simili e separarli da pixel dissimili. Esistono due approcci per eseguire questo compito:

Approccio basato sulla regione (rilevamento della somiglianza)

In questo metodo, rilevi pixel simili nell'immagine in base a una soglia selezionata, alla fusione della regione, alla diffusione della regione e alla crescita della regione. Il clustering e algoritmi di apprendimento automatico simili utilizzano questo metodo per rilevare caratteristiche e attributi sconosciuti. Gli algoritmi di classificazione seguono questo approccio per rilevare le caratteristiche e separare i segmenti dell'immagine in base ad esse.

Approccio basato sui confini (rilevamento della discontinuità)

L'approccio basato sui confini è l'opposto dell'approccio basato sulla regione per l'identificazione degli oggetti. A differenza del rilevamento basato sulla regione, in cui trovi pixel con caratteristiche simili, nell'approccio basato sui confini trovi pixel dissimili tra loro. Point Detection, Edge Detection, Line Detection e algoritmi simili seguono questo metodo in cui rilevano il bordo di pixel dissimili e li separano di conseguenza dal resto dell'immagine.

2. Classificazione basata sulla tecnica

Entrambi gli approcci hanno le loro tecniche di segmentazione dell'immagine distinte. Usiamo queste tecniche in base al tipo di immagine che vogliamo elaborare e analizzare e al tipo di risultati che vogliamo trarne.

Sulla base di questi parametri, possiamo dividere gli algoritmi di segmentazione delle immagini nelle seguenti categorie:

Tecniche strutturali

Questi algoritmi richiedono che tu disponga dei dati strutturali dell'immagine che stai utilizzando. Ciò include i pixel, le distribuzioni, gli istogrammi, la densità dei pixel, la distribuzione del colore e altre informazioni rilevanti. Quindi, devi avere i dati strutturali sulla regione che devi separare dall'immagine.

Avrai bisogno di queste informazioni in modo che il tuo algoritmo possa identificare la regione. Gli algoritmi che utilizziamo per queste implementazioni seguono l'approccio basato sulla regione.

Tecniche Stocastiche

Questi algoritmi richiedono informazioni sui valori di pixel discreti dell'immagine, invece della struttura della sezione richiesta dell'immagine. Per questo motivo, non richiedono molte informazioni per eseguire la segmentazione delle immagini e sono utili quando devi lavorare con più immagini. Gli algoritmi di apprendimento automatico come il clustering K-means e gli algoritmi ANN rientrano in questa categoria.

Tecniche ibride

Come puoi intuire dal nome, questi algoritmi utilizzano metodi sia stocastici che strutturali. Ciò significa che utilizzano le informazioni strutturali della regione richiesta e le informazioni sui pixel discreti dell'intera immagine per eseguire la segmentazione dell'immagine.

Quali sono i diversi tipi di tecniche di segmentazione delle immagini?

Ora che conosciamo i diversi approcci e tipi di tecniche per la segmentazione delle immagini, possiamo iniziare a discutere le specifiche. Di seguito sono riportati i principali tipi di tecniche di segmentazione delle immagini:

1. Segmentazione della soglia
2. Segmentazione basata sui bordi
3. Segmentazione basata sulla regione
4. Segmentazione spartiacque
5. Algoritmi di segmentazione basati sul clustering
6. Reti neurali per la segmentazione

Discutiamo in dettaglio ciascuna di queste tecniche per comprenderne proprietà, vantaggi e limiti:

1. Segmentazione delle soglie

Il metodo più semplice per la segmentazione nell'elaborazione delle immagini è il metodo della soglia. Divide i pixel in un'immagine confrontando l'intensità del pixel con un valore specificato (soglia). È utile quando l'oggetto richiesto ha un'intensità maggiore rispetto allo sfondo (parti non necessarie).

Puoi considerare il valore di soglia (T) come una costante, ma funzionerebbe solo se l'immagine presenta pochissimo rumore (informazioni e dati non necessari). È possibile mantenere il valore di soglia costante o dinamico in base alle proprie esigenze.

Il metodo della soglia converte un'immagine in scala di grigi in un'immagine binaria dividendola in due segmenti (sezioni obbligatorie e non obbligatorie).

In base ai diversi valori di soglia, possiamo classificare la segmentazione della soglia nelle seguenti categorie:

Soglia semplice

In questo metodo, sostituisci i pixel dell'immagine con il bianco o il nero. Ora, se l'intensità di un pixel in una posizione particolare è inferiore al valore di soglia, lo sostituiresti con il nero. Se invece è superiore alla soglia, lo sostituiresti con il bianco. Questa è una semplice soglia ed è particolarmente adatta per i principianti nella segmentazione delle immagini.

La binarizzazione di Otsu

Nella soglia semplice, hai scelto un valore di soglia costante e lo hai utilizzato per eseguire la segmentazione dell'immagine. Tuttavia, come stabilisci che il valore che hai scelto fosse quello giusto? Sebbene il metodo semplice per questo sia quello di testare valori diversi e sceglierne uno, non è il più efficiente.

Scatta un'immagine con un istogramma con due picchi, uno per il primo piano e uno per lo sfondo. Usando la binarizzazione Otsu, puoi prendere il valore approssimativo della metà di quei picchi come valore di soglia.

Nella binarizzazione Otsu, si calcola il valore di soglia dall'istogramma dell'immagine se l'immagine è bimodale.

Questo processo è abbastanza popolare per la scansione di documenti, il riconoscimento di motivi e la rimozione di colori non necessari da un file. Tuttavia, ha molte limitazioni. Non puoi usarlo per immagini che non sono bimodali (immagini i cui istogrammi hanno più picchi).

Soglia adattativa

Avere un valore di soglia costante potrebbe non essere un approccio adatto da adottare con ogni immagine. Immagini diverse hanno sfondi e condizioni diversi che ne influenzano le proprietà.

Pertanto, invece di utilizzare un valore di soglia costante per eseguire la segmentazione sull'intera immagine, è possibile mantenere la variabile del valore di soglia. In questa tecnica, manterrai valori di soglia diversi per le diverse sezioni di un'immagine.

Questo metodo funziona bene con immagini con condizioni di illuminazione variabili. Dovrai utilizzare un algoritmo che segmenta l'immagine in sezioni più piccole e calcola il valore di soglia per ciascuna di esse.

2. Segmentazione basata sui bordi

La segmentazione edge-based è una delle implementazioni più popolari della segmentazione nell'elaborazione delle immagini. Si concentra sull'identificazione dei bordi di diversi oggetti in un'immagine. Questo è un passaggio cruciale in quanto ti aiuta a trovare le caratteristiche dei vari oggetti presenti nell'immagine poiché i bordi contengono molte informazioni che puoi utilizzare.

Il rilevamento dei bordi è molto popolare perché ti aiuta a rimuovere le informazioni indesiderate e non necessarie dall'immagine. Riduce notevolmente le dimensioni dell'immagine, facilitando l'analisi della stessa.

Gli algoritmi utilizzati nella segmentazione basata sui bordi identificano i bordi di un'immagine in base alle differenze di trama, contrasto, livello di grigio, colore, saturazione e altre proprietà. Puoi migliorare la qualità dei tuoi risultati collegando tutti i bordi in catene di bordi che corrispondono ai bordi dell'immagine in modo più accurato.

Sono disponibili molti metodi di segmentazione basati sui bordi. Possiamo dividerli in due categorie:

Rilevamento dei bordi basato sulla ricerca

I metodi di rilevamento del bordo basati sulla ricerca si concentrano sul calcolo di una misura della forza del bordo e cercano i massimi direzionali locali dell'ampiezza del gradiente attraverso una stima calcolata dell'orientamento locale del bordo.

Rilevamento dei bordi basato su zero-crossing

I metodi di rilevamento dei bordi basati sul passaggio per lo zero cercano i passaggi per lo zero in un'espressione derivata recuperata dall'immagine per trovare i bordi.

In genere, dovrai pre-elaborare l'immagine per rimuovere il rumore indesiderato e facilitare il rilevamento dei bordi. Canny, Prewitt, Deriche e Roberts cross sono alcuni degli operatori di rilevamento dei bordi più popolari. Semplificano il rilevamento delle discontinuità e la ricerca dei bordi.

Nel rilevamento basato sui bordi, il tuo obiettivo è ottenere un minimo di segmentazione parziale in cui puoi raggruppare tutti i bordi locali in un'immagine binaria. Nell'immagine binaria appena creata, le catene di bordi devono corrispondere ai componenti esistenti dell'immagine in questione.

3. Segmentazione basata sulla regione

Gli algoritmi di segmentazione basati sulla regione dividono l'immagine in sezioni con caratteristiche simili. Queste regioni sono solo un gruppo di pixel e l'algoritmo trova questi gruppi individuando prima un seed point che potrebbe essere una piccola sezione o una grande porzione dell'immagine di input.

Dopo aver trovato i punti seme, un algoritmo di segmentazione basato su regione aggiungerebbe più pixel o li rimpicciolisce in modo da poterli unire con altri punti seme.

Sulla base di questi due metodi, possiamo classificare la segmentazione basata sulla regione nelle seguenti categorie:

Regione in crescita

In questo metodo, inizi con un piccolo set di pixel e quindi inizi a unire in modo iterativo più pixel in base a particolari condizioni di somiglianza. Un algoritmo di crescita della regione selezionerebbe un pixel seme arbitrario nell'immagine, lo confronterebbe con i pixel vicini e inizierebbe ad aumentare la regione trovando corrispondenze al punto seme.

Quando una particolare regione non può crescere ulteriormente, l'algoritmo sceglierà un altro seme pixel che potrebbe non appartenere a nessuna regione esistente. Una regione può avere troppi attributi e far sì che occupi la maggior parte dell'immagine. Per evitare un tale errore, gli algoritmi di crescita delle regioni fanno crescere più regioni contemporaneamente.

Dovresti utilizzare algoritmi di crescita della regione per le immagini che presentano molto rumore poiché il rumore renderebbe difficile trovare i bordi o utilizzare algoritmi di soglia.

Divisione e unione di regioni

Come suggerisce il nome, un metodo focalizzato di divisione e unione di regioni eseguirebbe due azioni insieme: dividere e unire porzioni dell'immagine.

Prima verrebbe l'immagine in regioni che hanno attributi simili e unirebbe le porzioni adiacenti che sono simili tra loro. Nella divisione della regione, l'algoritmo considera l'intera immagine mentre nella crescita della regione, l'algoritmo si concentrerà su un punto particolare.

Il metodo di divisione e fusione delle regioni segue una metodologia divide et impera. Divide l'immagine in diverse porzioni e poi le abbina secondo le sue condizioni predeterminate. Un altro nome per gli algoritmi che eseguono questa attività è algoritmi di unione divisa.

4. Segmentazione spartiacque

Nell'elaborazione delle immagini, uno spartiacque è una trasformazione su un'immagine in scala di grigi. Si riferisce allo spartiacque geologico o a uno spartiacque di drenaggio. Un algoritmo di spartiacque gestirebbe l'immagine come se fosse una mappa topografica. Considera la luminosità di un pixel come la sua altezza e trova le linee che corrono lungo la sommità di quelle creste.

Watershed ha molte definizioni tecniche e ha diverse applicazioni. Oltre a identificare le creste dei pixel, si concentra sulla definizione dei bacini (l'opposto delle creste) e inonda i bacini con i marcatori fino a quando non incontrano le linee di spartiacque che attraversano le creste.

Poiché i bacini hanno molti marcatori mentre le creste no, l'immagine viene divisa in più regioni in base all '"altezza" di ogni pixel.

Il metodo spartiacque converte ogni immagine in una mappa topografica Il metodo di segmentazione spartiacque rifletterebbe la topografia attraverso i valori di grigio dei loro pixel.

Ora, un paesaggio con valli e crinali avrebbe sicuramente aspetti tridimensionali. Lo spartiacque prenderebbe in considerazione la rappresentazione tridimensionale dell'immagine e creerebbe di conseguenza delle regioni, denominate “bacini idrografici”.

Ha molte applicazioni nel settore medico come risonanza magnetica, imaging medico, ecc. La segmentazione spartiacque è una parte importante della segmentazione dell'immagine medica, quindi se vuoi entrare in quel settore, dovresti concentrarti sull'apprendimento di questo metodo per la segmentazione nell'elaborazione delle immagini in particolare.

5. Algoritmi di segmentazione basati sul clustering

Se hai studiato algoritmi di classificazione, devi esserti imbattuto in algoritmi di clustering. Sono algoritmi non supervisionati e ti aiutano a trovare dati nascosti nell'immagine che potrebbero non essere visibili a una visione normale. Questi dati nascosti includono informazioni come cluster, strutture, ombreggiature, ecc.

Come suggerisce il nome, un algoritmo di clustering divide l'immagine in cluster (gruppi disgiunti) di pixel che hanno caratteristiche simili. Separerebbe gli elementi dei dati in cluster in cui gli elementi in un cluster sono più simili rispetto agli elementi presenti in altri cluster.

Alcuni dei popolari algoritmi di clustering includono fuzzy c-means (FCM), k-means e algoritmi k-means migliorati. Nella segmentazione delle immagini, utilizzeresti principalmente l'algoritmo di clustering k-means poiché è abbastanza semplice ed efficiente. D'altra parte, l'algoritmo FCM colloca i pixel in classi diverse in base al loro diverso grado di appartenenza.

Gli algoritmi di clustering più importanti per la segmentazione nell'elaborazione delle immagini sono:

K-mezzi Clustering

K-means è un semplice algoritmo di apprendimento automatico senza supervisione. Classifica un'immagine attraverso un numero specifico di cluster. Avvia il processo dividendo lo spazio dell'immagine in k pixel che rappresentano k centroidi di gruppo.

Quindi assegnano ogni oggetto al gruppo in base alla distanza tra loro e il baricentro. Quando l'algoritmo ha assegnato tutti i pixel a tutti i cluster, può spostare e riassegnare i centroidi.

C fuzzy significa

Con il metodo di clustering fuzzy c-means, i pixel nell'immagine possono essere raggruppati in più cluster. Ciò significa che un pixel può appartenere a più di un cluster. Tuttavia, ogni pixel avrebbe diversi livelli di somiglianza con ogni cluster. L'algoritmo fuzzy c-means ha una funzione di ottimizzazione che influisce sull'accuratezza dei risultati.

Gli algoritmi di clustering possono soddisfare la maggior parte delle tue esigenze di segmentazione delle immagini. Se vuoi saperne di più su di loro, dai un'occhiata a questa guida su cos'è il clustering e sui diversi tipi di algoritmi di clustering .

6. Reti neurali per la segmentazione

Forse non vuoi fare tutto da solo. Forse vuoi che un'IA svolga la maggior parte dei tuoi compiti, cosa che puoi sicuramente fare con le reti neurali per la segmentazione delle immagini.

Utilizzeresti l'IA per analizzare un'immagine e identificare i suoi diversi componenti come volti, oggetti, testo, ecc. Le reti neurali convoluzionali sono piuttosto popolari per la segmentazione delle immagini perché possono identificare ed elaborare i dati dell'immagine in modo molto rapido ed efficiente.

Gli esperti di Facebook AI Research (FAIR) hanno creato un'architettura di deep learning chiamata Mask R-CNN che può creare una maschera pixel per ogni oggetto presente in un'immagine. È una versione avanzata dell'architettura di rilevamento degli oggetti Faster R-CNN. La Faster R-CNN utilizza due dati per ogni oggetto in un'immagine, le coordinate del riquadro di delimitazione e la classe dell'oggetto. Con Mask R-CNN, ottieni una sezione aggiuntiva in questo processo. Mask R-CNN emette la maschera dell'oggetto dopo aver eseguito la segmentazione.

In questo processo, devi prima passare l'immagine di input a ConvNet che genera la mappa delle funzionalità per l'immagine. Quindi il sistema applica la rete delle proposte regionali (RPN) sulle mappe delle caratteristiche e genera le proposte di oggetti con i relativi punteggi di oggettività.

Successivamente, il livello di pooling Roi viene applicato alle proposte per ridurle a una dimensione. Nella fase finale, il sistema passa le proposte al livello collegato per la classificazione e genera l'output con i riquadri di delimitazione per ogni oggetto.

Ulteriori informazioni sulla segmentazione nell'elaborazione delle immagini

La segmentazione nell'elaborazione delle immagini è certamente un argomento ampio con molte sottosezioni. Dalle varie tecniche di segmentazione delle immagini agli algoritmi, c'è molto da imparare in questa disciplina. Con così tanto terreno da coprire, puoi facilmente perderti e confonderti.

Ecco perché consigliamo di seguire un corso di machine learning e intelligenza artificiale per superare questi problemi. Un corso in questa materia ti insegnerebbe le basi e i concetti avanzati della segmentazione dell'immagine e dei settori correlati. Imparerai a conoscere i diversi concetti di apprendimento automatico relativi all'elaborazione delle immagini, alla segmentazione delle immagini e alla visione artificiale.

I corsi AI e ML ti renderanno più facile l'apprendimento di tutti i concetti rilevanti perché otterrai un curriculum strutturato da cui studiare. In upGrad offriamo più corsi di machine learning.

Di seguito sono riportati i corsi primari che offriamo in machine learning e AI:

• Laurea Magistrale in Machine Learning e AI
• Executive Post-Laurea in Machine Learning e Intelligenza Artificiale
• Laurea Magistrale in Machine Learning e Intelligenza Artificiale
• Certificazione PG in Machine Learning e Deep Learning
• Certificazione PG in Machine Learning e NLP

Tutti questi corsi ti consentono di imparare da esperti del settore che risolvono i tuoi dubbi e rispondono alle tue domande in sessioni dal vivo. Studierai online, il che significa che non dovrai andare da nessuna parte o disturbare il tuo lavoro mentre segui questi corsi.

Questi corsi ti danno accesso allo Student Success Corner di upGrad che offre molti vantaggi aggiuntivi tra cui feedback personalizzato sul curriculum, preparazione al colloquio e consulenza professionale. Alla fine del corso, sarai un professionista AI/ML pronto per il lavoro dotato di tutte le competenze trasversali e hard necessarie.

Conclusione

La segmentazione delle immagini è sicuramente un argomento complicato e avanzato. Tutte le varie tecniche di segmentazione delle immagini che abbiamo discusso in questo articolo hanno i loro vantaggi e limiti specifici. Prendendo familiarità con loro, avrai un'idea di dove dovresti usarne uno e dove dovresti evitare di usare l'altro.

Con tutte le abilità apprese puoi diventare attivo anche su altre piattaforme competitive per mettere alla prova le tue abilità e avere ancora più esperienza.