Tehnici de segmentare a imaginii [Implementare pas cu pas]

Ce vezi mai întâi când te uiți la selfie-ul tău? Fața ta, nu? Îți poți observa fața deoarece creierul tău este capabil să-ți identifice fața și să o separe de restul imaginii (fondul).

Acum, dacă ai vrea ca computerul să-ți recunoască fața într-un selfie, ar fi capabil să facă asta?

Da, cu condiția să poată efectua segmentarea imaginii.

În articolul de astăzi, vom discuta despre segmentarea imaginii și toate aspectele sale majore, inclusiv diferitele tehnici de segmentare a imaginii pe care le puteți utiliza. Cu toate acestea, este o lectură lungă, așa că vă recomandăm să marcați acest articol, astfel încât să puteți reveni la el mai târziu.

Înainte de a începe să discutăm despre diferitele tehnici de segmentare în procesarea imaginii, ar trebui mai întâi să ne dăm seama „Ce este segmentarea imaginii?”

Ce este Segmentarea imaginii?

Segmentarea imaginii este o ramură a procesării digitale a imaginilor care se concentrează pe împărțirea unei imagini în diferite părți în funcție de caracteristicile și proprietățile acestora. Scopul principal al segmentării imaginii este de a simplifica imaginea pentru o analiză mai ușoară. În segmentarea imaginii, împărțiți o imagine în diferite părți care au atribute similare. Părțile în care împărțiți imaginea se numesc obiecte imagine.

Este primul pas pentru analiza imaginii. Fără efectuarea segmentării imaginii, realizarea implementărilor de viziune computerizată ar fi aproape imposibilă pentru dvs.

Folosind tehnici de segmentare a imaginii, puteți împărți și grupați pixeli specifici dintr-o imagine, le puteți atribui etichete și clasifica alți pixeli în funcție de aceste etichete. Puteți desena linii, specifica margini și puteți separa anumite obiecte (componente importante) dintr-o imagine de restul obiectelor (componente neimportante).

În învățarea automată, puteți utiliza etichetele pe care le-ați generat din segmentarea imaginii pentru instruire supravegheată și nesupravegheată. Acest lucru vă va permite să rezolvați multe probleme de afaceri.

Un exemplu ar fi mai bine pentru a înțelege cum funcționează segmentarea imaginii.

Uită-te la următoarea imagine.

Sursă

Aici, puteți vedea un scaun plasat în mijlocul unui drum. Utilizând segmentarea imaginii, puteți separa scaunul de imagine. Mai mult, puteți folosi numeroase tehnici de segmentare a imaginii pentru a obține rezultate diferite. De exemplu, dacă doriți să utilizați o imagine cu mai multe scaune, va trebui să utilizați segmentarea semantică.

Pe de altă parte, dacă doriți să identificați fiecare scaun prezent într-o imagine, cum ar fi următoarea, va trebui să utilizați segmentarea instanțelor:

Sursă

De ce este necesară segmentarea imaginii?

Segmentarea imaginii este un aspect important al vederii computerizate și are multe aplicații în numeroase industrii. Unele dintre zonele notabile în care segmentarea imaginii este utilizată abundent sunt:

1. Recunoașterea feței

Tehnologia de recunoaștere facială prezentă în iPhone-ul dvs. și sistemele avansate de securitate utilizează segmentarea imaginii pentru a vă identifica fața. Trebuie să poată identifica caracteristicile unice ale feței dvs., astfel încât orice parte nedorită să nu vă poată accesa telefonul sau sistemul.

2. Identificarea plăcuței de înmatriculare

Multe semafoare și camere folosesc identificarea plăcuței de înmatriculare pentru a percepe amenzi și pentru a ajuta la căutări. Tehnologia de identificare a plăcuței de înmatriculare permite unui sistem de trafic să recunoască o mașină și să obțină informațiile legate de proprietate. Utilizează segmentarea imaginii pentru a separa o plăcuță de înmatriculare și informațiile acesteia de restul obiectelor prezente în viziunea sa. Această tehnologie a simplificat considerabil procesul de amendare pentru guverne.

3. Căutare bazată pe imagini

Google și alte motoare de căutare care oferă facilități de căutare bazate pe imagini utilizează tehnici de segmentare a imaginilor pentru a identifica obiectele prezente în imaginea dvs. și pentru a compara descoperirile acestora cu imaginile relevante pe care le găsesc pentru a vă oferi rezultate de căutare.

4. Imagistica medicală

În sectorul medical, folosim segmentarea imaginilor pentru a localiza și identifica celulele canceroase, pentru a măsura volumele de țesuturi, pentru a rula simulări de intervenții chirurgicale virtuale și pentru a efectua navigarea intra-operatorie. Segmentarea imaginii are multe aplicații în sectorul medical. Ajută la identificarea zonelor afectate și la planificarea tratamentelor pentru acestea.

În afară de aceste aplicații, segmentarea imaginii are utilizări în producție, agricultură, securitate și multe alte sectoare. Pe măsură ce tehnologiile noastre de viziune computerizată devin mai avansate, utilizările tehnicilor de segmentare a imaginii vor crește în mod corespunzător.

De exemplu, unii producători au început să folosească tehnici de segmentare a imaginii pentru a găsi produse defecte. Aici, algoritmul ar capta doar componentele necesare din imaginea obiectului și le va clasifica ca defecte sau optime. Acest sistem reduce riscul erorilor umane și face procesul de testare mai eficient pentru organizație.

Implementările comune ale clasificării imaginilor sunt în Python, C, C++ și Matlab.

Care sunt diferitele tipuri de segmentări de imagine?

Segmentarea imaginii este un subiect foarte larg și are diferite moduri de a parcurge acest proces. Putem clasifica segmentarea imaginii în funcție de următorii parametri:

1. Clasificare bazată pe abordare

În sensul său cel mai de bază, segmentarea imaginii este identificarea obiectelor. Un algoritm nu poate clasifica diferitele componente fără a identifica mai întâi un obiect. De la implementări simple la cele complicate, toate segmentele de imagine funcționează pe baza identificării obiectelor.

Deci, putem clasifica metodele de segmentare a imaginilor pe baza modului în care algoritmii identifică obiectele, adică colectând pixeli similari și separându-i de pixeli diferiți. Există două abordări pentru realizarea acestei sarcini:

Abordare bazată pe regiune (detectarea similitudinii)

În această metodă, detectați pixeli similari din imagine în funcție de un prag selectat, îmbinarea regiunilor, răspândirea regiunii și creșterea regiunii. Clustering și algoritmi similari de învățare automată folosesc această metodă pentru a detecta caracteristici și atribute necunoscute. Algoritmii de clasificare urmează această abordare pentru detectarea caracteristicilor și separarea segmentelor de imagine în funcție de acestea.

Abordare bazată pe limite (detectarea discontinuității)

Abordarea bazată pe granițe este opusul abordării bazate pe regiune pentru identificarea obiectelor. Spre deosebire de detectarea bazată pe regiune, în care găsiți pixeli care au caracteristici similare, găsiți pixeli care sunt diferiți între ei în abordarea bazată pe limită. Detectarea punctelor, Detectarea marginilor, Detectarea liniilor și algoritmi similari urmează această metodă în care detectează marginea pixelilor diferiți și îi separă de restul imaginii în consecință.

2. Clasificare bazată pe tehnică

Ambele abordări au tehnicile lor distincte de segmentare a imaginii. Folosim aceste tehnici în funcție de tipul de imagine pe care dorim să o procesăm și să o analizăm și de tipul de rezultate pe care dorim să le obținem.

Pe baza acestor parametri, putem împărți algoritmii de segmentare a imaginii în următoarele categorii:

Tehnici structurale

Acești algoritmi vă cer să aveți datele structurale ale imaginii pe care o utilizați. Acestea includ pixelii, distribuțiile, histogramele, densitatea pixelilor, distribuția culorilor și alte informații relevante. Apoi, trebuie să aveți datele structurale ale regiunii pe care trebuie să o separați de imagine.

Veți avea nevoie de aceste informații pentru ca algoritmul dvs. să poată identifica regiunea. Algoritmii pe care îi folosim pentru aceste implementări urmează abordarea bazată pe regiune.

Tehnici Stochastice

Acești algoritmi necesită informații despre valorile pixelilor discrete ale imaginii, în loc de structura secțiunii necesare a imaginii. Din acest motiv, nu necesită multe informații pentru a efectua segmentarea imaginii și sunt utile atunci când trebuie să lucrați cu mai multe imagini. În această categorie se încadrează algoritmii de învățare automată, cum ar fi gruparea K-means și algoritmii ANN.

Tehnici hibride

După cum puteți ghici din nume, acești algoritmi folosesc atât metode stocastice, cât și structurale. Aceasta înseamnă că folosesc informațiile structurale ale regiunii necesare și informațiile discrete de pixeli ale întregii imagini pentru a efectua segmentarea imaginii.

Care sunt diferitele tipuri de tehnici de segmentare a imaginii?

Acum că cunoaștem diferitele abordări și tipuri de tehnici pentru segmentarea imaginii, putem începe să discutăm despre specificul. Următoarele sunt principalele tipuri de tehnici de segmentare a imaginii:

1. Segmentarea de prag
2. Segmentare bazată pe margini
3. Segmentarea bazată pe regiune
4. Segmentarea bazinului hidrografic
5. Algoritmi de segmentare bazați pe clustering
6. Rețele neuronale pentru segmentare

Să discutăm în detaliu fiecare dintre aceste tehnici pentru a le înțelege proprietățile, beneficiile și limitările:

1. Segmentarea de prag

Cea mai simplă metodă de segmentare în procesarea imaginilor este metoda pragului. Împarte pixelii dintr-o imagine comparând intensitatea pixelului cu o valoare specificată (prag). Este util atunci când obiectul solicitat are o intensitate mai mare decât fundalul (părți inutile).

Puteți considera că valoarea pragului (T) este o constantă, dar ar funcționa numai dacă imaginea are foarte puțin zgomot (informații și date inutile). Puteți menține valoarea pragului constantă sau dinamică în funcție de cerințele dumneavoastră.

Metoda de prag convertește o imagine în scară de gri într-o imagine binară, împărțind-o în două segmente (secțiuni obligatorii și nu obligatorii).

În funcție de diferitele valori de prag, putem clasifica segmentarea de prag în următoarele categorii:

Limitare simplă

În această metodă, înlocuiți pixelii imaginii cu albi sau negri. Acum, dacă intensitatea unui pixel într-o anumită poziție este mai mică decât valoarea de prag, l-ai înlocui cu negru. Pe de altă parte, dacă este mai mare decât pragul, l-ai înlocui cu alb. Acesta este un prag simplu și este potrivit în special pentru începătorii în segmentarea imaginii.

Binarizarea lui Otsu

În pragurile simple, ați ales o valoare de prag constantă și ați folosit-o pentru a efectua segmentarea imaginii. Cu toate acestea, cum determinați că valoarea pe care ați ales-o a fost cea potrivită? Deși metoda simplă pentru aceasta este de a testa diferite valori și de a alege una, aceasta nu este cea mai eficientă.

Faceți o imagine cu o histogramă având două vârfuri, unul pentru prim-plan și unul pentru fundal. Folosind binarizarea Otsu, puteți lua valoarea aproximativă a mijlocului acelor vârfuri ca valoare de prag.

În binarizarea Otsu, se calculează valoarea pragului din histograma imaginii dacă imaginea este bimodală.

Acest proces este destul de popular pentru scanarea documentelor, recunoașterea modelelor și eliminarea culorilor inutile dintr-un fișier. Cu toate acestea, are multe limitări. Nu îl puteți folosi pentru imagini care nu sunt bimodale (imagini ale căror histograme au vârfuri multiple).

Limitare adaptivă

A avea o valoare de prag constantă ar putea să nu fie o abordare potrivită pentru fiecare imagine. Imaginile diferite au fundaluri și condiții diferite care le afectează proprietățile.

Astfel, în loc să utilizați o valoare prag constantă pentru efectuarea segmentării pe întreaga imagine, puteți păstra variabila valoare prag. În această tehnică, veți păstra valori de prag diferite pentru diferite secțiuni ale unei imagini.

Această metodă funcționează bine cu imagini care au condiții de iluminare diferite. Va trebui să utilizați un algoritm care segmentează imaginea în secțiuni mai mici și calculează valoarea pragului pentru fiecare dintre ele.

2. Segmentare bazată pe margini

Segmentarea bazată pe margine este una dintre cele mai populare implementări ale segmentării în procesarea imaginilor. Se concentrează pe identificarea marginilor diferitelor obiecte dintr-o imagine. Acesta este un pas crucial, deoarece vă ajută să găsiți caracteristicile diferitelor obiecte prezente în imagine, deoarece marginile conțin o mulțime de informații pe care le puteți utiliza.

Detectarea marginilor este foarte populară, deoarece vă ajută să eliminați informațiile nedorite și inutile din imagine. Reduce dimensiunea imaginii considerabil, facilitând analiza acesteia.

Algoritmii utilizați în segmentarea bazată pe margini identifică marginile unei imagini în funcție de diferențele de textură, contrast, nivel de gri, culoare, saturație și alte proprietăți. Puteți îmbunătăți calitatea rezultatelor dvs. conectând toate marginile în lanțuri de margini care se potrivesc mai precis cu marginile imaginii.

Există multe metode de segmentare bazate pe margini disponibile. Le putem împărți în două categorii:

Detectarea marginilor bazată pe căutare

Metodele de detectare a marginilor bazate pe căutare se concentrează pe calcularea unei măsuri a rezistenței muchiei și caută maxime direcționale locale ale mărimii gradientului printr-o estimare calculată a orientării locale a muchiei.

Detectarea marginilor bazată pe trecerea la zero

Metodele de detectare a marginilor bazate pe trecerea cu zero caută încrucișări cu zero într-o expresie derivată preluată din imagine pentru a găsi marginile.

De obicei, va trebui să preprocesați imaginea pentru a elimina zgomotul nedorit și pentru a facilita detectarea marginilor. Canny, Prewitt, Deriche și Roberts cross sunt unii dintre cei mai populari operatori de detectare a marginilor. Ele facilitează detectarea discontinuităților și găsirea marginilor.

În detectarea bazată pe margini, scopul tău este să obții un minim de segmentare parțială în care poți grupa toate marginile locale într-o imagine binară. În imaginea binară nou creată, lanțurile de margine trebuie să se potrivească cu componentele existente ale imaginii în cauză.

3. Segmentarea bazată pe regiune

Algoritmii de segmentare bazați pe regiune împart imaginea în secțiuni cu caracteristici similare. Aceste regiuni sunt doar un grup de pixeli, iar algoritmul găsește aceste grupuri localizând mai întâi un punct de bază care ar putea fi o secțiune mică sau o porțiune mare a imaginii de intrare.

După găsirea punctelor inițiale, un algoritm de segmentare bazat pe regiune fie le-ar adăuga mai mulți pixeli, fie i-ar micșora, astfel încât să le poată îmbina cu alte puncte semințe.

Pe baza acestor două metode, putem clasifica segmentarea bazată pe regiune în următoarele categorii:

Regiunea în creștere

În această metodă, începeți cu un set mic de pixeli și apoi începeți să îmbinați mai mulți pixeli în mod iterativ în funcție de anumite condiții de similaritate. Un algoritm de creștere a regiunii ar alege un pixel de bază arbitrar din imagine, îl va compara cu pixelii învecinați și ar începe să crească regiunea prin găsirea potrivirilor cu punctul de bază.

Când o anumită regiune nu poate crește mai mult, algoritmul va alege un alt pixel de bază care ar putea să nu aparțină nici unei regiuni existente. O regiune poate avea prea multe atribute, ceea ce o face să preia cea mai mare parte a imaginii. Pentru a evita o astfel de eroare, algoritmii de creștere a regiunii cresc mai multe regiuni în același timp.

Ar trebui să utilizați algoritmi de creștere a regiunii pentru imaginile care au mult zgomot, deoarece zgomotul ar face dificilă găsirea marginilor sau folosirea algoritmilor de prag.

Împărțirea și îmbinarea regiunilor

După cum sugerează și numele, o metodă focalizată de împărțire și îmbinare a regiunii ar efectua două acțiuni împreună - împărțirea și îmbinarea porțiunilor din imagine.

Mai întâi, imaginea ar fi în regiuni care au atribute similare și ar îmbina porțiunile adiacente care sunt similare una cu cealaltă. În împărțirea regiunii, algoritmul ia în considerare întreaga imagine, în timp ce în creșterea regiunii, algoritmul s-ar concentra pe un anumit punct.

Metoda de împărțire și îmbinare a regiunilor urmează o metodologie de împărțire și cucerire. Împarte imaginea în diferite părți și apoi le potrivește în funcție de condițiile sale predeterminate. Un alt nume pentru algoritmii care îndeplinesc această sarcină este algoritmi split-merge.

4. Segmentarea bazinului hidrografic

În procesarea imaginilor, o cotitură este o transformare pe o imagine în tonuri de gri. Se referă la bazinul hidrografic geologic sau o diviziune de drenaj. Un algoritm de bazin ar gestiona imaginea ca și cum ar fi o hartă topografică. Consideră luminozitatea unui pixel drept înălțimea acestuia și găsește liniile care parcurg vârful acestor creste.

Watershed are multe definiții tehnice și are mai multe aplicații. Pe lângă identificarea crestelor pixelilor, se concentrează pe definirea bazinelor (opusul crestelor) și inundează bazinele cu markere până întâlnesc liniile de distribuție a apelor care trec prin creste.

Deoarece bazinele au o mulțime de markeri, în timp ce crestele nu, imaginea este împărțită în mai multe regiuni în funcție de „înălțimea” fiecărui pixel.

Metoda bazinului de apă convertește fiecare imagine într-o hartă topografică Metoda de segmentare a bazinului de apă ar reflecta topografia prin valorile de gri ale pixelilor acestora.

Acum, un peisaj cu văi și creste ar avea cu siguranță aspecte tridimensionale. Bazinul de apă ar lua în considerare reprezentarea tridimensională a imaginii și ar crea regiuni în consecință, care sunt numite „bazine de captare”.

Are multe aplicații în sectorul medical, cum ar fi RMN, imagistica medicală etc. Segmentarea bazinului hidrografic este o parte importantă a segmentării imaginilor medicale, așa că dacă doriți să intrați în acel sector, ar trebui să vă concentrați pe învățarea acestei metode de segmentare în special în procesarea imaginilor.

5. Algoritmi de segmentare bazați pe clustering

Dacă ați studiat algoritmi de clasificare, trebuie să fi întâlnit algoritmi de grupare. Sunt algoritmi nesupravegheați și vă ajută să găsiți date ascunse în imagine care ar putea să nu fie vizibile pentru o viziune normală. Aceste date ascunse includ informații precum clustere, structuri, umbriri etc.

După cum sugerează și numele, un algoritm de grupare împarte imaginea în grupuri (grupuri disjunse) de pixeli care au caracteristici similare. Ar separa elementele de date în clustere, unde elementele dintr-un cluster sunt mai asemănătoare în comparație cu elementele prezente în alte clustere.

Unii dintre algoritmii de grupare populari includ c-means fuzzy (FCM), k-means și algoritmi îmbunătățiți de k-means. În segmentarea imaginilor, ați folosi în mare parte algoritmul de grupare k-means, deoarece este destul de simplu și eficient. Pe de altă parte, algoritmul FCM plasează pixelii în diferite clase în funcție de gradele lor diferite de apartenență.

Cei mai importanți algoritmi de grupare pentru segmentarea în procesarea imaginilor sunt:

K înseamnă Clustering

K-means este un algoritm simplu de învățare automată nesupravegheat. Clasifică o imagine printr-un anumit număr de clustere. Începe procesul prin împărțirea spațiului imaginii în k pixeli care reprezintă k centroizi de grup.

Apoi atribuie fiecare obiect grupului pe baza distanței dintre ele și centroid. Când algoritmul a atribuit toți pixelii tuturor clusterelor, poate muta și reatribui centroizii.

Fuzzy C înseamnă

Cu metoda fuzzy c-means clustering, pixelii din imagine pot fi grupați în mai multe clustere. Aceasta înseamnă că un pixel poate aparține mai multor clustere. Cu toate acestea, fiecare pixel ar avea niveluri diferite de asemănări cu fiecare cluster. Algoritmul fuzzy c-means are o funcție de optimizare care afectează acuratețea rezultatelor dvs.

Algoritmii de grupare se pot ocupa de majoritatea nevoilor dvs. de segmentare a imaginii. Dacă doriți să aflați mai multe despre ele, consultați acest ghid despre ce este gruparea și diferitele tipuri de algoritmi de grupare .

6. Rețele neuronale pentru segmentare

Poate că nu vrei să faci totul de unul singur. Poate că doriți ca un AI să vă facă majoritatea sarcinilor, ceea ce cu siguranță le puteți face cu rețelele neuronale pentru segmentarea imaginilor.

Ați folosi AI pentru a analiza o imagine și a identifica diferitele sale componente, cum ar fi fețele, obiectele, textul etc. Rețelele neuronale convoluționale sunt destul de populare pentru segmentarea imaginii, deoarece pot identifica și procesa datele de imagine mult rapid și eficient.

Experții de la Facebook AI Research (FAIR) au creat o arhitectură de învățare profundă numită Mask R-CNN, care poate crea o mască în funcție de pixeli pentru fiecare obiect prezent într-o imagine. Este o versiune îmbunătățită a arhitecturii Faster R-CNN de detectare a obiectelor. Faster R-CNN utilizează două date pentru fiecare obiect dintr-o imagine, coordonatele casetei de delimitare și clasa obiectului. Cu Mask R-CNN, obțineți o secțiune suplimentară în acest proces. Masca R-CNN scoate masca obiectului după efectuarea segmentării.

În acest proces, mai întâi trebuie să transmiteți imaginea de intrare către ConvNet, care generează harta caracteristicilor pentru imagine. Apoi sistemul aplică rețeaua de propuneri de regiune (RPN) pe hărțile caracteristicilor și generează propunerile de obiect cu scorurile lor de obiect.

După aceea, stratul de pooling Roi este aplicat propunerilor pentru a le reduce la o dimensiune. În etapa finală, sistemul trece propunerile la stratul conectat pentru clasificare și generează rezultatul cu casetele de delimitare pentru fiecare obiect.

Aflați mai multe despre segmentarea în procesarea imaginilor

Segmentarea în procesarea imaginilor este cu siguranță un subiect larg, cu o mulțime de sub-secțiuni. De la diverse tehnici de segmentare a imaginii la algoritmi, există multe de învățat în această disciplină. Cu atât de mult teren de acoperit, te poți pierde cu ușurință și te confuzi.

De aceea, vă recomandăm să urmați un curs de învățare automată și AI pentru a depăși aceste probleme. Un curs la acest subiect vă va învăța elementele de bază, precum și conceptele avansate de segmentare a imaginii și sectoarele aferente. Veți afla despre diferitele concepte de învățare automată legate de procesarea imaginilor, segmentarea imaginii și viziunea computerizată.

Cursurile AI și ML vă vor face mai ușor să învățați toate conceptele relevante, deoarece veți obține un curriculum structurat din care să studiați. La upGrad, oferim mai multe cursuri de învățare automată.

Următoarele sunt cursurile principale pe care le oferim în învățarea automată și AI:

• Master în învățare automată și AI
• Program executiv postuniversitar în învățare automată și inteligență artificială
• Master în învățare automată și inteligență artificială
• Certificare PG în Machine Learning și Deep Learning
• Certificare PG în Machine Learning și NLP

Toate aceste cursuri vă permit să învățați de la experții din industrie care vă rezolvă îndoielile și vă răspund la întrebări în sesiuni live. Veți studia online, ceea ce înseamnă că nu va trebui să mergeți nicăieri sau să vă deranjați locul de muncă în timp ce urmați aceste cursuri.

Aceste cursuri vă oferă acces la Colțul pentru succesul studenților upGrad, care oferă multe avantaje suplimentare, inclusiv feedback personalizat pentru CV, pregătire pentru interviuri și consiliere în carieră. Până la sfârșitul cursului, vei fi un profesionist AI/ML pregătit pentru muncă, dotat cu toate abilitățile necesare și dificile.

Concluzie

Segmentarea imaginilor este cu siguranță un subiect complicat și avansat. Toate tehnicile de segmentare a imaginilor pe care le-am discutat în acest articol au avantajele și limitările lor specifice. Familiarizându-vă cu ele, vă veți face o idee despre unde ar trebui să utilizați unul și unde ar trebui să evitați să îl folosiți pe celălalt.

Cu toate abilitățile învățate, puteți deveni activ și pe alte platforme competitive pentru a vă testa abilitățile și a obține și mai mult hands-on.