Techniques de segmentation d'image [Mise en œuvre étape par étape]

Que voyez-vous en premier lorsque vous regardez votre selfie ? Votre visage, n'est-ce pas ? Vous pouvez repérer votre visage car votre cerveau est capable d'identifier votre visage et de le séparer du reste de l'image (l'arrière-plan).

Maintenant, si vous vouliez que votre ordinateur reconnaisse votre visage dans un selfie, serait-il capable de le faire ?

Oui, à condition qu'il puisse effectuer une segmentation d'image.

Dans l'article d'aujourd'hui, nous aborderons la segmentation d'image et tous ses principaux aspects, y compris les différentes techniques de segmentation d'image que vous pouvez utiliser. Cependant, c'est une longue lecture, nous vous recommandons donc de mettre cet article en signet afin que vous puissiez y revenir plus tard.

Avant de commencer à discuter des différentes techniques de segmentation dans le traitement d'image, nous devons d'abord comprendre "Qu'est-ce que la segmentation d'image?"

Qu'est-ce que la segmentation d'images ?

La segmentation d'image est une branche du traitement d'image numérique qui se concentre sur le partitionnement d'une image en différentes parties en fonction de leurs caractéristiques et propriétés. L'objectif principal de la segmentation d'image est de simplifier l'image pour une analyse plus facile. Dans la segmentation d'image, vous divisez une image en plusieurs parties qui ont des attributs similaires. Les parties dans lesquelles vous divisez l'image sont appelées objets d'image.

C'est la première étape de l'analyse d'images. Sans effectuer de segmentation d'image, il vous serait presque impossible d'effectuer des implémentations de vision par ordinateur.

En utilisant des techniques de segmentation d'image, vous pouvez diviser et regrouper des pixels spécifiques d'une image, leur attribuer des étiquettes et classer d'autres pixels en fonction de ces étiquettes. Vous pouvez tracer des lignes, spécifier des bordures et séparer des objets particuliers (composants importants) d'une image du reste des objets (composants sans importance).

Dans l'apprentissage automatique, vous pouvez utiliser les étiquettes que vous avez générées à partir de la segmentation d'images pour une formation supervisée et non supervisée. Cela vous permettrait de résoudre de nombreux problèmes commerciaux.

Un exemple serait mieux pour comprendre comment fonctionne la segmentation d'image.

Regardez l'image suivante.

La source

Ici, vous pouvez voir une chaise placée au milieu d'une route. En utilisant la segmentation d'image, vous pouvez séparer la chaise de l'image. De plus, vous pouvez utiliser de nombreuses techniques de segmentation d'image pour obtenir différents résultats. Par exemple, si vous souhaitez utiliser une image comportant plusieurs chaises, vous devrez utiliser une segmentation sémantique.

D'un autre côté, si vous vouliez identifier chaque chaise présente dans une image telle que celle-ci, vous devrez utiliser la segmentation d'instance :

La source

Pourquoi la segmentation d'image est-elle nécessaire ?

La segmentation d'images est un aspect important de la vision par ordinateur et a de nombreuses applications dans de nombreuses industries. Certains des domaines notables où la segmentation d'image est abondamment utilisée sont :

1. Reconnaissance faciale

La technologie de reconnaissance faciale présente dans votre iPhone et les systèmes de sécurité avancés utilisent la segmentation d'image pour identifier votre visage. Il doit être capable d'identifier les caractéristiques uniques de votre visage afin qu'aucune partie indésirable ne puisse accéder à votre téléphone ou à votre système.

2. Identification de la plaque d'immatriculation

De nombreux feux de circulation et caméras utilisent l'identification de la plaque d'immatriculation pour facturer des amendes et faciliter les recherches. La technologie d'identification des plaques d'immatriculation permet à un système de trafic de reconnaître une voiture et d'obtenir ses informations relatives à la propriété. Il utilise la segmentation d'image pour séparer une plaque d'immatriculation et ses informations du reste des objets présents dans sa vision. Cette technologie a considérablement simplifié le processus d'amende pour les gouvernements.

3. Recherche basée sur l'image

Google et d'autres moteurs de recherche qui offrent des fonctionnalités de recherche basées sur l'image utilisent des techniques de segmentation d'image pour identifier les objets présents dans votre image et comparer leurs résultats avec les images pertinentes qu'ils trouvent pour vous donner des résultats de recherche.

4. Imagerie médicale

Dans le secteur médical, nous utilisons la segmentation d'images pour localiser et identifier les cellules cancéreuses, mesurer les volumes de tissus, exécuter des simulations de chirurgie virtuelle et effectuer une navigation intra-chirurgicale. La segmentation d'images trouve de nombreuses applications dans le domaine médical. Il aide à identifier les zones touchées et à planifier des traitements pour celles-ci.

En dehors de ces applications, la segmentation d'images a des utilisations dans la fabrication, l'agriculture, la sécurité et de nombreux autres secteurs. À mesure que nos technologies de vision par ordinateur deviendront plus avancées, les utilisations des techniques de segmentation d'image augmenteront en conséquence.

Par exemple, certains fabricants ont commencé à utiliser des techniques de segmentation d'images pour trouver des produits défectueux. Ici, l'algorithme ne capturerait que les composants nécessaires de l'image de l'objet et les classerait comme défectueux ou optimaux. Ce système réduit le risque d'erreurs humaines et rend le processus de test plus efficace pour l'organisation.

Les implémentations courantes de la classification d'images sont en Python, C, C++ et Matlab.

Quels sont les différents types de segmentations d'images ?

La segmentation d'images est un sujet très vaste et a différentes manières d'aborder le processus. On peut classer la segmentation des images selon les paramètres suivants :

1. Classification basée sur l'approche

Dans son sens le plus élémentaire, la segmentation d'image est l'identification d'objet. Un algorithme ne peut pas classer les différents composants sans identifier d'abord un objet. Des implémentations simples aux implémentations compliquées, toutes les segmentations d'images fonctionnent sur la base de l'identification d'objets.

Ainsi, nous pouvons classer les méthodes de segmentation d'image en fonction de la manière dont les algorithmes identifient les objets, c'est-à-dire en collectant des pixels similaires et en les séparant des pixels différents. Il existe deux approches pour effectuer cette tâche :

Approche basée sur la région (détection de similarité)

Dans cette méthode, vous détectez des pixels similaires dans l'image en fonction d'un seuil sélectionné, d'une fusion de régions, d'un étalement de régions et d'une croissance de régions. Le clustering et des algorithmes d'apprentissage automatique similaires utilisent cette méthode pour détecter des fonctionnalités et des attributs inconnus. Les algorithmes de classification suivent cette approche pour détecter les caractéristiques et séparer les segments d'image en fonction de celles-ci.

Approche basée sur les limites (détection de la discontinuité)

L'approche basée sur les frontières est à l'opposé de l'approche basée sur les régions pour l'identification des objets. Contrairement à la détection basée sur la région, où vous trouvez des pixels ayant des caractéristiques similaires, vous trouvez des pixels qui sont différents les uns des autres dans l'approche basée sur les limites. La détection de point, la détection de bord, la détection de ligne et des algorithmes similaires suivent cette méthode où ils détectent le bord de pixels différents et les séparent du reste de l'image en conséquence.

2. Classification basée sur la technique

Les deux approches ont leurs techniques de segmentation d'image distinctes. Nous utilisons ces techniques en fonction du type d'image que nous voulons traiter et analyser et du type de résultats que nous voulons en tirer.

Sur la base de ces paramètres, nous pouvons diviser les algorithmes de segmentation d'image dans les catégories suivantes :

Techniques structurelles

Ces algorithmes nécessitent que vous disposiez des données structurelles de l'image que vous utilisez. Cela inclut les pixels, les distributions, les histogrammes, la densité de pixels, la distribution des couleurs et d'autres informations pertinentes. Ensuite, vous devez disposer des données structurelles sur la région que vous devez séparer de l'image.

Vous aurez besoin de ces informations pour que votre algorithme puisse identifier la région. Les algorithmes que nous utilisons pour ces implémentations suivent l'approche basée sur la région.

Techniques stochastiques

Ces algorithmes nécessitent des informations sur les valeurs de pixels discrètes de l'image, au lieu de la structure de la section requise de l'image. Pour cette raison, ils ne nécessitent pas beaucoup d'informations pour effectuer une segmentation d'image et sont utiles lorsque vous devez travailler avec plusieurs images. Les algorithmes d'apprentissage automatique tels que le clustering K-means et les algorithmes ANN entrent dans cette catégorie.

Techniques hybrides

Comme vous pouvez le deviner d'après leur nom, ces algorithmes utilisent à la fois des méthodes stochastiques et structurelles. Cela signifie qu'ils utilisent les informations structurelles de la région requise et les informations de pixels discrets de l'image entière pour effectuer la segmentation de l'image.

Quels sont les différents types de techniques de segmentation d'images ?

Maintenant que nous connaissons les différentes approches et types de techniques de segmentation d'images, nous pouvons commencer à discuter des détails. Voici les principaux types de techniques de segmentation d'image :

1. Seuil Segmentation
2. Segmentation basée sur la périphérie
3. Segmentation basée sur la région
4. Segmentation des bassins versants
5. Algorithmes de segmentation basés sur le clustering
6. Réseaux de neurones pour la segmentation

Discutons en détail de chacune de ces techniques pour comprendre leurs propriétés, avantages et limites :

1. Segmentation du seuil

La méthode la plus simple de segmentation en traitement d'image est la méthode du seuil. Il divise les pixels d'une image en comparant l'intensité du pixel à une valeur spécifiée (seuil). Il est utile lorsque l'objet requis a une intensité plus élevée que l'arrière-plan (parties inutiles).

Vous pouvez considérer la valeur de seuil (T) comme une constante, mais cela ne fonctionnerait que si l'image a très peu de bruit (informations et données inutiles). Vous pouvez garder la valeur de seuil constante ou dynamique selon vos besoins.

La méthode de seuillage convertit une image en niveaux de gris en une image binaire en la divisant en deux segments (sections obligatoires et non obligatoires).

Selon les différentes valeurs de seuil, nous pouvons classer la segmentation de seuillage dans les catégories suivantes :

Seuil simple

Dans cette méthode, vous remplacez les pixels de l'image par du blanc ou du noir. Maintenant, si l'intensité d'un pixel à une position particulière est inférieure à la valeur de seuil, vous le remplacerez par du noir. D'autre part, s'il est supérieur au seuil, vous le remplacerez par du blanc. Il s'agit d'un seuillage simple et particulièrement adapté aux débutants en segmentation d'images.

La binarisation d'Otsu

Dans le seuillage simple, vous avez choisi une valeur de seuil constante et l'avez utilisée pour effectuer une segmentation d'image. Cependant, comment déterminez-vous que la valeur que vous avez choisie était la bonne ? Bien que la méthode la plus simple consiste à tester différentes valeurs et à en choisir une, ce n'est pas la plus efficace.

Prenez une image avec un histogramme ayant deux pics, un pour le premier plan et un pour l'arrière-plan. En utilisant la binarisation Otsu, vous pouvez prendre la valeur approximative du milieu de ces pics comme valeur seuil.

Dans la binarisation Otsu, vous calculez la valeur seuil à partir de l'histogramme de l'image si l'image est bimodale.

Ce processus est très populaire pour numériser des documents, reconnaître des motifs et supprimer des couleurs inutiles d'un fichier. Cependant, il a de nombreuses limites. Vous ne pouvez pas l'utiliser pour des images qui ne sont pas bimodales (images dont les histogrammes ont plusieurs pics).

Seuil adaptatif

Avoir une valeur de seuil constante peut ne pas être une approche appropriée à adopter avec chaque image. Différentes images ont des arrière-plans et des conditions différents qui affectent leurs propriétés.

Ainsi, au lieu d'utiliser une valeur de seuil constante pour effectuer la segmentation sur l'ensemble de l'image, vous pouvez conserver la valeur de seuil variable. Dans cette technique, vous conserverez différentes valeurs de seuil pour différentes sections d'une image.

Cette méthode fonctionne bien avec des images qui ont des conditions d'éclairage variables. Vous devrez utiliser un algorithme qui segmente l'image en sections plus petites et calcule la valeur seuil pour chacune d'entre elles.

2. Segmentation basée sur les bords

La segmentation basée sur les bords est l'une des implémentations les plus populaires de la segmentation dans le traitement d'image. Il se concentre sur l'identification des bords de différents objets dans une image. Il s'agit d'une étape cruciale car elle vous aide à trouver les caractéristiques des différents objets présents dans l'image car les bords contiennent de nombreuses informations que vous pouvez utiliser.

La détection des bords est très populaire car elle vous aide à supprimer les informations indésirables et inutiles de l'image. Il réduit considérablement la taille de l'image, ce qui facilite son analyse.

Les algorithmes utilisés dans la segmentation basée sur les bords identifient les bords d'une image en fonction des différences de texture, de contraste, de niveau de gris, de couleur, de saturation et d'autres propriétés. Vous pouvez améliorer la qualité de vos résultats en connectant tous les bords dans des chaînes de bords qui correspondent plus précisément aux bordures de l'image.

Il existe de nombreuses méthodes de segmentation basées sur les bords disponibles. Nous pouvons les diviser en deux catégories :

Détection des bords basée sur la recherche

Les méthodes de détection de bord basées sur la recherche se concentrent sur le calcul d'une mesure de la force du bord et recherchent les maxima directionnels locaux de l'amplitude du gradient grâce à une estimation calculée de l'orientation locale du bord.

Détection des bords basée sur le passage à zéro

Les méthodes de détection des bords basées sur le passage par zéro recherchent les passages par zéro dans une expression dérivée extraite de l'image pour trouver les bords.

En règle générale, vous devrez prétraiter l'image pour supprimer les bruits indésirables et faciliter la détection des bords. Canny, Prewitt, Deriche et Roberts cross sont parmi les opérateurs de détection de bord les plus populaires. Ils facilitent la détection des discontinuités et la recherche des contours.

Dans la détection basée sur les bords, votre objectif est d'obtenir un minimum de segmentation partielle où vous pouvez regrouper tous les bords locaux dans une image binaire. Dans votre image binaire nouvellement créée, les chaînes d'arêtes doivent correspondre aux composants existants de l'image en question.

3. Segmentation basée sur la région

Les algorithmes de segmentation basés sur la région divisent l'image en sections avec des caractéristiques similaires. Ces régions ne sont qu'un groupe de pixels et l'algorithme trouve ces groupes en localisant d'abord un point de départ qui pourrait être une petite section ou une grande partie de l'image d'entrée.

Après avoir trouvé les points de départ, un algorithme de segmentation basé sur la région leur ajouterait plus de pixels ou les réduirait afin de pouvoir les fusionner avec d'autres points de départ.

Sur la base de ces deux méthodes, nous pouvons classer la segmentation basée sur les régions dans les catégories suivantes :

Région en croissance

Dans cette méthode, vous commencez avec un petit ensemble de pixels, puis vous commencez à fusionner de manière itérative plus de pixels en fonction de conditions de similarité particulières. Un algorithme de croissance de région choisirait un pixel de départ arbitraire dans l'image, le comparerait aux pixels voisins et commencerait à augmenter la région en trouvant des correspondances avec le point de départ.

Lorsqu'une région particulière ne peut plus se développer, l'algorithme sélectionne un autre pixel de départ qui pourrait n'appartenir à aucune région existante. Une région peut avoir trop d'attributs, ce qui lui fait occuper la majeure partie de l'image. Pour éviter une telle erreur, les algorithmes de croissance de région développent plusieurs régions en même temps.

Vous devez utiliser des algorithmes de croissance de région pour les images qui ont beaucoup de bruit car le bruit rendrait difficile la recherche de bords ou l'utilisation d'algorithmes de seuillage.

Fractionnement et fusion de régions

Comme son nom l'indique, une méthode focalisée de division et de fusion de régions effectuerait deux actions ensemble - diviser et fusionner des parties de l'image.

Il s'agirait d'abord de diviser l'image en régions qui ont des attributs similaires et de fusionner les parties adjacentes qui sont similaires les unes aux autres. Dans le fractionnement de région, l'algorithme considère l'image entière tandis que dans la croissance de région, l'algorithme se concentrerait sur un point particulier.

La méthode de division et de fusion de régions suit une méthodologie de division pour régner. Il divise l'image en différentes parties, puis les associe en fonction de ses conditions prédéterminées. Un autre nom pour les algorithmes qui effectuent cette tâche est les algorithmes de division-fusion.

4. Segmentation des bassins versants

En traitement d'image, un bassin versant est une transformation sur une image en niveaux de gris. Il fait référence au bassin versant géologique ou à une ligne de partage des eaux. Un algorithme de bassin versant traiterait l'image comme s'il s'agissait d'une carte topographique. Il considère la luminosité d'un pixel comme sa hauteur et trouve les lignes qui longent le sommet de ces crêtes.

Bassin versant a de nombreuses définitions techniques et a plusieurs applications. En plus d'identifier les crêtes des pixels, il se concentre sur la définition des bassins (le contraire des crêtes) et inonde les bassins de marqueurs jusqu'à ce qu'ils rencontrent les lignes de partage des eaux passant par les crêtes.

Comme les bassins ont beaucoup de marqueurs alors que les crêtes n'en ont pas, l'image est divisée en plusieurs régions en fonction de la "hauteur" de chaque pixel.

La méthode des bassins versants convertit chaque image en une carte topographique La méthode de segmentation des bassins versants refléterait la topographie à travers les valeurs de gris de leurs pixels.

Or, un paysage avec des vallées et des crêtes aurait certainement des aspects tridimensionnels. Le bassin versant prendrait en compte la représentation tridimensionnelle de l'image et créerait des régions en conséquence, appelées « bassins versants ».

Il a de nombreuses applications dans le secteur médical comme l'IRM, l'imagerie médicale, etc. La segmentation des bassins versants est une partie importante de la segmentation des images médicales, donc si vous voulez entrer dans ce secteur, vous devez vous concentrer sur l'apprentissage de cette méthode de segmentation dans le traitement d'image en particulier.

5. Algorithmes de segmentation basés sur le clustering

Si vous avez étudié les algorithmes de classification, vous devez avoir rencontré des algorithmes de clustering. Ce sont des algorithmes non supervisés qui vous aident à trouver des données cachées dans l'image qui pourraient ne pas être visibles pour une vision normale. Ces données cachées incluent des informations telles que les clusters, les structures, les ombrages, etc.

Comme son nom l'indique, un algorithme de regroupement divise l'image en grappes (groupes disjoints) de pixels qui ont des caractéristiques similaires. Il séparerait les éléments de données en clusters où les éléments d'un cluster sont plus similaires par rapport aux éléments présents dans d'autres clusters.

Certains des algorithmes de clustering populaires incluent les c-moyennes floues (FCM), les k-moyennes et les algorithmes améliorés de k-moyennes. Dans la segmentation d'image, vous utiliserez principalement l'algorithme de clustering k-means car il est assez simple et efficace. D'autre part, l'algorithme FCM place les pixels dans différentes classes selon leurs différents degrés d'appartenance.

Les algorithmes de clustering les plus importants pour la segmentation dans le traitement d'image sont :

K-means Clustering

K-means est un simple algorithme d'apprentissage automatique non supervisé. Il classe une image à travers un nombre spécifique de clusters. Il démarre le processus en divisant l'espace de l'image en k pixels qui représentent k centroïdes de groupe.

Ensuite, ils attribuent chaque objet au groupe en fonction de la distance entre eux et le centroïde. Lorsque l'algorithme a attribué tous les pixels à tous les clusters, il peut déplacer et réattribuer les centroïdes.

C flou signifie

Avec la méthode de clustering flou c-means, les pixels de l'image peuvent être regroupés en plusieurs clusters. Cela signifie qu'un pixel peut appartenir à plusieurs clusters. Cependant, chaque pixel aurait différents niveaux de similitudes avec chaque cluster. L'algorithme fuzzy c-means a une fonction d'optimisation qui affecte la précision de vos résultats.

Les algorithmes de clustering peuvent prendre en charge la plupart de vos besoins de segmentation d'image. Si vous souhaitez en savoir plus à leur sujet, consultez ce guide sur ce qu'est le clustering et les différents types d'algorithmes de clustering .

6. Réseaux de neurones pour la segmentation

Peut-être que vous ne voulez pas tout faire par vous-même. Peut-être souhaitez-vous qu'une IA effectue la plupart de vos tâches, ce que vous pouvez certainement faire avec des réseaux de neurones pour la segmentation d'images.

Vous utiliseriez l'IA pour analyser une image et identifier ses différents composants tels que les visages, les objets, le texte, etc. Les réseaux de neurones convolutifs sont très populaires pour la segmentation d'images car ils peuvent identifier et traiter les données d'image de manière très rapide et efficace.

Les experts de Facebook AI Research (FAIR) ont créé une architecture d'apprentissage en profondeur appelée Mask R-CNN qui peut créer un masque pixel par pixel pour chaque objet présent dans une image. Il s'agit d'une version améliorée de l'architecture de détection d'objets Faster R-CNN. Le Faster R-CNN utilise deux données pour chaque objet d'une image, les coordonnées de la boîte englobante et la classe de l'objet. Avec Mask R-CNN, vous obtenez une section supplémentaire dans ce processus. Masque R-CNN sort le masque d'objet après avoir effectué la segmentation.

Dans ce processus, vous devez d'abord transmettre l'image d'entrée au ConvNet qui génère la carte des fonctionnalités pour l'image. Ensuite, le système applique le réseau de proposition de région (RPN) sur les cartes d'entités et génère les propositions d'objet avec leurs scores d'objectivité.

Après cela, la couche de regroupement Roi est appliquée aux propositions pour les ramener à une taille. Dans la dernière étape, le système transmet les propositions à la couche connectée pour classification et génère la sortie avec les cadres de délimitation pour chaque objet.

En savoir plus sur la segmentation dans le traitement d'image

La segmentation dans le traitement d'images est certainement un vaste sujet avec beaucoup de sous-sections. Des diverses techniques de segmentation d'images aux algorithmes, il y a beaucoup à apprendre dans cette discipline. Avec autant de terrain à couvrir, vous pouvez facilement vous perdre et vous perdre.

C'est pourquoi nous vous recommandons de suivre un cours d'apprentissage automatique et d'IA pour surmonter ces problèmes. Un cours dans ce domaine vous apprendrait les bases ainsi que les concepts avancés de la segmentation d'images et des secteurs connexes. Vous découvrirez les différents concepts d'apprentissage automatique liés au traitement d'images, à la segmentation d'images et à la vision par ordinateur.

Les cours AI & ML vous permettront d'apprendre plus facilement tous les concepts pertinents, car vous obtiendrez un programme structuré à partir duquel étudier. Chez upGrad, nous proposons plusieurs cours en machine learning.

Voici les principaux cours que nous proposons en apprentissage automatique et en IA :

• Master of Science en apprentissage automatique et IA
• Programme post-universitaire exécutif en apprentissage automatique et intelligence artificielle
• Master of Science en apprentissage automatique et intelligence artificielle
• Certification PG en Machine Learning et Deep Learning
• Certification PG en Machine Learning et NLP

Tous ces cours vous permettent d'apprendre des experts de l'industrie qui résolvent vos doutes et répondent à vos questions lors de sessions en direct. Vous étudierez en ligne, ce qui signifie que vous n'aurez pas à vous déplacer ou à perturber votre travail pendant que vous suivez ces cours.

Ces cours vous donnent accès au Student Success Corner d'upGrad qui offre de nombreux avantages supplémentaires, notamment des commentaires personnalisés sur les CV, la préparation aux entretiens et l'orientation professionnelle. À la fin du cours, vous serez un professionnel de l'IA/ML prêt à l'emploi, doté de toutes les compétences générales et techniques nécessaires.

Conclusion

La segmentation d'images est certainement un sujet compliqué et avancé. Toutes les différentes techniques de segmentation d'images dont nous avons parlé dans cet article ont leurs avantages et leurs limites spécifiques. En vous familiarisant avec eux, vous aurez une idée de l'endroit où vous devez utiliser l'un et de l'endroit où vous devez éviter d'utiliser l'autre.

Avec toutes les compétences acquises, vous pouvez également être actif sur d'autres plates-formes compétitives pour tester vos compétences et obtenir encore plus de pratique.