Técnicas de segmentación de imágenes [Implementación paso a paso]

¿Qué ves primero cuando miras tu selfie? Tu cara, ¿verdad? Puedes detectar tu rostro porque tu cerebro es capaz de identificar tu rostro y separarlo del resto de la imagen (el fondo).

Ahora, si quisieras que tu computadora reconociera tu rostro en una selfie, ¿sería capaz de hacerlo?

Sí, siempre que pueda realizar la segmentación de imágenes.

En el artículo de hoy, analizaremos la segmentación de imágenes y todos sus aspectos principales, incluidas las diversas técnicas de segmentación de imágenes que puede utilizar. Sin embargo, es una lectura larga, por lo que recomendamos marcar este artículo como favorito para que pueda volver a leerlo más tarde.

Antes de comenzar a discutir las diversas técnicas de segmentación en el procesamiento de imágenes, primero debemos averiguar: "¿Qué es la segmentación de imágenes?"

¿Qué es la segmentación de imágenes?

La segmentación de imágenes es una rama del procesamiento de imágenes digitales que se enfoca en dividir una imagen en diferentes partes según sus características y propiedades. El objetivo principal de la segmentación de imágenes es simplificar la imagen para facilitar el análisis. En la segmentación de imágenes, divide una imagen en varias partes que tienen atributos similares. Las partes en las que divides la imagen se denominan Objetos de imagen.

Es el primer paso para el análisis de imágenes. Sin realizar la segmentación de imágenes, realizar implementaciones de visión por computadora sería casi imposible para usted.

Mediante el uso de técnicas de segmentación de imágenes, puede dividir y agrupar píxeles específicos de una imagen, asignarles etiquetas y clasificar más píxeles de acuerdo con estas etiquetas. Puede dibujar líneas, especificar bordes y separar objetos particulares (componentes importantes) en una imagen del resto de los objetos (componentes no importantes).

En el aprendizaje automático, puede usar las etiquetas que generó a partir de la segmentación de imágenes para el entrenamiento supervisado y no supervisado. Esto le permitiría resolver muchos problemas comerciales.

Un ejemplo sería mejor para entender cómo funciona la segmentación de imágenes.

Mira la siguiente imagen.

Fuente

Aquí, puedes ver una silla colocada en medio de un camino. Al usar la segmentación de imágenes, puede separar la silla de la imagen. Además, puede utilizar numerosas técnicas de segmentación de imágenes para obtener diferentes resultados. Por ejemplo, si desea utilizar una imagen con varias sillas, deberá utilizar la segmentación semántica.

Por otro lado, si quisieras identificar cada silla presente en una imagen como la siguiente, deberás usar la segmentación de instancias:

Fuente

¿Por qué es necesaria la segmentación de imágenes?

La segmentación de imágenes es un aspecto importante de la visión por computadora y tiene muchas aplicaciones en numerosas industrias. Algunas de las áreas notables donde la segmentación de imágenes se usa profusamente son:

1. Reconocimiento facial

La tecnología de reconocimiento facial presente en su iPhone y los sistemas de seguridad avanzados utilizan la segmentación de imágenes para identificar su rostro. Debe ser capaz de identificar las características únicas de su rostro para que cualquier persona no deseada no pueda acceder a su teléfono o sistema.

2. Identificación de matrícula

Muchos semáforos y cámaras utilizan la identificación de matrículas para cobrar multas y ayudar con las búsquedas. La tecnología de identificación de matrículas permite que un sistema de tráfico reconozca un automóvil y obtenga su información relacionada con la propiedad. Utiliza la segmentación de imágenes para separar una matrícula y su información del resto de objetos presentes en su visión. Esta tecnología ha simplificado considerablemente el proceso de multas para los gobiernos.

3. Búsqueda basada en imágenes

Google y otros motores de búsqueda que ofrecen funciones de búsqueda basadas en imágenes utilizan técnicas de segmentación de imágenes para identificar los objetos presentes en su imagen y comparar sus hallazgos con las imágenes relevantes que encuentran para brindarle resultados de búsqueda.

4. Imágenes médicas

En el sector médico, utilizamos la segmentación de imágenes para localizar e identificar células cancerosas, medir volúmenes de tejido, ejecutar simulaciones de cirugía virtual y realizar navegación intraoperatoria. La segmentación de imágenes tiene muchas aplicaciones en el sector médico. Ayuda a identificar las áreas afectadas y planificar tratamientos para las mismas.

Además de estas aplicaciones, la segmentación de imágenes tiene usos en la fabricación, la agricultura, la seguridad y muchos otros sectores. A medida que nuestras tecnologías de visión por computadora se vuelvan más avanzadas, los usos de las técnicas de segmentación de imágenes aumentarán en consecuencia.

Por ejemplo, algunos fabricantes han comenzado a utilizar técnicas de segmentación de imágenes para encontrar productos defectuosos. Aquí, el algoritmo capturaría solo los componentes necesarios de la imagen del objeto y los clasificaría como defectuosos u óptimos. Este sistema reduce el riesgo de errores humanos y hace que el proceso de prueba sea más eficiente para la organización.

Las implementaciones comunes de la clasificación de imágenes se encuentran en Python, C, C++ y Matlab.

¿Cuáles son los diferentes tipos de segmentaciones de imágenes?

La segmentación de imágenes es un tema muy amplio y tiene diferentes formas de abordar el proceso. Podemos clasificar la segmentación de imágenes según los siguientes parámetros:

1. Clasificación basada en el enfoque

En su sentido más básico, la segmentación de imágenes es la identificación de objetos. Un algoritmo no puede clasificar los diferentes componentes sin identificar primero un objeto. Desde implementaciones simples hasta complicadas, toda la segmentación de imágenes funciona en función de la identificación de objetos.

Por lo tanto, podemos clasificar los métodos de segmentación de imágenes en función de la forma en que los algoritmos identifican objetos, lo que significa recopilar píxeles similares y separarlos de píxeles diferentes. Hay dos enfoques para realizar esta tarea:

Enfoque basado en regiones (detección de similitudes)

En este método, detecta píxeles similares en la imagen de acuerdo con un umbral seleccionado, fusión de regiones, expansión de regiones y crecimiento de regiones. La agrupación en clústeres y algoritmos de aprendizaje automático similares utilizan este método para detectar características y atributos desconocidos. Los algoritmos de clasificación siguen este enfoque para detectar características y separar segmentos de imágenes de acuerdo con ellas.

Enfoque basado en límites (detección de discontinuidad)

El enfoque basado en límites es lo opuesto al enfoque basado en regiones para la identificación de objetos. A diferencia de la detección basada en regiones, donde encuentra píxeles que tienen características similares, encuentra píxeles que son diferentes entre sí en el enfoque basado en límites. La detección de puntos, la detección de bordes, la detección de líneas y algoritmos similares siguen este método en el que detectan el borde de píxeles diferentes y los separan del resto de la imagen en consecuencia.

2. Clasificación basada en técnicas

Ambos enfoques tienen sus distintas técnicas de segmentación de imágenes. Utilizamos estas técnicas de acuerdo con el tipo de imagen que queremos procesar y analizar y el tipo de resultados que queremos derivar de ella.

Según estos parámetros, podemos dividir los algoritmos de segmentación de imágenes en las siguientes categorías:

Técnicas Estructurales

Estos algoritmos requieren que tengas los datos estructurales de la imagen que estás usando. Esto incluye píxeles, distribuciones, histogramas, densidad de píxeles, distribución de color y otra información relevante. Luego, debe tener los datos estructurales sobre la región que debe separar de la imagen.

Necesitará esa información para que su algoritmo pueda identificar la región. Los algoritmos que usamos para estas implementaciones siguen el enfoque basado en regiones.

Técnicas Estocásticas

Estos algoritmos requieren información sobre los valores de píxeles discretos de la imagen, en lugar de la estructura de la sección requerida de la imagen. Debido a esto, no requieren mucha información para realizar la segmentación de imágenes y son útiles cuando se tiene que trabajar con múltiples imágenes. Los algoritmos de aprendizaje automático, como la agrupación en clústeres de K-means y los algoritmos ANN, se encuentran en esta categoría.

Técnicas Híbridas

Como puede adivinar por el nombre, estos algoritmos utilizan métodos estocásticos y estructurales. Esto significa que utilizan la información estructural de la región requerida y la información de píxeles discretos de la imagen completa para realizar la segmentación de la imagen.

¿Cuáles son los diferentes tipos de técnicas de segmentación de imágenes?

Ahora que conocemos los diferentes enfoques y tipos de técnicas para la segmentación de imágenes, podemos comenzar a discutir los detalles. Los siguientes son los tipos principales de técnicas de segmentación de imágenes:

1. Segmentación de umbral
2. Segmentación basada en bordes
3. Segmentación basada en regiones
4. Segmentación de cuencas hidrográficas
5. Algoritmos de segmentación basados ​​en agrupamiento
6. Redes neuronales para segmentación

Analicemos cada una de estas técnicas en detalle para comprender sus propiedades, beneficios y limitaciones:

1. Segmentación de umbral

El método más simple para la segmentación en el procesamiento de imágenes es el método de umbral. Divide los píxeles de una imagen comparando la intensidad del píxel con un valor específico (umbral). Es útil cuando el objeto requerido tiene una intensidad mayor que el fondo (partes innecesarias).

Puede considerar el valor de umbral (T) como una constante, pero solo funcionaría si la imagen tiene muy poco ruido (información y datos innecesarios). Puede mantener el valor de umbral constante o dinámico según sus requisitos.

El método de umbralización convierte una imagen en escala de grises en una imagen binaria al dividirla en dos segmentos (secciones requeridas y no requeridas).

Según los diferentes valores de umbral, podemos clasificar la segmentación por umbral en las siguientes categorías:

Umbral simple

En este método, reemplaza los píxeles de la imagen con blanco o negro. Ahora, si la intensidad de un píxel en una posición particular es menor que el valor de umbral, lo reemplazaría con negro. Por otro lado, si es más alto que el umbral, lo reemplazaría con blanco. Este es un umbral simple y es particularmente adecuado para principiantes en la segmentación de imágenes.

Binarización de Otsu

En el umbral simple, eligió un valor de umbral constante y lo usó para realizar la segmentación de imágenes. Sin embargo, ¿cómo determina que el valor que eligió fue el correcto? Si bien el método sencillo para esto es probar diferentes valores y elegir uno, no es el más eficiente.

Tome una imagen con un histograma que tenga dos picos, uno para el primer plano y otro para el fondo. Al usar la binarización de Otsu, puede tomar el valor aproximado de la mitad de esos picos como su valor de umbral.

En la binarización de Otsu, calcula el valor de umbral a partir del histograma de la imagen si la imagen es bimodal.

Este proceso es bastante popular para escanear documentos, reconocer patrones y eliminar colores innecesarios de un archivo. Sin embargo, tiene muchas limitaciones. No puede usarlo para imágenes que no son bimodales (imágenes cuyos histogramas tienen múltiples picos).

Umbral adaptativo

Tener un valor de umbral constante puede no ser un enfoque adecuado para cada imagen. Diferentes imágenes tienen diferentes fondos y condiciones que afectan sus propiedades.

Por lo tanto, en lugar de usar un valor de umbral constante para realizar la segmentación en toda la imagen, puede mantener la variable del valor de umbral. En esta técnica, mantendrá diferentes valores de umbral para diferentes secciones de una imagen.

Este método funciona bien con imágenes que tienen diferentes condiciones de iluminación. Deberá usar un algoritmo que segmente la imagen en secciones más pequeñas y calcule el valor de umbral para cada una de ellas.

2. Segmentación basada en el borde

La segmentación basada en bordes es una de las implementaciones más populares de segmentación en el procesamiento de imágenes. Se enfoca en identificar los bordes de diferentes objetos en una imagen. Este es un paso crucial ya que lo ayuda a encontrar las características de los diversos objetos presentes en la imagen, ya que los bordes contienen mucha información que puede usar.

La detección de bordes es muy popular porque lo ayuda a eliminar información no deseada e innecesaria de la imagen. Reduce considerablemente el tamaño de la imagen, facilitando el análisis de la misma.

Los algoritmos utilizados en la segmentación basada en bordes identifican los bordes de una imagen según las diferencias de textura, contraste, nivel de gris, color, saturación y otras propiedades. Puede mejorar la calidad de sus resultados conectando todos los bordes en cadenas de bordes que coincidan con los bordes de la imagen con mayor precisión.

Hay muchos métodos de segmentación basados ​​en bordes disponibles. Podemos dividirlos en dos categorías:

Detección de bordes basada en búsqueda

Los métodos de detección de bordes basados ​​en la búsqueda se centran en calcular una medida de la fuerza del borde y buscan máximos direccionales locales de la magnitud del gradiente a través de una estimación calculada de la orientación local del borde.

Detección de borde basada en cruce por cero

Los métodos de detección de bordes basados ​​en el cruce por cero buscan cruces por cero en una expresión derivada recuperada de la imagen para encontrar los bordes.

Por lo general, deberá procesar previamente la imagen para eliminar el ruido no deseado y facilitar la detección de bordes. Canny, Prewitt, Deriche y Roberts cross son algunos de los operadores de detección de bordes más populares. Facilitan la detección de discontinuidades y la búsqueda de bordes.

En la detección basada en bordes, su objetivo es obtener un mínimo de segmentación parcial en el que pueda agrupar todos los bordes locales en una imagen binaria. En su imagen binaria recién creada, las cadenas de borde deben coincidir con los componentes existentes de la imagen en cuestión.

3. Segmentación basada en regiones

Los algoritmos de segmentación basados ​​en regiones dividen la imagen en secciones con características similares. Estas regiones son solo un grupo de píxeles y el algoritmo encuentra estos grupos localizando primero un punto inicial que podría ser una pequeña sección o una gran parte de la imagen de entrada.

Después de encontrar los puntos semilla, un algoritmo de segmentación basado en regiones les agregaría más píxeles o los reduciría para poder fusionarlos con otros puntos semilla.

Según estos dos métodos, podemos clasificar la segmentación basada en regiones en las siguientes categorías:

Región en crecimiento

En este método, comienza con un pequeño conjunto de píxeles y luego comienza a fusionar iterativamente más píxeles de acuerdo con condiciones de similitud particulares. Un algoritmo de crecimiento de región elegiría un píxel semilla arbitrario en la imagen, lo compararía con los píxeles vecinos y comenzaría a aumentar la región encontrando coincidencias con el punto semilla.

Cuando una región en particular no puede crecer más, el algoritmo elegirá otro píxel inicial que podría no pertenecer a ninguna región existente. Una región puede tener demasiados atributos, lo que hace que ocupe la mayor parte de la imagen. Para evitar este error, los algoritmos de crecimiento de regiones hacen crecer varias regiones al mismo tiempo.

Debe usar algoritmos de crecimiento de regiones para imágenes que tienen mucho ruido, ya que el ruido dificultaría la búsqueda de bordes o el uso de algoritmos de umbral.

División y fusión de regiones

Como sugiere el nombre, un método enfocado de división y fusión de regiones realizaría dos acciones juntas: dividir y fusionar partes de la imagen.

Primero dividiría la imagen en regiones que tienen atributos similares y fusionaría las partes adyacentes que son similares entre sí. En la división de regiones, el algoritmo considera la imagen completa, mientras que en el crecimiento de regiones, el algoritmo se centraría en un punto en particular.

El método de división y fusión de regiones sigue una metodología de divide y vencerás. Divide la imagen en diferentes porciones y luego las empareja de acuerdo con sus condiciones predeterminadas. Otro nombre para los algoritmos que realizan esta tarea es algoritmos de división y combinación.

4. Segmentación de cuencas hidrográficas

En el procesamiento de imágenes, una cuenca hidrográfica es una transformación en una imagen en escala de grises. Se refiere a la cuenca hidrográfica geológica o una divisoria de drenaje. Un algoritmo de cuenca manejaría la imagen como si fuera un mapa topográfico. Considera el brillo de un píxel como su altura y encuentra las líneas que corren a lo largo de la parte superior de esas crestas.

Watershed tiene muchas definiciones técnicas y tiene varias aplicaciones. Además de identificar las crestas de los píxeles, se enfoca en definir las cuencas (lo opuesto a las crestas) e inunda las cuencas con marcadores hasta que se encuentran con las líneas divisorias de aguas que atraviesan las crestas.

Como las cuencas tienen muchos marcadores mientras que las crestas no, la imagen se divide en varias regiones según la "altura" de cada píxel.

El método de cuencas hidrográficas convierte cada imagen en un mapa topográfico. El método de segmentación de cuencas hidrográficas reflejaría la topografía a través de los valores de gris de sus píxeles.

Ahora bien, un paisaje con valles y crestas ciertamente tendría aspectos tridimensionales. La cuenca consideraría la representación tridimensional de la imagen y crearía regiones en consecuencia, que se denominan "cuencas de captación".

Tiene muchas aplicaciones en el sector médico, como resonancia magnética, imágenes médicas, etc. La segmentación de cuencas hidrográficas es una parte importante de la segmentación de imágenes médicas, por lo que si desea ingresar a ese sector, debe concentrarse en aprender este método para la segmentación en el procesamiento de imágenes en particular.

5. Algoritmos de segmentación basados ​​en agrupamiento

Si ha estudiado algoritmos de clasificación, debe haberse topado con algoritmos de agrupamiento. Son algoritmos no supervisados ​​y lo ayudan a encontrar datos ocultos en la imagen que pueden no ser visibles para una visión normal. Estos datos ocultos incluyen información como grupos, estructuras, sombras, etc.

Como sugiere el nombre, un algoritmo de agrupamiento divide la imagen en grupos (grupos disjuntos) de píxeles que tienen características similares. Separaría los elementos de datos en grupos donde los elementos de un grupo son más similares en comparación con los elementos presentes en otros grupos.

Algunos de los algoritmos de agrupamiento populares incluyen algoritmos de c-means difusos (FCM), k-means y k-means mejorados. En la segmentación de imágenes, usaría principalmente el algoritmo de agrupación en clústeres k-means, ya que es bastante simple y eficiente. Por otro lado, el algoritmo FCM coloca los píxeles en diferentes clases de acuerdo con sus distintos grados de pertenencia.

Los algoritmos de agrupamiento más importantes para la segmentación en el procesamiento de imágenes son:

Clúster de K-medias

K-means es un algoritmo simple de aprendizaje automático no supervisado. Clasifica una imagen a través de un número específico de grupos. Comienza el proceso dividiendo el espacio de la imagen en k píxeles que representan k centroides de grupo.

Luego asignan cada objeto al grupo en función de la distancia entre ellos y el centroide. Cuando el algoritmo ha asignado todos los píxeles a todos los grupos, puede mover y reasignar los centroides.

Medios difusos de C

Con el método de agrupamiento fuzzy c-means, los píxeles de la imagen pueden agruparse en múltiples grupos. Esto significa que un píxel puede pertenecer a más de un grupo. Sin embargo, cada píxel tendría diferentes niveles de similitud con cada grupo. El algoritmo fuzzy c-means tiene una función de optimización que afecta la precisión de sus resultados.

Los algoritmos de agrupamiento pueden encargarse de la mayoría de sus necesidades de segmentación de imágenes. Si desea obtener más información sobre ellos, consulte esta guía sobre qué es el agrupamiento y los diferentes tipos de algoritmos de agrupamiento .

6. Redes Neuronales para Segmentación

Tal vez no quieras hacerlo todo tú solo. Tal vez desee que una IA realice la mayoría de sus tareas, lo que ciertamente puede hacer con redes neuronales para la segmentación de imágenes.

Usaría IA para analizar una imagen e identificar sus diferentes componentes, como caras, objetos, texto, etc. Las redes neuronales convolucionales son bastante populares para la segmentación de imágenes porque pueden identificar y procesar datos de imágenes de manera mucho más rápida y eficiente.

Los expertos de Facebook AI Research (FAIR) crearon una arquitectura de aprendizaje profundo llamada Mask R-CNN que puede crear una máscara de píxeles para cada objeto presente en una imagen. Es una versión mejorada de la arquitectura de detección de objetos Faster R-CNN. Faster R-CNN utiliza dos piezas de datos para cada objeto en una imagen, las coordenadas del cuadro delimitador y la clase del objeto. Con Mask R-CNN, obtienes una sección adicional en este proceso. Máscara R-CNN genera la máscara del objeto después de realizar la segmentación.

En este proceso, primero pasaría la imagen de entrada a ConvNet, que genera el mapa de características para la imagen. Luego, el sistema aplica la red de propuesta de región (RPN) en los mapas de características y genera las propuestas de objetos con sus puntajes de objetualidad.

Después de eso, la capa de agrupación de Roi se aplica a las propuestas para reducirlas a un tamaño. En la etapa final, el sistema pasa las propuestas a la capa conectada para su clasificación y genera la salida con los cuadros delimitadores para cada objeto.

Obtenga más información sobre la segmentación en el procesamiento de imágenes

La segmentación en el procesamiento de imágenes es ciertamente un tema amplio con muchas subsecciones. Desde varias técnicas de segmentación de imágenes hasta algoritmos, hay mucho que aprender en esta disciplina. Con tanto terreno por cubrir, es fácil perderse y confundirse.

Es por eso que recomendamos tomar un curso de aprendizaje automático e IA para superar estos problemas. Un curso sobre este tema le enseñaría los conceptos básicos y avanzados de la segmentación de imágenes y los sectores relacionados. Aprenderá sobre los diferentes conceptos de aprendizaje automático relacionados con el procesamiento de imágenes, la segmentación de imágenes y la visión artificial.

Los cursos de AI y ML le facilitarán el aprendizaje de todos los conceptos relevantes porque obtendrá un plan de estudios estructurado para estudiar. En upGrad, ofrecemos múltiples cursos de aprendizaje automático.

Los siguientes son los cursos principales que ofrecemos en aprendizaje automático e IA:

• Maestría en Ciencias en Aprendizaje Automático e IA
• Programa Ejecutivo de Postgrado en Machine Learning e Inteligencia Artificial
• Maestría en Ciencias en Aprendizaje Automático e Inteligencia Artificial
• Certificación PG en Machine Learning y Deep Learning
• Certificación PG en Machine Learning y PNL

Todos estos cursos te permiten aprender de la mano de expertos de la industria que resuelven tus dudas y responden tus preguntas en sesiones en vivo. Estudiarás en línea, lo que significa que no tendrás que ir a ningún lado ni interrumpir tu trabajo mientras tomas estos cursos.

Estos cursos le dan acceso al Rincón del Éxito Estudiantil de upGrad, que ofrece muchas ventajas adicionales, como comentarios personalizados sobre el currículum, preparación para entrevistas y asesoramiento profesional. Al final del curso, será un profesional de AI/ML listo para el trabajo equipado con todas las habilidades blandas y duras necesarias.

Conclusión

La segmentación de imágenes es ciertamente un tema complicado y avanzado. Todas las diversas técnicas de segmentación de imágenes que discutimos en este artículo tienen sus ventajas y limitaciones específicas. Al familiarizarse con ellos, obtendrá una idea de dónde debe usar uno y dónde debe evitar usar el otro.

Con todas las habilidades aprendidas, también puede activarse en otras plataformas competitivas para probar sus habilidades y obtener aún más experiencia práctica.