A new algorithm for detecting and correcting bad pixels in infrared images

Nuevo algoritmo de detección y corrección de píxeles anómalos en imágenes

An image processing algorithm detects and replaces abnormal pixels individually, highlighting them amongst their neighbours in a sequence of thermal images without affecting overall texture, like classical filtering does. Bad pixels from manufacture or constant use of a CCD device in an IR camera are thus detected and replaced with a very good success rate, thereby reducing the risk of bad interpretation. Some thermal sequences from CFRP plates, taken by a Cincinnati Electronics InSb IR camera, were used for developing and testing this algorithm. The results were compared to a detailed list of bad pixels given by the manufacturer (about 70% coincidence). This work becomes relevant considering that the number of papers on this subject is low; most of them talk about astronomical image pre-processing. Moreover, thermographic non-destructive testing (TNDT) techniques are gaining popularity in Colombia at introductory levels in industrial sectors such as energy generation and transmission, sugar production and military aeronautics.

Se expone un nuevo algoritmo de procesamiento de imágenes para detectar y corregir píxeles anómalos que resalten de manera individual entre sus vecinos en imágenes de una secuencia térmica obtenida a partir de un procedimiento de termografía activa, sin afectar la apariencia global de cada imagen, como ocurre al emplear una estrategia clásica de filtrado espacial. Como resultado principal de este filtrado selectivo, se detectan y reemplazan en un alto porcentaje aquellos píxeles defectuosos de fabricación o por el uso continuo del dispositivo CCD de la cámara infrarroja, lo cual reduce el riesgo de malas interpretaciones en el análisis posterior. Para el desarrollo y prueba del algoritmo propuesto se utilizaron secuencias de video tomadas con una cámara Cincinnati Electronics de indio-antimonio (InSb) para inspeccionar láminas de CFRP (plástico reforzado con fibra de carbono) mediante la técnica de termografía activa. Los resultados del algoritmo se comparan con una lista de píxeles defectuosos dada por el fabricante de la cámara, arrojando un porcentaje de coincidencia de alrededor del 70%. El presente trabajo toma relevancia al considerar que en la literatura científica se encuentran muy pocos estudios en este campo, centrándose la mayoría en el preprocesamiento de imágenes astronómicas; además, en Colombia se está en una etapa de introducción creciente de técnicas de evaluación no destructiva por termografía (ENDT) en amplios sectores industriales que incluyen generación y transmisión de energía, ingenios azucareros y aeronáutica militar, entre otros.

• HTML (es)
• HTML (en)

Nuevo algoritmo de detección y corrección de píxeles anómalos en imágenes A new algorithm for detecting and correcting bad pixels in infrared images

Andrés David Restrepo Girón¹ y Humberto Loaiza Correa²

¹ Ingeniero Electrónico. M.Sc., en Automática, Universidad del Valle, Cali, Colombia. Candidato a Ph.D., en Ingeniería, énfasis en Ing. Eléctrica y Electrónica, Universidad del Valle, Cali, Colombia.Profesor, Universidad Santiago de Cali, Cali, Colombia. Director , Programa de Ingeniería Electrónica, Universidad Santiago de Cali, Cali, Colombia. adareg378@gmail.com ² Ingeniero Electricista. M.Sc., en Automática, Universidad del Valle, Cali, Colombia. Ph.D., en Robótica y Visión Artificial, L'Université d'Evry, Francia. Profesor titular, Universidad del Valle, Cali, Colombia. Co-director, Grupo de Investigación en Percepción y Sistemas Inteligentes (PSI). hloaiza@univalle.edu.co

---

RESUMEN

Palabras clave: corrección de píxeles, imágenes infrarrojas, termografía, evaluación no destructiva (END).

---

ABSTRACT

An image processing algorithm detects and replaces abnormal pixels individually, highlighting them amongst their neighbours in a sequence of thermal images without affecting overall texture, like classical filtering does. Bad pixels from manufacture or constant use of a CCD device in an IR camera are thus detected and replaced with a very good success rate, thereby reducing the risk of bad interpretation. Some thermal sequences from CFRP plates, taken by a Cincinnati Electronics InSb IR camera, were used for developing and testing this algorithm. The results were compared to a detailed list of bad pixels given by the manufacturer (about 70% coincidence). This work becomes relevant considering that the number of papers on this subject is low; most of them talk about astronomical image preprocessing. Moreover, thermographic non-destructive testing (TNDT) techniques are gaining popularity in Colombia at introductory levels in industrial sectors such as energy generation and transmission, sugar production and military aeronautics.

Keywords: pixel correction, infrared image, thermography, non-destructive testing (NDT).

---

Recibido: junio 04 de 2009 Aceptado: julio 22 de 2010

Introducción

Los píxeles anómalos o defectuosos pueden definirse como aquellos que se apartan considerablemente del comportamiento promedio de sus vecinos, ya sea por defectos de fabricación, caso más común (Dargaud, 2009; Rodríguez, 2009), o por la incidencia periódica de radiación en el sensor durante su funcionamiento, como ocurre en la captura de imágenes astronómicas (Cresite-llo-Dittmar, 2001), o debido a interferencia de algún tipo de funcionamiento, como ocurre en la captura de imágenes astronómicas (Cresitello-Dittmar, 2001), o debido a interferencia de algún tipo de radiación parásita en el dispositivo CCD en aplicaciones que involucran energías de alta frecuencia (Li et al., 2006), según lo que se desee captar. De manera general, se encuentran en la literatura (Dargaud, 2009; Brändström, 2009) dos tipos básicos de píxeles anómalos de acuerdo con su nivel de gris: píxeles muertos, que permanecen siempre a un nivel promedio muy bajo o presentan muy poca sensibilidad; y píxeles calientes, que conservan, por el contrario, un nivel muy alto, siendo comunes en imágenes de astrofísica, donde pueden confundirse con cuerpos astronómicos luminosos. En dispositivos de color se habla de un tercer tipo de píxel defec-tuoso: los píxeles atrofiados (stuck) en los que se encuentran varios subpíxeles siempre encendidos o apagados, haciendo que el píxel RGB adopte generalmente un tono constante (Dargaud, 2009; Rodríguez, 2009). Todas estas clases de píxeles pueden darse de forma individual, en columnas o en grupos (cluster) (Pixel Fixer, 2009; Zamorano, 2009).

Los píxeles defectuosos son inevitables durante la fabricación de dispositivos CCD, aunque los estándares de calidad exijan que sean relativamente muy pocos. Por ello los fabricantes acostumbran entregar una lista detallada de estos píxeles. Sin embargo, el hecho es que no siempre se cuenta con una de estas listas, y aun teniéndola, existe tendencia en dichos dispositivos, conforme su utilización se extiende en el tiempo, a presentar incremento en el número de píxeles anómalos (Harbarth et al., 2005; Universidad de Harvard, 2009), a lo que se une también la permanente susceptibilidad al ruido electrónico. De otra parte, y adicionalmente, en ciertas aplicaciones se producen en las imágenes captadas “motas” (spots) de píxeles con niveles anormales a simple vista, no debidas a defectos de fabricación, sino a haces de radiación externa no deseada, ante la cual el dispositivo resulta sensible (Li et al., 2006). De modo tal que la detección y reemplazo de píxeles anómalos constituye un problema que ha venido tratándose mediante métodos de procesamiento estadístico, en oposición a los métodos de filtrado clásico, que no son efectivos a la hora de corregir píxeles anómalos agrupados, y además perturban la textura global de la imagen (Li et al., 2006); también se emplean métodos comparativos —escena totalmente oscura o blanca— (Dargaud, 2009), e interpolación (Zamorano, 2009; Brändström, 2009). Sin embargo, cada método desarrollado depende del tipo de imagen en cuestión y de las características de adquisición de las imágenes.

En las aplicaciones de termografía activa es común recurrir a la lista de píxeles defectuosos dada por el fabricante para reemplazarlos por la intensidad de algún píxel vecino (Benítez, 2008), o a la utilización del filtro mediana; no obstante, las consecuencias de la aparición de estos píxeles anómalos debido a una o varias de las causas citadas, se resumen en una disminución del contraste general de las imágenes infrarrojas y por ende del contraste térmico necesario para un procedimiento eficiente de END. Esto constituye una desventaja evidente no sólo desde el aspecto meramente visual de la inspección, sino también en el sentido de reducir el rango dinámico de la intensidad de aquellos píxeles no defectuosos y con él la probabilidad de éxito en la ejecución de un algoritmo de clasificación y caracterización automático de defectos reales del material. Con el fin de mostrar estas ideas, en la sección siguiente se revelan ciertas características experimentales de los píxeles anómalos en imágenes térmicas y algunos efectos prácticos que pueden presentarse al intentar corregirlos mediante técnicas más clásicas, para lo cual se emplean secuencias de video sin procesamiento

previo alguno, tomadas con una cámara Cincinnati Electronics de indio-antimonio (InSb) durante la inspección de láminas de CFRP (plástico reforzado con fibra de carbono) mediante la técnica de termografía activa (Benítez, 2008; Benítez, 2007a; Benítez, 2007b); posteriormente se explica de manera secuencial el procesamiento propuesto para la detección y corrección de dichos píxeles, se muestran los resultados de su aplicación, y se finaliza con las conclusiones del trabajo.

Evidencia experimental

En la Figura 1a se encierran en círculos blancos sobre una región de imagen térmica tomada a una placa de CFRP después del impulso de calor y sin preprocesamiento, tres píxeles dañados de a-cuerdo a la lista dada por el fabricante de la cámara. En la Figura 1b se enumeran, entonces, 6 píxeles: 3 de ellos en buen estado (1, 2 y 3) y los otros tres (4, 5 y 6) correspondientes a los píxeles defectuosos en la imagen de la izquierda. Para estos 6 píxeles se calcularon sus perfiles térmicos como curvas de intensidad de gris evolucionando en el tiempo —en cada instante de muestreo se tiene una imagen o trama (frame) de la secuencia denominada comúnmente como termograma—. Estas curvas se revelan en la Figura 2, en la que cada curva está asociada al número asignado en la Figura 1b al píxel correspondiente. En ella puede observarse que los 3 píxeles que se sabe están en mal estado (4, 5 y 6) responden únicamente al impulso de calor, momento en el cual se obtiene una saturación de intensidad en la imagen. A partir de este instante los 3 perfiles indicados decaen mucho más rápidamente que los píxeles en buen estado (1, 2 y 3).

En principio, podría pensarse en una medición de energía sobre la función de intensidad en el tiempo para cada píxel de la secuencia de imágenes, con el fin de deducir que aquellos píxeles con mínima energía evolucionan distinto a como lo hacen los píxeles “normales”. Sin embargo, con esta aproximación al problema se presentan dos circunstancias que juegan en contra: la primera tiene que ver con el hecho de que sin un procesamiento previo las intensidades promedio de los perfiles anteriores difieren bastante entre sí, como en el caso del perfil 4, que perteneciendo a un píxel dañado, su valor de energía sería el más grande de todos; lo anterior puede corregirse hasta cierto punto restando a toda la secuencia una de las imágenes frías (imágenes antes del pulso de calor), como se muestra en la Figura 3.

Pero es aquí donde se da la segunda posibilidad: el valor de energía del perfil térmico de un píxel en buen estado podría ser sufícientemente bajo como para determinar incorrectamente que está en mal estado. Esta situación podría presentarse con los píxeles que corresponden a zonas sanas del material, y sobre todo los que caen en la periferia de las imágenes debido al efecto de vignetting (Benítez, 2008).

Para mermar esta probabilidad de fallo en la detección habría que compensar el vignetting y trabajar con una secuencia que incluya las imágenes durante o justo después de la excitación de calor, para lograr un mayor contraste entre perfiles. No obstante, subyace el problema del calentamiento no uniforme.

Otra solución posible la constituye el uso del filtrado de mediana sobre cada imagen de la secuencia, considerando que los píxeles anómalos están por lo general rodeados cada uno por píxeles en buen estado, por lo que en imágenes bien contrastadas pasarían por ruido sal y pimienta. Bajo esta suposición, y a pesar de que una operación de filtrado no detectaría individualmente los píxeles en mal estado, la operación citada sí reemplazaría automáticamente dichos puntos por la intensidad mediana de sus píxeles vecinos. Sin embargo, el procedimiento podría no ser aceptable debido a otras dos circunstancias posibles: la primera tiene que ver con que al aplicar el filtro de mediana se afecta la nitidez global de cada imagen, lo que tal vez no sea justificable cuando se tengan muy pocos píxeles defectuosos; la segunda consiste en la probable ocurrencia de un grupo de píxeles en mal estado vecinos entre sí, hecho frente al cual un filtrado de mediana con un tamaño mínimo de máscara entregue imágenes aún con indicios de píxeles “extraños” (Figura 4). Para este último caso habría que repetir de nuevo el mismo filtrado o aplicar desde un principio un filtrado más agresivo (máscaras más grandes), ambas acciones con consecuencias de suavizado apreciable o incluso inaceptable en las imágenes resultantes.

Solución planteada

A partir de los perfiles examinados, y buscando peculiaridades de los píxeles anómalos con respecto a los demás en las imágenes infrarrojas de diferentes secuencias termográficas, se llegó a la conclusión de que aquellos píxeles defectuosos por lo general se diferencian espacial y temporalmente (en sus intensidades) de sus vecinos próximos en buen estado. El procedimiento de detección, entonces, consiste de manera general en calcular un valor que indique de alguna manera la diferencia entre un píxel y sus 8 vecinos dentro de cada imagen de la secuencia (característica espacial involucrada) para luego acumular dichas diferencias a toda la secuencia (característica temporal involucrada); una vez detectados, sus intensidades son reemplazadas por el promedio de intensidad de los 8-vecinos en buen estado. La ejecución del procedimiento propuesto para la detección y reemplazo automático de los píxeles anómalos se realizó en el programa Matlab, haciendo uso principalmente de su toolbox de procesamiento digital de imágenes (Mathworks, 2007), y se organiza detalladamente en los siguientes pasos:

1) Inicialmente se extraen de una secuencia térmica completa todas las imágenes capturadas justo después del impulso de calor y posteriormente se les resta una de las imágenes frías (no incluidas en la secuencia de trabajo por estar antes del pulso de calor) para mejorar el contraste. Con esta resta también se consigue que todos los píxeles anómalos tiendan a verse como puntos oscuros en la imagen monocromática, incluso los que se apreciaban como detalles brillantes (Figuras 2 y 3).

2) De la secuencia de N imágenes se escogen M de ellas (M ≤ N) para analizarlas; entre mayor sea este número, más confiables serían los resultados en cuanto a una menor posibilidad de falsas detecciones, pero el procedimiento incrementa considerablemente su tiempo de ejecución.

3) Se calcula para cada píxel de cada uno de los M termogramas que se utilicen para el análisis, un valor que indicará su grado de diferencia con respecto a sus 8-vecinos. Este valor diferencia VD(p_kj) se ha definido como la mediana de las diferencias absolutas entre el pixel p_kj y sus 8-vecinos N₈(p_kj):

La mediana como herramienta de cálculo presentó una mejor adaptación a situaciones tales como la presencia de un píxel dañado en la 8-vecindad de un píxel en buen estado, lo cual hace que el resultado de la suma o la media, como alternativas a la mediana, se vea más influenciado por el efecto de una única diferencia abrupta entre las ocho diferencias de intensidades que se tienen, lo que puede llevar a un mayor número de falsos positivos.

4) Reemplazando cada píxel por su valor diferencia se obtienen nuevas matrices de imagen, de modo que después de repetir este procedimiento a través de las M tramas elegidas para la búsqueda, resulta una nueva secuencia. Realizando ahora la suma de todas las imágenes de esta secuencia, píxel a píxel, se genera una imagen resultante Idsum, donde cada píxel q_kj está dado por:

Al normalizar convenientemente las intensidades de los q_kj, se observan puntos más brillantes correspondientes a aquellos pixeles que difieren más de sus vecinos, como se muestra en la Figura 5 sobre una porción de la imagen suma resultante.

5) Se genera el histograma h(g) de la imagen Idsum’, donde ésta corresponde a la imagen suma anterior normalizada al rango de valores de gris, y se calculan el valor medio de gris mediah y la desviación estándar desvh (en número de niveles de gris – valor entero) de éste. Puesto que la mayoría de píxeles qkj’ van a tender a presentar valores bajos de gris, la curva para h va a caer rápidamente (Figura 6); la idea es, entonces, encontrar un valor de gris g sobre el codo inferior de la curva de h para umbralizar la imagen de modo que los píxeles con máxima intensidad de gris correspondan a los píxeles anómalos detectados.

El umbral de gris gu (Figura 7) se determina mediante un procedimiento iterativo similar al utilizado en Restrepo (2005) para señales ultrasónicas, aplicado esta vez al histograma h(g) de la imagen Idsum’. El procedimiento consiste en tomar a h como una señal discretizada con respecto al nivel de gris g, y de esta forma extraer su derivada discreta —diferencia entre muestras— y posteriormente el signo de la derivada; la idea es que si se recorre el histograma de derecha a izquierda, a partir del codo de h(g) se tendrá una elevación sostenida reflejada en un número mínimo de derivadas consecutivas con signo positivo, tal como lo enuncia la ecuación 3, siendo dicho número la desviación estándar calculada con anterioridad:

(3)

Figura 7. Ampliación del histograma de la Figura 6. En este ejemplo (10 termo-gramas analizados) el umbral calculado es gu = 20, siendo la desviación están-dar = 3 niveles; puede verse cómo a partir de g = 20 hacia la izquierda se presenta el primer grupo de 3 muestras con derivadas positivas (yendo de derecha a izquierda)

6) Habiendo aplicado el umbral, se recogen las coordenadas de los píxeles con el máximo valor de gris y se reúnen en un arreglo D de píxeles defectuosos. Dicho arreglo se ordena primero con respecto a k y luego con respecto a j, de tal forma que al recorrer estos píxeles se barran las filas de la imagen Idsum’ umbralizada.

7) Para todas las N imágenes o tramas de la secuencia original se realiza lo siguiente: se ubica cada píxel plm clasificado como anómalo (Figura 8) y se reemplaza su valor de gris por el promedio de los respectivos valores de los píxeles que pertenezcan a su 8 vecindad y que estén clasificados en buen estado (puntos oscuros en Idsum’ umbralizada):

Es importante anotar que plm se corrige, reemplazándolo en la imagen original que se esté procesando en ese momento por su nuevo valor ^plm, antes de seguir con la corrección de otro píxel perteneciente a D; esto asegura una mejor continuidad espacial en la intensidad de gris resultante cuando se tienen varios píxeles defectuosos vecinos

En el apéndice se muestra un diagrama de flujo en el que se sintetiza el algoritmo expuesto.

Resultados

En la Figura 9 se enseña el resultado final del reemplazo de los píxeles anómalos detectados.

A simple vista pareciera que el efecto global del reemplazo de los píxeles catalogados como anómalos fuera a oscurecer la imagen; sin embargo, al observar con más detalle se nota que la presencia de los puntos oscuros en la imagen de la izquierda en la Figura 9 reduce el rango dinámico del resto de la imagen, que básicamente depende del efecto vignetting y la diferencia entre zonas sanas y defectuosas del material inspeccionado. La reducción en este rango dinámico puede influir decisivamente en el desempeño de un clasificador que pretenda usarse para detectar o caracterizar automáticamente defectos en láminas de material compuesto. Al desaparecer dichos puntos se mejora ostensiblemente el contraste de toda la imagen, siendo el efecto vignetting el principal responsable del oscurecimiento de la periferia de ésta.

Comparando la lista D de píxeles anómalos detectados con la lista entregada por el fabricante para los píxeles defectuosos del sensor FPA de la cámara empleada, se tienen las siguientes cifras para diferentes valores en los parámetros del procedimiento propuesto:

Se observa que la coincidencia entre los píxeles detectados por el algoritmo propuesto y la lista dada por el fabricante es consistente (alrededor del 70% de los píxeles listados de fabricación) sin importar el número de imágenes térmicas analizadas. Sin embargo, el número total de píxeles detectado por el procedimiento depende directamente del nivel de umbral g_u, aunque de cualquier manera existe una tendencia (primera y tercera fila en la Tabla 1); lo más importante es que los píxeles que no coinciden con la lista entregada por el fabricante sí persisten como resultado del procedimiento propuesto sin importar el número de tramas involucradas. Revisando la lista de píxeles defectuosos de fabricación y observándolos en las imágenes, se encuentra que ese 30% de píxeles que no pueden ser detectados por el algoritmo no presentan un comportamiento notoriamente anómalo que pueda detectarse con el valor diferencia en el que se basa.

Como prueba adicional se ejecutó el algoritmo de detección y corrección automática sobre una secuencia previamente modificada de acuerdo con la lista de píxeles defectuosos entregada por el fabricante, los cuales fueron reemplazados arbitrariamente con algún píxel vecino en buen estado. En la Figura 10a se aprecia que después del reemplazo manual se conserva un pequeño grupo de píxeles defectuosos en las imágenes térmicas; después de la aplicación del método automático propuesto se obtiene el resultado de la Figura 10b, dondea pesar de obtener un mejoramiento notorio del rango dinámico de la imagen se cuenta con una región levemente contrastante en el lugar donde estaban los píxeles defectuosos concentrados.

La razón de este comportamiento para el caso puntual del ejemplo usado es que de ese grupo de píxeles vecinos notoriamente anómalos sólo el del centro aparece en la lista que viene de fábrica, de modo que al reemplazarlo previamente por uno de sus vecinos en todas las imágenes de la secuencia se reduce el valor diferencia VD(p_kj). En general, se comprobó que si se pasa de una vecindad-8 a una región de 5 x 5 píxeles para el cálculo de VD(p_kj) —diferencia entre la intensidad del píxel central y cada uno de los 24 píxeles más cercanos alrededor de él - ecuación 5)— los resultados mejoran en la corrección de píxeles anómalos agrupados, como en este ejemplo, en pequeñas motas (spots) sobre la imagen.

Conclusiones

La detección y corrección automática de píxeles anómalos en imágenes termográficas constituye un aporte importante en las técnicas de ensayo no destructivo por termografía, debido a que este tipo de problemas es común en las cámaras infrarrojas desde su construcción y pueden aumentar con su utilización. De otra parte, los procedimientos de inspección se basan en los contrastes de los niveles de los píxeles y sus vecinos, por lo que si no se realiza una adecuada detección y corrección de estos píxeles anómalos es posible llegar a falsas interpretaciones del estado de los materiales a inspeccionar. Atendiendo a esta premisa se logró desarrollar un algoritmo de detección y corrección automática de píxeles anómalos en una secuencia de imágenes infrarrojas, en el cual la única información configurable por el usuario corresponde al número M

de imágenes analizadas a partir de la secuencia térmica adquirida. Los resultados muestran que sin afectar la textura global de las imágenes, se consigue un mejoramiento en el rango dinámico de éstas al detectar un alto porcentaje (> 70% según las pruebas) de los píxeles reportados por el fabricante como defectuosos. Al mismo tiempo, es capaz de reconocer un número razonable de píxeles con comportamiento anómalo, a muchos de los cuales puede atribuírseles un deterioro por el uso continuo del dispositivo.

Las características del algoritmo hacen que exista la posibilidad de fallo en la clasificación de un píxel anómalo (y por lo tanto en su reemplazo posterior) cuando éste se encuentre en medio de un grupo de más píxeles anómalos adyacentes entre sí y cuando sus niveles de gris sean similares, puesto que el valor diferencia de cada píxel se calcula con base en su 8-vecindad; sin embargo, esta probabilidad se ve reducida con la acumulación de este valor a través de todas los tramas involucradas en el análisis (evolución temporal) o con el uso de vecindades más amplias, frente a los resultados que entregaría una técnica clásica de filtrado en el intento de uniformizar estos píxeles defectuosos con el comportamiento de sus vecinos.

De otra parte, aunque parezca que el algoritmo arroje un número abultado de píxeles anómalos dependiendo del umbral de gris calculado en la parte final del procedimiento, es de anotar que se trabajó en las pruebas con una secuencia de imágenes de 53.590 píxeles (230 x 233) cada una, por lo que una lista D de 68 píxeles, por ejemplo, representa aproximada-mente el 0,1%. Además, la corrección de estos píxeles, por tratarse de un promediado de sus vecinos en buen estado (ecuación 4), asegura que el resultado final corresponda a un filtrado de suavizado selectivo, no global.

Como trabajo futuro se propone analizar el comportamiento de los píxeles que están en la lista del fabricante y no son detectados por el algoritmo, intentando encontrar peculiaridades no tenidas en cuenta en el procesamiento propuesto. También es posible examinar la incidencia de incluir un término en el cálculo del valor diferencia de cada píxel que incluya la variación con respecto a características globales de las imágenes de la secuencia, verbigracia, el nivel de ruido.

Agradecimientos

Los autores agradecen el apoyo del Programa de Doctorado en Ingeniería de la Universidad del Valle, y de Colciencias a través de su programa de Doctorados Nacionales, para el desarrollo del estudio doctoral a partir del cual se generó este trabajo.

Bibliografía

Benítez, H., Contribución a la Caracterización de Defectos en Termografía Infrarroja mediante Máquinas de Aprendizaje., Tesis doctoral, Universidad del Valle, Programa de Posgrados en Ingeniería Eléctrica y Electrónica, 2008.

Benítez, H., Ibarra, C., Bendada, H., Maldague, X., Loaiza, H., Caicedo, E., Procesamiento de Imágenes Infrarrojas para la Detección de Defectos en Materiales., TECNURA, revista de la Facultad de Ingeniería de la Universidad Distrital Francisco José de Caldas, Vol 10, No. 20, 2007.

Benítez, H., Ibarra, C., Bendada, H., Maldague, X., Loaiza, H., Caicedo, E., Definition of a new Thermal Contrast and Pulse Correction for Defect Quantification in Pulsed Thermography., Infrared Physics and Technology, 2007.

Brändström, U., Removing the Instrument Signature., En: The Auroral Large Imaging System (ALIS): design, operation and scientific results. Swedish Institute of Space Physics, 2009.<http://www.irf.se/~urban/avh/html/node21.html> [citado en mayo de 2009]

Cresitello, M., Aldcroft, T., Morris, D., On the Fly Bad Pixel Detection for the Chandra X-ray Observatory's Aspect Camera., En: Astronomical Data Analysis Software and Systems X. Harvard Smithsonian Center for Astrophysics, ASP Conference Series, Vol. 238, 2001.

Dargaud, G., Dead Pixels Test., < http://www.gdargaud.net/Hack/DeadPixels.html> [citado en mayo de 2009]

Harbarth, D. M., Kirsch, M. G. F., Stuhlinger M., Smith, M., Baskill, D., Freyberg, M. J., Monitoring of the Epic Cameras at the XMM-Newton Science Operations Centre, 2009. < http://xmm.vilspa.esa.es/external/xmm_links/trainee/2005/reports/dh.pdf> [citado en mayo de 2009]

Li, H., Schillinger, B., Calzada E.O, Yinong, L., Muehlbauer, M., An adaptive algorithm for gamma spots removal in CCD-based neutron radiography and tomography., Nuclear Instruments and Methods in Physics Research, section A. Elsevier [Base de Datos en línea], 2006.

Mathworks., MATLAB Versión 2007a., Image Processing Toolbox Help, 2009.

Pixel Fixer., Hot pixel removal utility. <http://www.pixelfixer.org/> [citado en mayo de 2009]

Restrepo, A., Loaiza, H., Caicedo, E., Procedimiento de Discriminación de Ecos Relevantes en una Señal de Sonar., Revista de la Escuela Colombiana de Ingenieros (ECI), Año 15, No. 60, 2005, pp. 36-41.

Rodríguez, J., Guía de Revisión para tu nuevo Mac., 2009. <http://www.idg.es/macworld/content.asp?idart=191964> [citado en mayo de 2009]

Universidad De Harvard., ACIS Bad Pixel List [en línea], 2009. <http://asc.harvard.edu/mta_days/mta_bad_pixel/mta_bad_pixel_list.html> [citado en mayo de 2009]

Zamorano, J., Gallego, J., Detectores CCD., Presentación del Curso en Instrumentación Astronómica, Universidad Complutense de Madrid, 2009. <http://www.ucm.es/info/Astrof/users/jaz/IA/IA_09_CCD.pdf> [citado en mayo de 2009]

Andrés David Restrepo Girón¹ and Humberto Loaiza Correa²

¹ Electronic Engineering. M.Sc., Automatic, Universidad del Valle, Cali, Colombia. Ph.D., Candidate in Engineering, emphasis in Electrical and Electronic Engineering, Universidad del Valle, Cali, Colombia. Professor, Universidad Santiago de Cali, Cali, Colombia. Director , Electronic Engineering Program, Universidad Santiago de Cali, Cali, Colombia. adareg378@gmail.com² Electrical Engineer. M.Sc., Automatic, Universidad del Valle, Cali, Colombia. Ph.D., in Robotics and Machine Vision, L'Université d'Evry, Francia. Professor, Universidad del Valle, Cali, Colombia. Co-Director, Grupo de Investigación en Percepción y Sistemas Inteligentes (PSI). hloaiza@univalle.edu.co

---

Abstract

Keywords: pixel correction, infrared image, thermography, non-destructive testing (NDT).

---

Received: jun 04th 2009 Accepted: jul 221th 2010

Introduction

Abnormal or defective pixels can be defined as being those significantly deviating from the average behaviour of their neighbours, whether due to manufacturing defects (the most common case) (Dargaud, 2009) (Rodríguez, 2009), periodic incidence of radiation during sensor operation, as in astronomical imaging (Cresitello-Dittmar, 2001), or due to interference by some type of parasitic radiation in charge-coupled (CCD) device applications involving high-frequency energy (Li et al., 2006) depending on what it is intended to capture. Two basic types of anomalous pixels can be found in the literature (Dargaud, 2009) (Brändström, 2009), according to their greyscale: dead pixels (always having a very low average level or having a very little sensitivity) and hot pixels (retaining a very high level instead, being common in astrophysical images where they can be confused with astronomical bright bodies). Regarding colour devices, there is talk about a third type of defective pixel; these are atrophied (stuck) pixels in which several sub-pixels are always on or off, making the pixel red, green blue (RGB) scale usually take on a constant tone (Dargaud, 2009) (Rodríguez, 2009). All these pixels can occur individually, in columns or in groups (clusters) (Pixel Fixer, 2009) (Zamorano, 2009).

Defective pixels are inevitable during CCD manufacture, although the required quality standards demand that they are relatively few; manufacturers thus usually provide a detailed list of these pixels. However, the fact is that one does not always have such a list and, even having one, such devices tend, as their use spreads, to have an increased number of anomalous pixels (Harbarth et al., 2005) (Harvard University, 2009) which is also bound to continuing susceptibility to electronic noise. On the other hand, captured images in certain applications have spots of pixels having abnormal levels which are not due to manufacturing defects but to the external radiation to which a device is sensitive (Li et al., 2006). Detecting and replacing anomalous pixels is thus a problem which has been treated by statistical processing methods as opposed to classical filtering methods which are not effective in correcting abnormal pixels grouped together, and also disrupts an image's overall texture (Li et al., 2006). Comparative methods (totally dark or white) (Dargaud, 2009) and interpolation are also used (Zamorano , 2009) (Brändström, 2009). However, each method depends on the working images and the characteristics of image acquisition.

The list of defective pixels provided by the manufacturer is commonly used in active thermography applications so as to replace them with a neighbouring pixel's intensity (Benítez, 2008) or use a median filter; however, the consequences of the emergence of such anomalous pixels due to one or more of the aforementioned causes can be summarised by a decrease in overall infrared image contrast and hence the thermal contrast needed for an efficient end procedure. This is a main disadvantage, not only from the purely visual aspect of any inspection, but also in the sense of reducing the dynamic range for the intensity of such non-defective pixels and, with it, the likelihood of successfully using a classification algorithm and automatic characterisation of actual material defects. To demonstrate these ideas, the next section gives some experimental features of anomalous thermal imaging pixels and some practical effects which may occur when trying to correct them by conventional techniques.

Unprocessed video sequences were thus used, taken by an Indio-Antimony camera (InSb, Cincinnati Electronics) during inspection of carbon fibre reinforced plastic (CFRP) plates by active thermography (Benítez, 2008) (Benitez, 2007a) (Benitez, 2007b).

Experimental evidence

Figure 1a shows three damaged pixels according to the list given by the camera manufacturer; they are enclosed in white circles on a thermal image region taken from a CFRP plate after the heat pulse and without pre-processing. Figure 1b lists 6 pixels: three of them in good condition (1, 2 and 3) and three (4, 5 and 6) defective pixels. Thermal profiles were calculated for these six pixels as greyscale intensity curves, being sampled at every moment a picture or frame was obtained, such sequence commonly referred to as being a thermogram. These curves are shown in Figure 2, where each curve is associated with the number assigned to the corresponding pixel in Figure 1b. It can be seen that the 3 pixels known to be in poor condition (4, 5 and 6) only responded to the heat pulse at which saturation intensity in the image was obtained. From this moment, the three profiles indicated decayed much faster than the pixels in good condition (1, 2 and 3).

In principle, it could be thought that measuring the energy of the intensity function for each pixel in the image sequence could lead to deducing that pixels having minimal energy evolve differently than normal pixels do. However, this approach to the problem has two factors playing against it. The first has to do with the fact that, without pre-processing, the average intensity of the previous profiles differed significantly among themselves, as in the case of profile 4 belonging to a damaged pixel and its energy value would have been the greatest of all. This may be corrected to some extent by subtracting a cool image (image before the heat pulse) from the entire sequence, as shown in Figure 3.

However, the second possibility arises at this point. The energy value for the thermal profile of a pixel in good condition could be low enough to determine (incorrectly) that it was in poor condition. This situation could occur with the pixels corresponding to healthy areas of material, especially those falling into the periphery of images due to the vignetting effect (Benítez, 2008).

Vignetting should be compensated to reduce the probability of detection failure; work should be done with a sequence that includes images during or just after excitation of heat to achieve greater contrast between profiles. Nevertheless, such damaged pixels could affect vignetting compensation, without bearing in mind the underlying problem of uneven heating.

Another possible solution is the use of median filtering on each image in the sequence, considering that anomalous pixels are usually surrounded by pixels which are all in good condition, so they could be seen as salt and pepper noise in images having good contrast. Following such assumption, this operation automatically replaces these points by the median intensity of its neighbouring pixels, although a filtering operation would not actually detect individual pixels in poor condition. However, the procedure may not be acceptable because of two possible circumstances. The first has to do with the fact that applying the median filter will affect images' overall sharpness, which may not be justifiable when they have very few defective pixels. The second is the likely occurrence of a group of bad pixels neighbouring each other, where median filtering with a minimum size mask will still give indications of "stranger" pixels (see Figure 4). In the latter case, the same filter would have to be repeated again or more aggressive filtering (larger masks) applied from the beginning. Both actions leading to significant consequences of noticeable or even unacceptable smoothing in the resulting images.

Proposed solution

It may thus be concluded from the examined profiles and searching for features related to anomalous pixels compared to others in infrared images from thermographic sequences that defective pixels usually differ spatially and temporally (in their intensity) from their nearest neighbours in good condition. The screening procedure is intended to calculate a value indicating in some way the difference between a pixel and its 8-neighbors within each image in the sequence (feature space involved) and then adding these differences throughout the whole sequence (temporal property involved). Once detected, their intensities are replaced by the average intensity of their 8-neighbors in good condition. Implementing the proposed procedure for detecting and automatic replacement of abnormal pixels was carried out using MATLAB, mainly using its Digital Image Processing toolbox (Mathworks, 2007) and was organised in detail as shown in the following steps:

1)Initially, all thermal images captured immediately after the heat pulse were extracted from a complete sequence and then one of the cool pictures (not included in the sequence of work because it happened before the heat pulse) was subtracted from them to improve contrast. This subtraction also ensured that all anomalous pixels tended to be dark points on the monochrome image, even those that were visible as bright details (see Figures 2 and 3).

2)From a sequence of N images, M of them were chosen (M ≤ N) for analysis; the higher the number, the more reliable the results would be in terms of less chance of false detection (however, such procedure considerably increased run time).

3)A value indicating the degree of difference from its 8-neighbors was calculated for each pixel of each M thermogram used for analysis,. This difference value DV_(pkj) was defined as being the median of absolute differences between pixel p_kj and its 8-neighbours N8_(pkj):

The median as calculation tool was better adapted to situations such as the presence of a damaged pixel in the 8-neighbourhood of a pixel in good condition, making the result of the sum or average as alternatives to the median seem to be more influenced by the effect of a single sharp difference between the eight intensity differences, which can lead to a greater number of false positives.

4)New image matrices were obtained by replacing each pixel by its difference value so that a new sequence was obtained after repeating this procedure throughout the M frames chosen for the search. Performing the sum of all images in this sequence, pixel by pixel, produced an Idsum image in which each pixel q_kj was given by:

Bright spots conveniently appeared by normalising the intensity of qkj, corresponding to the pixels differing most from their neighbours, as shown in Figure 5 on a portion of the resulting image.

5)Histogram h was generated from the Idsum image, corresponding to the above summed image normalised to the range of grey values. The average value of grey mediah and standard deviation desvh (in the number of grey levels) thereof were calculated. Since most qkj' pixels tended to present low greyscale levels, curves for h would fall rapidly (see Figure 6). The idea was to find a greyscale value g on the falling edge of h for thresholding the image so that pixels with maximum intensity of grey pixels corresponded to those detected as being abnormal.

The greyscale level threshold gu (Figure 7) is determined by an iterative procedure similar to that used by Restrepo for ultrasonic signals (Restrepo, 2005), applied this time to histogram h(g) from the Idsum image. This procedure consisted of thinking about h as a discretised signal regarding greyscale level g and thereby to extract the discrete derivative (difference between samples) and later, the sign for this derivative. The idea was that if the histogram was shifted from right to left, then a sustained elevation would be presented on arriving at the rising edge of h(g), reflected in a minimum number of consecutive positive sign derivatives, such number being the previously calculated standard deviation. Equation 3 was thus:

(3)

Figure 7. Zoom of the histogram shown in Figure 6. In this example (10 thermograms analysed), the calculated threshold was gu = 20. Since standard deviation = 3 grayscale levels, it can be seen how the first group of consecutive positive derivatives was presented from level g = 20 to the left

6) Having applied the threshold, the pixel coordinates having maximum greyscale values were recorded in an array D of defective pixels. Such an arrangement was ordered first regarding k and then j, so that ordering these pixels led to sweeping the thresholding Idsum image rows.

7)For all N frames of the original sequence, each pixel plm classified as being abnormal was located (Figure 8) and its greyscale value replaced by the average of the respective values of the pixels classified as being in good condition belonging to the 8-neighbourhood (dark pixels on Idsum thresholding):

It should be noted that plm was corrected, replacing it in the original image being processed at that time by its new value ^plm, before proceeding to correct another pixel belonging to D. This ensured better spatial continuity in resulting greyscale intensity when there were several neighbouring defective pixels.

The appendix gives a flow chart summarising the above algorithm.

Results

Figure 9 shows the final result of replacing the abnormal pixels detected.

At first glance, it seems that the overall effect of replacing the pixels classified as being abnormal was to darken the image; however, if observed in more detail, it can be seen that the presence of dark spots in the image on the left in Figure 9 reduced the dynamic range of the rest of the image, basically depending on the vignetting effect and the difference between healthy and defective areas of the material inspected. The reduction in dynamic range can significantly influence the performance of a classifier used for automatically detecting and characterising defects in composite laminates. The disappearance of such items significantly improved the contrast of the entire image, the vignetting effect being primarily responsible for darkening its periphery.

The following data for different procedure parameters values were obtained by comparing list D of anomalous pixels detected to the list provided by the manufacturer for defective FPA sensor pixels:

It was noted that the overlap between the pixels detected by the proposed algorithm and the list given by the manufacturer was consistent (about 70% of listed manufacturing pixels) regardless of the number of thermal images analysed. However, the total number of pixels detected by the procedure directly depended on threshold level g_u, (even though there was a trend: first and third rows in Table 1). The most important thing observed was that the pixels did not match the list provided by the manufacturer, perhaps as a result of the proposed procedure regardless of the number of frames involved. Reviewing the list of defective pixels from manufacturing and watching images, it was found that 30% of the pixels which could not be detected by the algorithm did not have noticeable abnormal behaviour which might have been detected based on the difference value idea.

The detection and correction algorithm was run over a previously modified sequence in accordance with the manufacturer's list of defective pixels which were arbitrarily replaced by a neighbouring pixel in good condition as an additional test. Figure 10a shows that a small group of defective pixels was retained in the thermal images after manual replacement. The result shown in Figure 10b was obtained after applying the proposed automatic method in which, despite gaining a noticeable improvement in the image's dynamic range, there was a slightly contrasting region where defective pixels were concentrated.

The reason for this behaviour in this specific example was that only the central pixel was on the list from the factory for this group of neighbouring pixels, known anomalous, so that its previous replacement by one of its neighbours in all image sequences reduced the difference value VD(p_kj). Overall, it was found that results improved in correcting abnormal pixels on passing a neighborhood-8 to a region of 5x5 pixels for calculating VD(p_kj) (the difference between the intensity of the central pixel and each of the 24 nearest pixels around it - Equation 5), being grouped in small spots on the image like in the following example:

Conclusions

The automatic detection and correction of abnormal pixels in thermal imaging is an important contribution to NDT thermography techniques because this type of problem is common in infrared cameras due to their construction and may increase with their use. Additionally, inspection procedures are based on contrasts between the levels of pixels and their neighbours so, if adequate detection and correction of these abnormal pixels is not made, it leads to possible misinterpretation of the state of materials inspected. Bearing this fact mind this, it was possible to develop an algorithm for automatic detection and correction of abnormal pixels in a sequence of infrared images in which the only information configurable by the user was the number M of images analysed from

the acquired thermal sequence. The results showed an improvement in pixel contrast, detecting a high percentage (> 70% according to testing) of the pixels reported by the manufacturer as being defective, without affecting the images' overall texture. It was also able to recognise a reasonable number of pixels having abnormal behaviour, many of which could be attributed to deterioration by the continued use of a particular device.

The algorithm's characteristics means that failure may appear in classifying an abnormal pixel (and hence their subsequent replacement) when it is in the middle of a group of more abnormal pixels adjacent to each other when their greyscale levels are similar, since the difference value for each pixel was calculated on their 8-neighborhood; however, this probability became reduced with the accumulation of this value through all the frames involved in the analysis (time course), or using wider neighbourhoods, compared to results delivered by a classic filtering technique to attempt to standardise such defective pixels with the behaviour of their neighbours.

On the other hand, although it seems that the algorithm showed a large number of anomalous greyscale pixels depending on the threshold calculated at the end of the procedure, it must be noted that list D of 68 pixels for example represented about 0.1% of 53,590 pixels (230x233) forming each image within the sequence which was processed. Additionally, correcting these pixels ensured that the final result corresponded to a selective smoothing filter, not global, because of the average of their neighbours in good condition (equation 4).

It is proposed that the behaviour of the pixels which were listed by the camera manufacturer and which were not detected by the algorithm should be analysed in future work, trying to find characteristics not taken into account in the present processing. It may also be possible to examine the impact of including a term in calculating each pixel's difference value, including variation regarding global features of the images in the sequence, for example, noise level.

Acknowledgements

The authors would like to thank the Universidad del Valle's PhD Engineering programme and COLCIENCIAS (national PhD programme) for financing the PhD study which led to this work.

References

Benítez, H., Contribución a la Caracterización de Defectos en Termografía Infrarroja mediante Máquinas de Aprendizaje., Tesis doctoral, Universidad del Valle, Programa de Posgrados en Ingeniería Eléctrica y Electrónica, 2008.

Benítez, H., Ibarra, C., Bendada, H., Maldague, X., Loaiza, H., Caicedo, E., Procesamiento de Imágenes Infrarrojas para la Detección de Defectos en Materiales., TECNURA, revista de la Facultad de Ingeniería de la Universidad Distrital Francisco José de Caldas, Vol 10, No. 20, 2007.

Benítez, H., Ibarra, C., Bendada, H., Maldague, X., Loaiza, H., Caicedo, E., Definition of a new Thermal Contrast and Pulse Correction for Defect Quantification in Pulsed Thermography., Infrared Physics and Technology, 2007.

Brändström, U., Removing the Instrument Signature., En: The Auroral Large Imaging System (ALIS): design, operation and scientific results. Swedish Institute of Space Physics, 2009.<http://www.irf.se/~urban/avh/html/node21.html> [citado en mayo de 2009]

Cresitello, M., Aldcroft, T., Morris, D., On the Fly Bad Pixel Detection for the Chandra X-ray Observatory's Aspect Camera., En: Astronomical Data Analysis Software and Systems X. Harvard Smithsonian Center for Astrophysics, ASP Conference Series, Vol. 238, 2001.

Dargaud, G., Dead Pixels Test., < http://www.gdargaud.net/Hack/DeadPixels.html> [citado en mayo de 2009]

Harbarth, D. M., Kirsch, M. G. F., Stuhlinger M., Smith, M., Baskill, D., Freyberg, M. J., Monitoring of the Epic Cameras at the XMM-Newton Science Operations Centre, 2009. < http://xmm.vilspa.esa.es/external/xmm_links/trainee/2005/reports/dh.pdf> [citado en mayo de 2009]

Li, H., Schillinger, B., Calzada E.O, Yinong, L., Muehlbauer, M., An adaptive algorithm for gamma spots removal in CCD-based neutron radiography and tomography., Nuclear Instruments and Methods in Physics Research, section A. Elsevier [Base de Datos en línea], 2006.

Mathworks., MATLAB Versión 2007a., Image Processing Toolbox Help, 2009.

Pixel Fixer., Hot pixel removal utility. <http://www.pixelfixer.org/> [citado en mayo de 2009]

Restrepo, A., Loaiza, H., Caicedo, E., Procedimiento de Discriminación de Ecos Relevantes en una Señal de Sonar., Revista de la Escuela Colombiana de Ingenieros (ECI), Año 15, No. 60, 2005, pp. 36-41.

Rodríguez, J., Guía de Revisión para tu nuevo Mac., 2009. <http://www.idg.es/macworld/content.asp?idart=191964> [citado en mayo de 2009]

Universidad De Harvard., ACIS Bad Pixel List [en línea], 2009. <http://asc.harvard.edu/mta_days/mta_bad_pixel/mta_bad_pixel_list.html> [citado en mayo de 2009]

Zamorano, J., Gallego, J., Detectores CCD., Presentación del Curso en Instrumentación Astronómica, Universidad Complutense de Madrid, 2009. <http://www.ucm.es/info/Astrof/users/jaz/IA/IA_09_CCD.pdf> [citado en mayo de 2009]