Estudio e implementación de técnicas subpíxel para medidas no invasivas

Résumé

Se conocen como técnicas de resolución subpíxel aquellas que son capaces de detectar objetos o movimientos capturados por una cámara digital con una resolución superior a la definida por un único sensor. Dado que estas técnicas son capaces de detectar información por encima de la resolución límite teórica del sistema, se engloban dentro de los llamados métodos superresolventes (“Superresolución,” 2019). Las técnicas subpíxel para medidas no invasivas se utilizan desde que se empezó a considerar insuficiente la resolución de la imagen digital para ciertas aplicaciones. Esto ocurre porque en una imagen digital, a priori, no es posible distinguir detalles entre dos puntos del objeto de interés si ambos coinciden dentro del mismo píxel en la imagen, ya que cada píxel proporciona una información única y uniforme para toda su superficie. Originalmente, se comenzaron a utilizar técnicas de correlación para obtener una resolución ampliada (Pearson et al., 1977) y seguidamente, empezaron a aparecer trabajos que trataban de aprovechar las limitadas posibilidades de los sistemas digitales de imagen. Al aumentar el desarrollo tecnológico, empieza a ser más fácil la implementación de métodos de detección de objetos. La mayoría de estudios que utilizan estas técnicas intentan detectar dianas específicas con formas conocidas que se utilizarán como referencia para centrar y guiar sistemas de detección y posicionamiento de objetos con precisión subpíxel. La tecnología de la imagen digital se ha expandido y mejorado enormemente en las últimas décadas, perfeccionando tanto la capacidad de los sistemas de captación y procesado como la calidad de las imágenes obtenidas. Actualmente, los sensores digitales de imágenes están muy extendidos y sus resoluciones espaciales igualan e incluso mejoran la resolución esperada con las películas analógicas tradicionales, aunque, a pesar de estas mejoras, las técnicas subpíxel siguen siendo necesarias ya que muchas limitaciones prácticas permanecen. La localización y detección de movimientos de objetos con precisión subpíxel será de utilidad cuando la amplitud de dichos movimientos en el plano de la imagen sea de una fracción de píxel, por lo que no se podría detectar a priori. No obstante, en cuanto ese movimiento produzca un cambio en la respuesta del sensor de la cámara, esa variación será detectable y el desplazamiento subpíxel quedará registrado. Si este proceso se repite en el mismo u otro píxel, se registrarán movimientos sucesivos y podrá determinarse, mediante el análisis matemático pertinente, la trayectoria del objeto observado. Bajo esta premisa, se pueden encontrar diferentes métodos para el seguimiento de objetos en una imagen. Si en la escena se incluye una diana que tenga una forma matemáticamente descriptible, se podrían utilizar las restricciones geométricas que definen el objeto para detectar de manera precisa su posición o desplazamiento (Espinosa et al., 2015). Por ejemplo, un segmento recto mantiene todos los puntos alineados, de modo que una ligera desviación en la posición de los píxeles que registran el objeto podría interpretarse como un desplazamiento o un giro, aunque no haya un desplazamiento claro de un píxel a otro. Para efectuar esta detección podrían utilizarse técnicas de reconocimiento de formas o técnicas estadísticas como el cálculo del centro de masas o del centroide. Desafortunadamente, no siempre es posible reconocer el objeto de interés porque puede no estar bien contrastado o aislado del fondo o bien, porque no tiene una forma matemáticamente descriptible. En estos casos, se puede utilizar un modelo del objeto obtenido, por ejemplo, a partir de una imagen de la secuencia grabada para detectar el movimiento y localizarlo luego mediante la correlación cruzada mejorada con un ajuste del pico para poder describir el movimiento a nivel subpíxel. También pueden ser útiles las técnicas basadas en la detección local de vibraciones, donde no será necesario conocer la forma del objeto, sino detectar zonas o incluso píxeles aislados que muestren una oscilación periódica en la luminancia (Ferrer et al., 2013). La hipótesis principal de este trabajo consiste en que, mediante la detección de pequeños cambios de intensidad luminosa en el sensor de la cámara, se pueden identificar y seguir los movimientos producidos en el objeto de interés incluso con errores inferiores al tamaño del píxel en la imagen. La finalidad es estudiar teórica y experimentalmente los métodos de detección y seguimiento de objetos con precisión subpíxel sin identificación previa del objeto. Para ello, los dos objetivos principales son estudiar y optimizar los métodos de seguimiento con precisión subpíxel e implementarlos después experimentalmente. Para desarrollar estos objetivos, es imprescindible realizar una búsqueda bibliográfica exhaustiva de las técnicas subpíxel desarrolladas y empleadas por otros grupos de investigación. Se ha visto con esta búsqueda que el método principal de medida de desplazamientos en imágenes es la correlación cruzada entre una imagen de referencia y su versión desplazada, aunque para conseguir una resolución subpíxel es necesario introducir un ajuste en el entorno del pico de correlación para recalcular la nueva posición del máximo. Así, se explicará de modo pormenorizado esta técnica resaltando sus ventajas e inconvenientes, así como las diferentes técnicas que se utilizan para superar dichos problemas (Tomás et al., 2020). La búsqueda bibliográfica ha revelado que algunos autores aseguran que desenfocar ligeramente el objeto de interés puede mejorar la detección con precisión subpíxel de la correlación cruzada (Michaelis et al., 2016; Overmars et al., 2010; Zhou et al., 2015), aunque no especifican el nivel de desenfoque. Por ello, se ha llevado a cabo un estudio teórico para poder proporcionar unos valores de desenfoque que mejoren dicha detección. Para ello, se han generado 5 tests binarios con un desplazamiento dado y se han evaluado sus errores al realizar la correlación cruzada utilizando tres tipos de interpolaciones del pico de correlación con diferentes tamaños de la matriz alrededor del pico y con 6 niveles de desenfoque distintos (contando también sin desenfocar) introducido mediante un filtro de desenfoque gaussiano. En segundo lugar y para obtener unos resultados directamente comparables con los que se presentan en la bibliografía, se ha estudiado el método utilizando 5 secuencias de imágenes con speckle procedentes de un banco de imágenes público (“Previous DIC Challenge 1.0 Data,” 2020). Estas secuencias suelen ser empleadas para validar los métodos de seguimiento con precisión subpíxel ya que en el banco de imágenes se proporcionan los datos de desplazamiento, ruido y contraste de las imágenes. El estudio plantea la correlación con un ajuste analítico del área local alrededor del pico de correlación. Se ha analizado tanto el efecto del tamaño de la zona de análisis como el método de ajuste del entorno a una función continua para relocalizar el pico de correlación. Para ello, se han implementado los tres métodos de ajuste más utilizados en la bibliografía (Michaelis et al., 2016; Roesgen, 2003; Nobach et al., 2005) como son el ajuste del pico de correlación por splines, el ajuste a una función polinómica y el ajuste a una función gaussiana. Como resultado de este estudio (Tomás et al., 2020), se ha obtenido que, según el tipo de ajuste utilizado, puede ser mejor que el objeto de interés esté ligeramente desenfocado o no. Además, para cada ajuste, la matriz de píxeles alrededor del pico de correlación utilizada para el interpolado es óptima con un tamaño distinto. En el caso del ajuste con splines, se han obtenido mejores resultados con vecindarios en torno al pico de correlación de gran tamaño y con un nivel alto de desenfoque. Las características particulares de los splines hacen que este tipo de ajuste se adapte mucho a la forma del pico, por lo que sus resultados son muy variables en función del objeto que se tenga. En cuanto al ajuste polinómico, los mejores resultados ocurren con tamaños de matriz de ajuste pequeños y desenfoques altos. Por último, en el ajuste gaussiano se han obtenido buenos resultados (los mejores de todo el estudio) con tamaños de matriz de ajuste grandes y sin desenfocar, aunque para este ajuste, la selección de los diferentes parámetros es mucho más crítica que en las otras dos interpolaciones, produciendo resultados muy malos si los parámetros no son los óptimos. Se debe tener en cuenta también que los objetos con speckle utilizados en este estudio no son siempre los que se encontrarán en los experimentos reales y que, con otro tipo de objetos, estos resultados podrían verse ligeramente modificados. Siguiendo con el método de la correlación cruzada junto con un ajuste del pico de correlación, se ha llevado a cabo un experimento práctico para medir la expansión de una roca arenisca al hincharse por hidratación estando parcialmente sumergida en agua (Ferrer et al., 2021). Este trabajo tiene gran interés en el campo de la restauración de edificios históricos para evaluar el estado de deterioro de las construcciones (Di Benedetto et al., 2015). Además, el método estándar para medir esta expansión por hidratación en muestras de roca consiste en la utilización de un transformador diferencial variable lineal (LVDT por sus siglas en inglés) que, colocado en la parte superior de la muestra, permite medir movimientos verticales, pero para medir también los horizontales se debe realizar un montaje bastante sofisticado. Realizar esta medida mediante imágenes permite reducir costes económicos y complejidad de montaje experimental, además de proporcionar resultados de desplazamientos tanto horizontales como verticales con solo un montaje sencillo. En este estudio experimental se ha obtenido que los resultados son parecidos a aquellos medidos con el LVDT, por lo que se está introduciendo una mejora en el proceso de medida al ser un experimento más sencillo que proporciona unos resultados similares. Además, si se quisiera realizar este mismo experimento fuera del laboratorio sobre la roca utilizada como material de construcción de una edificación, sería factible realizar esta medida y analizarla posteriormente grabando solo la zona de interés de la roca. Sin embargo, realizar esta medida con el palpador, implicaría un montaje mucho más sofisticado incluyendo la extracción de una muestra, lo que puede ser problemático en un edificio histórico. Por otra parte, se ha realizado otro estudio experimental para determinar si la textura propia del hormigón puede ser utilizada como diana natural utilizando el método de la correlación cruzada junto con un ajuste del pico de correlación. Para ello, se han evaluado un total de 21 probetas de hormigón generadas con distintas técnicas de encofrado, compactación y consistencia del hormigón y se han grabado distintas secuencias estáticas de cada probeta de hormigón variando la iluminación y el desenfoque en condiciones de laboratorio. El objetivo final de este estudio sería analizar la viabilidad de utilizar la correlación cruzada para analizar los movimientos de un objeto con textura de hormigón en condiciones reales, esto es, al aire libre y a gran distancia del objeto. No obstante, este objetivo final tiene muchas incertidumbres ya que al aire libre no se pueden controlar muchas variables del ensayo como la iluminación, el viento sobre el trípode de la cámara, el ruido o la distorsión atmosférica, entre otras. Por ello, se ha evaluado en primer lugar la viabilidad de la medida con la textura de hormigón en condiciones controladas de laboratorio y, tras obtener un resultado positivo, ya es posible realizar medidas más complejas y con más variables en juego. Finalmente, se ha encontrado en la bibliografía reciente una nueva técnica para medidas de desplazamientos con precisión subpíxel basada en el análisis de la diferencia en la luminancia entre dos imágenes (Wan et al., 2020). Este análisis de la luminancia se realiza calculando la diferencia de nivel de gris entre las imágenes en horizontal y en vertical para poder determinar el desplazamiento en ambas direcciones. La ventaja principal de este método es su rapidez en el cálculo, aunque presenta los inconvenientes de que es muy sensible al ruido y a cambios de iluminación en la escena y que necesita una calibración previa. Una medida experimental previa para utilizarla como calibración no siempre será posible, ya que las medidas pueden consistir en tests destructivos o procesos irreversibles. Así pues, nos hemos planteado realizar una precalibración digital mediante secuencias de movimiento subpíxel generadas por ordenador. Para ello, hemos implementado dos métodos diferentes, uno basado en propiedades de la Transformada de Fourier y otro con interpolación de rejilla. Con este análisis, se demuestra que el método de rejilla que utiliza el algoritmo griddedInterpolant de Matlab es efectivo para realizar un desplazamiento digital del objeto que sirva como calibración. De este modo, se ha procedido a comparar de manera numérica y experimental el nuevo método con el de la correlación anteriormente presentado. En la prueba teórica se ha obtenido que, en general, el método basado en la diferencia de imágenes proporciona mejores resultados que el basado en la correlación. No obstante, las diferencias son pequeñas y podrían ser irrelevantes a nivel experimental. Para las pruebas de laboratorio se utilizaron los mismos objetos empleados en la evaluación de la precalibración digital, pero esta vez desplazados con un motor micrométrico y controlando la iluminación para que el contraste entre el objeto y el fondo sea máximo y obtener, de esta forma, unos resultados comparables a los obtenidos utilizando la correlación cruzada. Los resultados mostrados con este nuevo método son que no presenta el error de atrapamiento de pico y que, en general, es más robusto con imágenes reales respecto del método de la correlación, aunque debe controlarse muy bien el contraste de las imágenes grabadas. Por otra parte, aunque este nuevo método proporcione resultados similares o incluso mejores a los de la correlación cruzada, presenta los inconvenientes que ya se han comentado, como son: insensibilidad a la dirección del movimiento, sensibilidad al ruido y a cambios de iluminación y necesidad de una calibración previa para poder conocer la cantidad de movimiento que se está produciendo en el objeto. Para finalizar, y tras realizar experimentos con los distintos métodos subpíxel para evaluar su funcionamiento, llegamos a la conclusión de que las técnicas subpíxel estudiadas en este trabajo de tesis son adecuadas para medir movimientos con una resolución por encima de la resolución nominal determinada por el sistema de captación de imágenes utilizado. No obstante, es importante continuar investigando en la aplicación práctica de estas técnicas para poder utilizarlas en entornos menos controlados en los que las condiciones de iluminación o contraste no puedan mantenerse constantes durante todo el experimento. 1] Tomás, M.B., Ferrer, B., Mas, D., 2020. Influence of neighborhood size and cross-correlation peak-fitting method on location accuracy. Sensors 20, 6596. https://doi.org/10.3390/s20226596 [2] Ferrer, B., Tomás, M.B., Mas, D., 2021. Use of image correlation to measure macroscopic strains by hygric swelling in sandstone rocks. Appl. Sci. 11, 2495. https://doi.org/10.3390/app11062495 [3] Wan, M., Healy, J.J., Sheridan, J.T., 2020. Fast, sub-pixel accurate, displacement measurement method: optical and terahertz systems. Opt. Lett. 45, 6611. https://doi.org/10.1364/OL.413011