Aplicaciones de la fotogrametría y productos generados

Los estudios fotogramétricos se aplican en multitud de ámbitos, desde estudios topográficos para una obra de infraestructura, hasta generar modelos 3d hiperrealistas para escenarios de videojuegos. En el mercado existen bastantes programas de fotogrametría 3d que permiten generar diferente tipo de información: nubes de puntos, ortotoimágenes, modelos 3d texturizados, etc. En esta entrada del blog, repasamos los diferentes productos que se generan con la fotogrametría y sus aplicaciones posteriores.

La fotogrametría SFM (que aplica la técnica de Structure for Motion  para realizar la orientación de las imágenes), ha sido implementada en programas de fotogrametría 3D como Agisoft Metashape y Pix4D, simplificando el procesado y aumentando la rapidez para obtener productos fotogramétricos de calidad.

Los fotogramétricos con drone y la fotogrametría terrestre, tienen aplicación en ingeniería, arquitetura, arqueología, arquitectura de precisión e incluso videojuegos.

Estos softwares de fotogrametría, tras realizar la orientación automática de las imágenes, conocen la posición exacta de las imágenes del bloque fotogramétrico, y mediante cálculos fotogramétricos, son capaces de realizar la reconstrucción 3D de la realidad.

Fases del proceso fotogramétrico

El proceso fotogramétrico podríamos dividirlo en 3 fases principales:

1. Toma fotogramétrica: Plan de vuelo fotogramétrico o toma terrestre. Se realiza la planificación de la toma y se miden los puntos de apoyo.
2. Generación de productos fotogramétricos: Los que se obtienen de los programas de fotogrametría 3d (nos centramos en Metashape o Pix4D), que básicamente consisten en: nubes de puntos densas, mallas 3d con textura HD, modelos digitales, ortoimagenes y restitución 3D.
3. Explotación de los productos fotogramétricos: Esta fase consiste en la exportación de los productos fotogramétricos a otros softwares en los que serán usados con distintos fines. De forma genérica, los productos y sus usos, podríamos agruparlos en dos grandes bloques:
   1. Para proyectos de ingeniería y arquitectura.
   2. Para generación de escenas 3D hiperrealistas.

A continuación, se explica en qué consiste la generación de productos fotogramétricos y las diferentes salidas según el fin para el que se necesite.

Procesado fotogramétrico con Metashape y Pix4D: Generación de productos fotogramétricos

Una introducción básica a los productos generados por fotogrametría sería:

• Nubes de puntos densas con color: Los softwares de fotogrametría, dado que conocen la ubicación exacta de cada imagen del bloque fotogramétrico, son capaces de calcular para cada pixel con homólogos de las imágenes un punto con coordenadas XYZ, así como aplicarles el su color.
• Mallas 3D: A partir de la nube de puntos densa, los softwares generan superficies de triángulos (TIN). Se pueden generar superficies con el mismo número de vértices que la nube de puntos densa, o superficies más livianas que no utilizan toda la nube de puntos. De cualquier forma, para representar la realidad y el detalle, las superficies resultantes son pesadas por el gran número de triángulos, y resulta difícil trabajar con ellas en otros softwares.
• Texturas de las mallas: Para generar las texturas, los softwares calculan la coordenada XYZ de la malla 3D, y haciendo un cálculo inverso, selecciona los píxeles de las imágenes que intervienen en el cálculo de punto, aplicándole su color de píxel. El resultado son texturas hiperrealistas que se pueden exportar con la malla.
• Modelos digitales en formato ráster: A partir de la nube de puntos o de la malla 3D, se puede generar un ráster MDT que representan el terreno (utilizando únicamente los puntos de terreno de la nube), o un MDS (utilizando toda la nube de puntos). Para seleccionar únicamente los puntos terreno, es necesario realizar un filtrado de la nube de puntos. Metashape y PIX4D poseen herramientas de filtrado automático y manual.
• Ortoimágenes: Se pueden generar ortoimágenes nadirales (perpendiculares al terreno) o desde cualquier plano que se defina (por ejemplo, se puede generar una ortoimagen de una fachada si definimos un plano paralelo a la fachada). Las ortoimágenes pueden representar el color, si el sensor de la cámara es RGB, o pueden representar otro tipo de datos (aparte del color) si se utilizan cámaras con sensores multiespectrales (tanto Metashape como Pix4D disponen de calculadora ráster, con la que se pueden calcular índices como el NDVI).
• Restitución 3D: ¿Qué es la restitución fotogramétrica? La restitución fotogramétrica consiste en dibujar polilíneas y puntos que representen la realidad a partir del modelo fotogramétrico, cumpliendo los parámetros de precisión definidos en el trabajo. Pix4D y Metashape permiten restituir en 3D principalmente mediante el dibujo directo sobre la malla 3D (esta metodología no es demasiado precisa), aunque también tienen herramientas que permiten medir cada punto en varias imágenes (aunque resulta un proceso más lento).

Una vez obtenidos estos productos iniciales, se exportan a otros softwares para “explotarlos” dependiendo del objetivo del trabajo.

Explotación de los productos fotogramétricos: Trabajos de ingeniería y arquitectura

La explotación de los productos fotogramétricos para trabajos de ingeniería y arquitectura, habitualmente consiste en:

• Nubes de puntos densas con color: Se trata de una nube de puntos densa, y se puede tratar con otros softwares para seguir generando información, principalmente para modelado 3D y generación de superficies. Por ejemplo, se puede exportar a softwares como Autodesk Civil 3D (a partir de la cual se generan superficies, restitución 3d, cálculo de volúmenes, etc), AutoCAD con Undet, SketchUp con Undet (a partir de la cual se utiliza como base para modelar en 3D), Revit con Undet, etc.
• Para la generación de superficies del terreno, será necesario exportar la nubes de puntos filtrada por puntos terreno utilizando los algoritmos propios de los programas de fotogrametría. También es posible exportar la nube sin filtrar, y realizar este proceso en otros softwares como Trimble Realworks, Global Mapper, etc. Una vez filtrada, se pueden generar mdt en softwares como Civil 3D. seguir tratando  con otros softwares o incluso, importar de nuevo a los softwares de fotogrametría para seguir con el proceso.

• Modelos digitales ráster: Los modelos digitales se exportan y se pueden utilizar para un gran número de geoprocesos en softwares SIG como QGIS, o ArcGIS Pro. A partir de los mismo se pueden generar curvas de nivel, planos dependientes, elevaciones, orientaciones etc.
• Ortoimágenes: Igual que los modelos digitales, las ortoimágenes RGB o con información de índices, son utilizadas para multitud de objetivos y utilizadas en todo tipo de softwares, desde softwares SIG a softwares de ingeniería civil etc. Las ortoimágenes también son muy utilizadas para generar cartografía 2D, a partir de su digitalización (automática o manual) en otros softwares (bien sea AutoCAD, QGIS u otro cualquiera).
• Restitución 3D: La restitución 3D se utiliza a modo de levantamientos topográficos convencionales (puntos y polilíneas dibujadas con una determinada precisión en un sistema de referencia concreto). Como ya se comentó, Metashape y Pix4D son capaces de restituir, pero sin demasiada eficiencia. Por ello, también existe la posibilidad de exportar la nube de puntos a otros softwares y realizar la digitalización sobre la ella (por ejemplo, Autocad con Undet).

Como vemos, con la fotogrametría generamos productos primarios muy interesantes que pueden ser explotados en infinidad de proyectos, y multitud de softwares (en este artículo se menciona algunos a modo de mero ejemplo).

Explotación de los productos fotogramétricos: Generación de escenas y objetos hiperrealistas

Las mallas 3D con texturas que provienen de la fotogrametría, son un medio efectivo para generar escenas 3D hiperrealistas. La aplicación de estas escenas 3D hiperrealistas son amplias:

1. Renderizados estáticos hiperrealistas.
2. Compartir los modelos corregidos en visores online tipo Sckechfab.
3. Generar escenarios 3D para motores de videojuegos o para realidad virtual.
4. Generar renderizado en tiempo real, en el que el usuario puede desplazarse por el modelo.
5. Generar animación y vídeo.

Sin embargo, el resultado de las mallas 3D que se obtienen de los softwares de fotogrametría, presentan varios problemas y el resultado es mejorable. Los problemas habituales de una malla texturizada fotogramétrica son:

• Falta de partes de la malla: A la hora de realizar la toma fotogramétrica pueden existir zonas ciegas (que no son tomadas por la dificultad de la toma o por falta de iluminación) o elementos que dada su geometría (tipo barandillas farolas, etc) son difíciles que queden representados. Todo esto provoca que la malla 3D esté incompleta y no sea un entregable final de calidad.
• Zonas con texturas de mala calidad: Las texturas de mala calidad suelen aparecer cuando hay falta de luminosidad, o cuando las cámaras que la generan son oblicuas a la superficie (generando texturas borrosas).
• Elementos que sobran en escena: Siempre hay elementos que hay que eliminar (coches, señales de tráfico, maquinaria etc). Cuando eliminamos un elemento de la malla, hay cerrarla y regenerar de nuevo la textura.

Por todo ello, las mallas fotogramétricas texturizadas deben tratarse en softwares de modelado 3D como Blender en los que se prepara el modelo para poder generar resultados finales:

En Blender, el tratamiento de un modelo fotogramétrico consiste principalmente en:

1. Optimización del modelo fotogramétrico con texturas: El objetivo es convertir la malla con texturas obtenida de la fotogrametría y de un peso considerable, en una malla esquematizada con texturas, pero que visualmente sesa exactamente igual que la original. Esto se consigue mediante el procesado de retopología y backeado de texturas.

2. Edición del modelo fotogramétrico con texturas: Una vez que tenemos el modelo optimizado a nivel de malla texturizada, es necesario realizar correcciones sobre la misma (eliminar partes de la escena, corregir huecos, corregir parte de la textura).
3. Remodelar y añadir elementos: Consiste en añadir aquellos elementos que la fotogrametría no ha sido capaz de registrar con calidad (tipo barandillas, farolas etc), así como elementos 3D que pueda dar realismo a la escena.

Una vez que terminamos este proceso, ya disponemos de un entregable de calidad, que puede ser exportado a diferentes medios (otros softwares de renderizado, de realidad virtual o de visores online).

Nuestra experiencia con Agisoft, visita el Showcase