Identificación de Geometría Facial a través de Patrones

Fuzzy con Sensor RGBD

Víctor Fernández-Cervantes1, Arturo García1, Marco Antonio Ramos2, Andrés Méndez1 1 Instituto
Politécnico Nacional, CINVESTAV, Guadalajara,
Méjico
2 Universidad Autónoma del Estado de México, México

{vfernand, aggarcia, amendez}@gdl.cinvestav.mx, mramos@univ-tlse1.fr

Abstracto. El reconocimiento facial humano
automático es una tarea importante y
complicada; es necesario diseñar algoritmos
capaces de reconocer los patrones
constantes en la cara y utilizar los recursos
informáticos de manera eficiente. En este
artículo presentamos un algoritmo novedoso
para reconocer el rostro humano en tiempo
real; la entrada del sistema es la profundidad
y los datos de color del dispositivo Microsoft
KinectTM. El algoritmo reconoce patrones /
formas en la topografía de la nube de
puntos. La plantilla de la cara se basa en la
geometría facial; la teoría forense clasifica el
rostro humano con respecto a los patrones
constantes: puntos cefalométricos, líneas y
áreas de la cara. La topografía, la posición
relativa y la simetría están directamente
relacionadas con los puntos craneométricos.
La similitud entre un grupo de nubes de
puntos y una descripción de patrones se
mide mediante un algoritmo de teoría de
patrones difusos. La identificación de rostros
está compuesta por dos fases: la primera
fase calcula la hipótesis de patrón facial de
los puntos faciales, configura cada forma de
punto, la ubicación relacionada en las áreas y
las líneas de la cara. Luego, en la segunda
fase, el algoritmo realiza una búsqueda en
estas configuraciones de puntos frontales.
Palabras clave: Kinect, RGBD, lógica difusa,
detección de rostros, segmentación de
rostros.
1. Introducción
Las aplicaciones de la vida real como la
autenticación, la robótica y la seguridad se
pueden beneficiar sustancialmente a través
de un sistema automático y robusto que
maneja la detección facial con una interfaz
transparente [1, 2, 3, 4, 5]. El reconocimiento
facial y el seguimiento son dos de los
principales problemas que recientemente
han recibido considerable atención [6, 7].
Los algoritmos de reconocimiento
automático de rostros suelen suponer que
las imágenes de la cara se alinean bien y
tener poses similares Estas limitaciones
difícilmente se encuentran en el mundo real
[8, 9]. Los investigadores de [8] intentaron
superar esta limitación. Un enfoque común
es discretizar las poses de la cara y aprender
a detectar cada pose por separado [8]. Una
serie de estudios se basan en modelos
estadísticos de la forma de la cara y los
modelos de apariencia activa [9]. Otros
métodos basados en las características
faciales requieren que todas las
características faciales sean completamente
visibles en cada postura o que seleccionen
los puntos manualmente y los hagan
coincidir con el modelo genérico [9]. En
general, estos métodos basados en imágenes
2D son sensibles a los cambios de
iluminación, la falta de características y las
oclusiones parciales [10]. El trabajo
presentado en
[11] es un sistema basado en una red
neuronal difusa que combina histogramas de
información de color y profundidad. Otro
método [12] detecta el rostro humano
usando una combinación de los localizadores
del centro del ojo de última generación y las
ubicaciones de las esquinas. Este sistema
estima la mirada visual de un usuario en un
ambiente controlado.
Los principales problemas de este problema
son la detección de rostros y la clasificación
de género. Aquí, varios métodos se basan en
la selección del espacio de color para
detectar la región y la cara de la piel, y para
realizar una clasificación de género. La
relación entre la detección de rostros y la
clasificación de género se examina
experimentalmente en [13]. Mientras tanto,
[14] informa un análisis detallado de cómo
las diferentes normalizaciones pueden
afectar la precisión de la clasificación de
género. Los dos métodos diferentes de
alineamiento y clasificación de género
estudiados en este trabajo son máquinas de
vectores de soporte y clasificadores Real
Adaboost de dos capas [15]. Los hallazgos
más interesantes, en el contexto del
aprendizaje supervisado para
reconocimiento facial [14], es que la
máquina de vectores de soporte funciona
mejor que otros clasificadores y que la
resolución de una cara no afecta la tasa de
clasificación [15]. Otros trabajos [16, 17, 18,
19, 20] usan modelos de colores vectoriales
para separar imágenes RGB con el fin de
realizar la detección del color de la piel.
Todos estos métodos han sido útiles y
funcionan muy bien en entornos
controlados.
Sin embargo, desde que salieron dispositivos
como Kinect, tenemos mucha más
información que podemos usar, como datos
de profundidad. Los datos obtenidos con
Kinect normalmente no pueden alimentarse
directamente en los algoritmos de visión por
computadora diseñados. La mayoría de los
algoritmos aprovechan la rica información
(RGB y profundidad) unida a un punto.
Para combinar correctamente una imagen
RGB con los datos de profundidad, es
necesario alinear espacialmente la salida de
la cámara RGB y la salida de la cámara de
profundidad. Además, los datos de
profundidad en bruto son muy ruidosos y
muchos píxeles en la imagen pueden no
tener profundidad debido a reflejos
múltiples, objetos transparentes o dispersión
en ciertas superficies (como el tejido
humano y el cabello). Esos datos inexactos /
faltantes de profundidad (agujeros) deben
recuperarse antes de ser utilizados.
Por lo tanto, muchos sistemas basados en
Kinect comienzan con un módulo de
preprocesamiento que lleva a cabo la
calibración de la cámara específica de la
aplicación y / o el filtrado de datos de
profundidad. Sin embargo, más información
no es necesariamente mejor. Solo es útil si
esta información se puede manejar de forma
adecuada. Para superar el abrumador
volumen de información, necesitamos
nuevos algoritmos para procesarla, y los
estándares de características geométricas
deben adaptarse a las características de la
geometría de la cara, como los puntos
cefalométricos para describir el rostro
humano [21].
Por lo tanto, como cada cara es única, hay
crestas y grietas, todas envueltas alrededor
de una calavera esférica que hace que la cara
sea un terreno irregular. Aún así, hay ciertos
puntos de referencia constantes en el rostro
humano [21] que se pueden usar. Estos
puntos nos permiten crear la geografía de la
cara y, en última instancia, desarrollar
índices mediante los cuales se puedan
revelar relaciones sutiles. Los puntos
cefalométricos faciales corresponden a
puntos craneométricos esqueléticos
subyacentes y cierto conocimiento de sus
correlaciones [21].
En nuestro trabajo, el algoritmo propuesto
tiene dos fases diferentes. La primera fase es
la calibración: comenzamos desde el punto
clave en la cabeza del esqueleto de Kinect
Microsoft. Por lo tanto, el algoritmo evita
buscar en toda la imagen. Luego, dividimos la
cara en dos partes (izquierda y derecha) y
creamos diferentes plantillas de hipótesis en
función de dónde se encuentra la ubicación
más probable de cada punto cefalométrico.
Luego, la información de profundidad se usa
para comparar subconjuntos de puntos en
cada lado de la cara para una topografía de
forma similar, hasta que se encuentre la
mejor coincidencia para la descripción del
punto cefalométrico o se alcance el límite de
tiempo para buscar este punto.
Estos subconjuntos de puntos se traducen en
una estructura de nube de puntos. Esto da
paso al inicio de la segunda fase del
algoritmo: la forma del punto se modela
utilizando la teoría del patrón difuso que
encuentra la similitud entre las descripciones
de forma de los puntos cefalométricos y la
deformación de la nube de puntos.
Esta representación está inspirada en la
teoría del patrón de álgebra [22] y la
descripción de las proporciones en la
topografía para representar la relación de
cada punto con sus vecinos; también se
utilizan las funciones de membresía difusa
basadas en reglas basadas en información de
profundidad y color. Posteriormente, se usan
conexiones cuadradas concéntricas entre
puntos para localizar información facial. El
problema de la oclusión utilizando
propiedades simétricas de la cara se relaja
debido a la búsqueda de formas de puntos
de clúster individuales similares que
coinciden con las características de la
geometría de la cara [21]. Luego, usando la
configuración de la nube de puntos,
podemos describir los contornos para
obtener áreas faciales. Esto permite el ajuste
en la estructura de la plantilla para tener una
descripción de la forma de una cara en
particular.
El presente documento tiene la siguiente
estructura: en la Sección 2, revisamos las
ventajas del dispositivo Kinect para recopilar
información visual; en la Sección 3,
describimos la teoría de la geometría facial
en la que se basa este artículo. La Sección 4
describe el modelo de nube de puntos
propuesto y la minimización de las reglas
difusas. En la Sección 5, presentamos la idea
detrás de los puntos de contorno. En la
Sección 6, mostramos los resultados del
modelo de punto de nube para detectar la
geometría facial. Finalmente, en la Sección 7,
se presentan las conclusiones y se discuten
posibles mejoras futuras.
2 Kinect
2.1 Hardware
El dispositivo Kinect consiste en un patrón
proyector IR y una cámara IR, que se utilizan
para triangular puntos en el espacio
euclidiano. Funcionan juntos como una
cámara de profundidad y color (RGB).
1 Cámara RGB ofrece tres componentes
básicos de color de video. La cámara
funciona a 30 Hz y puede ofrecer imágenes a
640 × 480 píxeles con 8 bits por canal. Kinect
también tiene la opción de producir
imágenes de mayor resolución, corriendo a
10 f / s con una resolución de 1280 × 1024
píxeles.
2 El sensor de profundidad tridimensional
consiste en un proyector láser IR y una
cámara IR. Juntos, el proyector y la cámara
crean un mapa de profundidad, que
proporciona la información de distancia
entre un objeto y la cámara. El sensor tiene
un límite de rango práctico de 0.8m - 3.5m
de distancia y produce video a una velocidad
de cuadro de 30 cuadros / s con una
resolución de 640
× 480 píxeles. El campo de visión angular es
57◦ horizontalmente y 43◦ verticalmente.
3 La inclinación motorizada es un pivote para
el ajuste del sensor. El sensor se puede
inclinar hasta 27 ° hacia arriba o hacia abajo.
Por lo tanto, el Kinect se puede utilizar para
reconocer el contenido de la imagen y la
textura de los puntos 3D. Para las
mediciones, Kinect ofrece tres salidas: IR,
RGB e imágenes de profundidad [23, 24, 25,
26]. En realidad, el Kinect se ha convertido
en la forma más práctica de capturar
imágenes RGB con mapas de profundidad en
tiempo real [26]. Proporciona información de
la forma de la cara para diferentes acciones
que tienen proyecciones 2D similares junto
con una proyección de vista única en tres
planos cartesianos ortogonales [27, 28, 29,
30]. Sin embargo, la detección de la cara con
imágenes 2D / 3D es difícil debido al hecho
de que la cara está sujeta a cambios de
traducción, escala, orientación, oclusión
parcial, rotación e iluminación [31]. También
altos niveles de ruido todavía están
presentes en la captura de datos [31]. Como
cada patrón local de puntos proyectados es
único, es factible la correspondencia entre
los patrones de puntos locales observados en
una imagen con los patrones de puntos del
proyector calibrados. La profundidad de un
punto puede se deduce por la traducción
relativa izquierda-derecha del patrón de
puntos. Esta traducción cambia según la
distancia del objeto al plano de la cámara-
proyector.
2.2 Software
El software Kinect hace referencia a la
biblioteca de desarrollo Kinect, así como a
los algoritmos. Varias herramientas de
software están disponibles para desarrollar
productos para diversas aplicaciones. Estas
herramientas proporcionan instalaciones
para sincronizar señales de imagen, capturar
movimiento 3D humano, reconocer voz
humana, entre otros. Los componentes de
software del paquete de detección son
OpenNi [32], Microsoft Kinect SDK [33] y
OpenKinect (LibFreeNect) [34]. Los marcos
OpenNi y NITE proporcionan identificación
de usuario, segmentación de escenas y
seguimiento de esqueleto. Trabajando en
conjunto con un middleware compatible
llamado NITE, la versión
2.0. Microsoft Kinect SDK es lanzado por
Microsoft, y su versión actual es 1.7.
Microsoft SDK (versión 1.7) está disponible
solo para Windows, mientras que OpenNi
(versión 2.0) es una herramienta
multiplataforma y de código abierto. La Tabla
1 ofrece una comparación entre estas dos
herramientas en términos de sus
componentes algorítmicos. En general,
OpenKinect es una biblioteca gratuita de
código abierto mantenida por una
comunidad abierta de personas de Kinect.
En general, la mayoría de los componentes
correspondientes proporcionados por estas
dos bibliotecas tienen funcional similitudes.
Sin embargo, hay diferencias entre ellos. El
rastreador esquelético en OpenNi debe
mantener una posición de calibración
predefinida por el usuario hasta que el
rastreador identifique suficientes junturas. El
tiempo de calibración varía mucho según las
condiciones del entorno y la potencia de
procesamiento. Por el contrario, Microsoft
SDK no necesita una inicialización de pose
específica. Sin embargo, es más propenso a
falsos positivos que OpenNi, especialmente
cuando la pose inicial de un ser humano es
demasiado complicada. Además, la versión
más reciente de Microsoft SDK es capaz de
rastrear la parte superior del cuerpo de un
usuario (diez articulaciones) en caso de que
la parte inferior del cuerpo no sea visible.
Esto es particularmente útil cuando se
analizan las posturas humanas en una
posición sentada. Además, OpenNi se centra
en la detección de mano y el seguimiento
esquelético manual, mientras que Microsoft
SDK realiza un simple reconocimiento de
gestos. Cabe destacar que la nueva versión
de OpenNi (2.0) permite a los usuarios
instalar Microsoft Kinect SDK en la misma
máquina y ejecutar ambos paquetes con el
controlador Microsoft Kinect, lo que significa
que OpenNi ahora es compatible con el
controlador Kinect. Al hacerlo, ya no es
necesario cambiar entre dos controladores,
incluso cuando los usuarios desean
beneficiarse de ambos paquetes.
La evaluación del rendimiento de Kinect,
desde la perspectiva del hardware o del
software, nos ayuda a comprender las
ventajas y limitaciones del sensor Kinect y,
por lo tanto, a diseñar mejor nuestro propio
sistema para una aplicación determinada. En
[35], los autores presentan una investigación
experimental de la medición de la
profundidad de Kinect en términos de
resolución y precisión. Además, hacen una
comparación cuantitativa de la capacidad de
medición 3D para tres cámaras diferentes: la
cámara Kinect, una cámara estéreo y una
cámara TOF. Los resultados experimentales
revelan que Kinect es superior en precisión a
la cámara TOF y está cerca de una cámara
estéreo de resolución media. En [36], los
investigadores comparan el sensor Kinect
con otras dos cámaras TOF 3D. Los datos de
la verdad sobre el terreno son producidos
por un sensor de rango láser con alta
precisión, y la prueba se realiza en un
ambiente interior no controlado. Los
experimentos producen las siguientes
conclusiones:
1 El rendimiento del sensor Kinect es muy
similar al del láser para entornos de corto
alcance (distancia <3,5 metros);
2 Dos cámaras TOF tienen un rendimiento
ligeramente peor en la prueba de corto
alcance; y
3 Ningún sensor alcanza un rendimiento
comparable al del sensor láser en el rango de
distancia total.
Esto sugiere implícitamente que Kinect
podría ser una mejor opción (sobre cámaras
TOF) si la aplicación solo necesita tratar con
entornos de corto alcance, ya que las
cámaras TOF suelen ser más caras que el
sensor Kinect.
En lugar de comparar el Kinect con otras
cámaras de profundidad disponibles, [37]
proporciona una idea de la calidad
geométrica de los datos de profundidad de
Kinect basándose en un análisis de la
precisión y la resolución de la señal de
profundidad. Los resultados experimentales
muestran que el error aleatorio de la
medición de profundidad aumenta cuando la
distancia entre la escena y el sensor
aumenta, desde unos pocos milímetros en
un rango cercano a unos 4 cm en el rango
máximo del sensor.
El rendimiento del software Kinect es
importante al aplicar Kinect al análisis de la
postura humana. En [38], la capacidad de
captura de movimiento 3D que ofrece el
Kinect se prueba para saber si el sensor
Kinect tiene una precisión comparable a la de
los sistemas existentes de adquisición de
movimiento basados en marcadores. El
resultado demuestra que Kinect es capaz de
capturar coordenadas 3D relativas de
marcadores con errores menores (<1 cm) en
caso de que el sensor esté posicionado en un
rango ideal (1m a 3m) y con un campo de
visión efectivo.
En [39], los autores examinan la precisión de
la localización conjunta y la robustez de la
estimación de postura con respecto a
configuraciones más realistas. En su
experimento, se llevan a cabo seis ejercicios,
en los cuales el sujeto está sentado o
colocado al lado de una silla. El ejercicio es
generalmente desafiante para el
reconocimiento de la postura humana ya que
la autooclusión aparece con frecuencia y el
ángulo de visión de captura se cambia con el
tiempo. La ubicación 3D adquirida de cada
articulación se compara luego con los datos
generados por un sistema de captura de
movimiento basado en marcadores, que se
puede considerar como los datos de verdad
del terreno. De acuerdo con los resultados, el
Kinect tiene un potencial significativo como
una alternativa de bajo costo para la captura
de movimiento en tiempo real y las
aplicaciones de seguimiento del cuerpo. La
precisión de la estimación conjunta de Kinect
es comparable a la captura de movimiento
basada en marcadores en una pose corporal
más controlada.
Sin embargo, en general, el error típico del
seguimiento esquelético Kinect es de
aproximadamente 10 cm. Además, el
algoritmo de Kinect actual falla
frecuentemente debido a oclusiones, no
distinguiendo la profundidad (extremidades
cercanas al cuerpo) o el desorden (otros
objetos en la escena).
3 Geometría Facial
El rostro humano es una maravilla de
contornos que muestran colinas y valles,
laderas, crestas, crestas y grietas, todo
envuelto alrededor de un cráneo esférico. A
lo largo de este terreno irregular hay ciertos
puntos de referencia constantes que se
denotan por una serie de puntos
cefalométricos definidos con precisión [21].
Estos puntos cefalométricos son bastante
importantes porque están directamente
relacionados con los puntos craneométricos
esqueléticos subyacentes. Aunque las caras
no son idénticas, tienen el mismo patrón en
la distribución de los puntos cefalométricos
[21]. Estos puntos se muestran en la Tabla 2.
Nos permiten mapear la geografía de la cara,
para zonificar sus áreas y, en última
instancia, para desarrollar índices mediante
los cuales se puedan revelar relaciones
sutiles. Los puntos cefalométricos faciales
corresponden a los puntos craneométricos
esqueléticos subyacentes, y el conocimiento
de sus correlaciones forma la base científica
de la aproximación facial forense [21]. Los
puntos proyectados sobre la plantilla del
rostro humano se muestran en la Fig. 1. El
código, el nombre y el conjunto de miembros
se muestran en la Tabla 2. La definición de
los puntos cefalométricos viene dada por la
ecuación. 1:
𝐹𝐶𝑃 = [𝑣, 𝑠𝑔, 𝑔, 𝑒𝑢, 𝑎𝑡, 𝑧𝑦, 𝑔𝑜, 𝑒𝑐, 𝑒𝑐, 𝑖𝑙, 𝑧𝑦,
𝑧𝑦, 𝑒𝑐, 𝑒𝑛, 𝑎𝑡, 𝑧𝑦, 𝑔𝑜, 𝑒𝑛, 𝑎𝑡, 𝑧𝑦,
𝑛, 𝑛𝑎, 𝑝𝑟𝑛, 𝑠𝑛, 𝑠𝑙𝑠, 𝑙𝑠, 𝑠𝑡𝑜, 𝑙𝑖, 𝑙𝑖, 𝑐ℎ, 𝑐ℎ, 𝑝𝑜𝑔,
𝑠𝑡𝑜, 𝑠𝑡𝑜, 𝑐ℎ, 𝑙𝑚, 𝑠𝑙𝑠, 𝑠𝑡𝑜, 𝑠𝑡𝑜, 𝑐ℎ, 𝑙𝑚, 𝑠𝑙𝑠,
𝑠𝑡𝑜
𝑠𝑏𝑎, 𝑝𝑟𝑎, 𝑝𝑎, 𝑡𝑟],
(1)
comparable a la captura de movimiento
basada en marcadores en una pose corporal
más controlada.
Sin embargo, en general, el error típico del
seguimiento esquelético Kinect es de
aproximadamente 10 cm. Además, el
algoritmo de Kinect actual falla
frecuentemente debido a oclusiones, no
distinguiendo la profundidad (extremidades
cercanas al cuerpo) o el desorden (otros
objetos en la escena).
donde 𝐹𝐶𝑃 es el conjunto de los puntos
cefalométricos en la cara, cada punto
cefalométrico tiene una descripción de la
forma geométrica y su posición entre los
otros puntos cefalométricos.
Esto significa que las áreas de la cara están
contorneadas, y un verdadero tratamiento
matemático de esta superficie requeriría una
geometría sólida [21]. Los planos frontales
en Eq. 2 se definen como vectores que
dividen la cara usando un subconjunto de
puntos cefalométricos donde la n-tupla de
𝐹𝐶𝑃 se define en Eq. 3. Entonces,
𝐹𝐿 = {⃗𝑀⃗⃗⃗⃗⃗⃗⃗⃗𝑆⃗⃗⃗⃗⃗⃗𝑃⃗ ⋃ ⃗𝑀⃗⃗⃗⃗⃗⃗⃗⃗𝐹⃗⃗⃗𝑃⃗ ⋃
⃗𝑇⃗⃗⃗⃗⃗⃗𝑁⃗⃗⃗⃗⃗⃗⃗⃗𝑃⃗..}. (2)
Los cuatro planos faciales más útiles se
definen de la siguiente manera.
El plano medio sagital (MSP) divide la cara en
los lados derecho e izquierdo bilateralmente
simétricos que conectan todos los puntos de
la línea media desde el vértice al ⃗
𝑀⃗⃗⃗⃗⃗⃗⃗⃗𝑆⃗⃗⃗⃗⃗⃗𝑃⃗ = [𝑣, 𝑠𝑔, 𝑔, 𝑛, 𝑛𝑎, 𝑝𝑟𝑛, 𝑠𝑛, 𝑠𝑙𝑠,
𝑠𝑙𝑠, 𝑠𝑡𝑜, 𝑝𝑟𝑛, 𝑝𝑟𝑛, 𝑠𝑙𝑠, 𝑙𝑠, 𝑛𝑎, 𝑝𝑟𝑛, 𝑠𝑛, 𝑙𝑠,
𝑛𝑎, 𝑝𝑟𝑛,
𝑙𝑚, 𝑝𝑜𝑔, 𝑔𝑛].
El plano medio-facial (MFP) divide
aproximadamente la cabeza en las mitades
superior e inferior por una línea horizontal
tangente a los polos inferiores del iris:
⃗𝑀⃗⃗⃗⃗⃗⃗⃗⃗𝐹⃗⃗⃗𝑃⃗ = [𝑝𝑎, 𝑒𝑐, 𝑖𝑚, 𝑖𝑙, 𝑒𝑛].
El plano nasal transversal (PNT) es un plano
horizontal paralelo al MFP y que pasa a
través de la subnasal:
⃗𝑇⃗⃗⃗⃗⃗⃗𝑁⃗⃗⃗⃗⃗⃗⃗⃗𝑃⃗ = [𝑠𝑏𝑎, 𝑎𝑙, 𝑠𝑛].
El plano transglabellar (TGP) es un plano
horizontal que pasa a través de la glabela y
marca el lado superior del cuadrado facial: ⃗
𝑇⃗⃗⃗⃗⃗⃗𝐺⃗⃗⃗⃗⃗⃗𝑃⃗ = [𝑧𝑦, 𝑛].

𝑀⃗⃗⃗⃗𝑆⃗⃗⃗𝑃, 𝑀⃗⃗⃗⃗𝐹𝑃, 𝑇⃗⃗⃗𝑁⃗⃗⃗⃗𝑃, 𝑇⃗⃗⃗𝐺⃗⃗⃗𝑃 𝑇⃗⃗⃗𝐺⃗⃗⃗𝑃 𝐹𝐶𝑃. (3)
Las ocho áreas de la cara están contorneadas
en Eq. 4, y un tratamiento matemático de su
superficie requeriría una geometría sólida.
Uno de los principales objetivos de la
geometría facial, sin embargo, es revelar las
relaciones faciales a través del análisis facial
gráfico, por lo que debemos contentarnos
con aplicaciones euclidianas de la geometría
más simples [21]. Las ocho áreas de la cara
como se ve en la vista frontal y la vista de 90
° de la cara giratoria están demarcadas en las
Figuras 1 y 2. Esta es una cuestión preliminar
relacionada con la relación entre los ojos, la
nariz, los labios y las orejas:
1. área frontal,
2. área nasal,
3. Área labial,
4. Área mental,
5. área orbital,
6. Zygomaxillary área,
7. Área Buccomandibular,
8. Área Auricular.
Luego, las áreas de la cara se definen como
un subconjunto de los puntos cefalométricos
y la forma geométrica dentro del área. Por lo
tanto, la cara se describe en Eq. 5.
𝐹𝐴 = [𝐹𝑟𝑜𝑛𝑡𝑎𝑙, 𝑁⃗⃗⃗⃗𝑎𝑠𝑎𝑙, 𝐿𝑎𝑏𝑖𝑎𝑙, 𝑀⃗⃗⃗⃗𝑒𝑛𝑡𝑎𝑙,
𝑂𝑟𝑏𝑖𝑡𝑎𝑙,
𝑍𝑦𝑔𝑜𝑚𝑎𝑥𝑖𝑙𝑙𝑎𝑟𝑦, 𝐵𝑢𝑐𝑐𝑜𝑚𝑎𝑛𝑑𝑖𝑏𝑢𝑙𝑎𝑟,
𝐴𝑢𝑟𝑖𝑐𝑢𝑙𝑎𝑟],
(4)
𝐹 ={𝐹𝐶𝑃⋃𝐹𝐿⋃𝐹𝐴}. (5)
Modelo de nube de 4 puntos
El modelo de nube de puntos es una
estructura de datos que el sistema usa para
reconocer el rostro humano a partir de una
imagen RGBD considerando cada punto en la
imagen de profundidad. 𝑃𝑑 = [𝑝1, 𝑝2, 𝑝3, 𝑝4,
..., 𝑝𝑛] tiene coordenadas en el plano
cartesiano (x, y, z); 𝑥, 𝑦, 𝑧 ∈ which, que se
interpreta como una posición en el plano.
Para asegurar que esto solo cambie la
representación de la información y no sus
valores [22], es necesario generar una
representación del modelo que permanezca
simétrica e invariante a la rotación. Para
esto, es posible utilizar una transformación
de la representación de cada punto en P en
una representación del generador de la
Teoría de Patrones
[22] que conserva información de distancia
[24]. El número de puntos necesarios para
representar la información capturada de la
RGB sensores y IR es n = 640 × 480 = 307200.
[24] Sin embargo, sólo los subconjuntos de
hipótesis de puntos cefalométricos en la
topografía de la imagen de profundidad se
convierten a la nube de puntos estructura.
Por lo tanto, cada punto cefalométrico tiene
tres segmentos concéntricos diferentes: el
punto inicial, los puntos interiores y los
puntos fronterizos. Finalmente, cada punto
en la estructura de datos es invariante. Esto
significa que cada punto de datos obtenido
con Kinect y su representación de estructura
de datos son los mismos [22]. Con el fin de
agrupar todas estas representaciones de
puntos juntos en una nube de puntos, cada
punto posee una serie de bonos J1, J2, ..., jb
.. [22] donde 𝑏 = b (p) significa la unión-
conectividad de p. El número de enlaces
puede variar de un punto a otro y cada
enlace contiene un valor booleano; esto
permite que un enlace se conecte con otros
bonos. Estas conexiones se muestran en la
Tabla 3 que describe una matriz de
conectividad β. Tenemos tres grupos
diferentes para describir la imagen RGBD de
entrada: puntos de los bordes, puntos de las
esquinas y puntos interiores.
Una representación gráfica de los puntos se
muestra en la Fig. 3. El uso de estos tipos de
árboles de puntos, es posible describir la
información de imagen completa como una
estructura de punto de enturbiamiento
porque los puntos de esquina y puntos de
borde pueden girar 90 °, 180 °, 270 ° ,
mientras que los puntos interiores son
invariantes bajo rotaciones. Además, el
componente RGB de color asociado 𝑃𝑐 = [𝑝1,
𝑝2, 𝑝3, 𝑝4, ..., 𝑝𝑛] y el número de
identificación de la configuración σ son
invariables. El modelo de nube de puntos
utiliza la información de profundidad de la
siguiente manera. El valor ∂ se define como
la diferencia de profundidad entre dos
puntos adyacentes unidos por un enlace, y se
calcula mediante Eq. 6. Este término se
calcula para cada conexión de bonos. Esto
permite definir un umbral para caracterizar
la forma del punto dada la relación de la
diferencia de profundidad entre los vecinos
conectados en el número de identificación σ:
∀𝛽𝑖: ∃ ∂i → ∂i𝜖𝛽𝑖 = 𝑧𝜖𝜌(𝑥,𝑦) − 𝑧𝜖𝜌(𝑥,𝑦)𝛽𝑛𝑥𝑛
Cada conector se clasifica por una función
difusa para describir la forma topográfica del
punto en función de diferentes valores de
profundidad on en cada enlace. Estos valores
se describen mediante una función de
membresía difusa y su propio sistema de
conjunto de reglas difusas. Como los puntos
byc de la Fig. 3 son las esquinas y el borde,
respectivamente, es muy poco probable que
se encuentre alguna parte de la cara en esos
puntos. Entonces, el sistema solo usa los
puntos interiores. Las funciones de
membresía se usan para definir la diferencia
de profundidad de la variable lingüística
entre dos puntos conectados, ver Fig. 4. El
mínimo∂miny el máximo ∂max se obtiene
como un número entero valores entre 0 y
2047. El valor de la distancia
∂i indica la diferencia de profundidad en la
superficie entre dos puntos. A continuación,
los puntos cefalométricos identificables del
rostro humano se describen mediante
conjuntos difusos tipo-1.
Estas configuraciones se muestran en la Fig.
5. Finalmente, el conjunto de reglas difusas
se usa para describir la configuración en la
nube de puntos topográficos. La topografía
se representa con un conjunto difuso de
entrada correspondiente a la información de
diferencia de cambio de profundidad: más
bajo, muy bajo, bajo, normal, alto, muy alto y
más alto. Por lo tanto, el conjunto p∂ se
define en las ecuaciones 7 y 8 para describir
las diferencias difusas entre las distancias
puntuales. Eq. 9 define la función de
membresía difusa entre las distancias
permitidas.
μp∂: ∂ → [0,1], (7)
P∂ = [más bajo, muy bajo, bajo, normal, alto,
muy alto, más alto], (8)
𝜇p(∂𝑖)
∑
𝑖 ∂𝑖
Este sistema basado en reglas difusas está
compuesto por reglas if-then. Tal conjunto
de reglas se usa para generar una
descripción topográfica de los puntos
conectados. La lógica difusa tipo I se usa
porque es fácil describir el patrón en la cara
en términos de puntos de topografía válidos
donde existen variaciones. Los valores de 𝜕
se usan para clasificar cada cambio de punto
según la descripción del punto cefalométrico;
sin embargo, la relación para etiquetar cada
punto es constante, y la relación entre
distancias y etiquetas se muestra en la Tabla
3. La etiqueta de cada punto es el código
para representar la forma gráfica en la
topografía de la imagen de profundidad para
etiquetar cada enlace sobre la dependencia
de la clasificación con el conjunto de reglas
difusas. Como solo clasificamos los puntos
interiores, todos los puntos (azul) están b (4)
conectados; las líneas representan los
enlaces que conectan los cuatro vecinos que
se muestran en la figura 5, de la siguiente
manera: verde es el punto adyacente en j1,
naranja es j2 amarillo j3 y rojo j4.
Usando la experimentación y los datos
disponibles, se diseñaron las siguientes
reglas difusas 𝑟