Uma arquitetura para raciocínio sobre conhecimento visual

Joel Luis Carbonera (UFRGS) jlcarbonera@inf.ufrgs.br

Mara Abel (UFRGS) marabel@inf.ufrgs.br
Claiton Marlon dos Santos Scherer (UFRGS) claiton.scherer@ufrgs.br
Alexandre Lorenzatti (UFRGS) alorenzatti@inf.ufrgs.br
Sandro Rama Fiorini (UFRGS) srfiorini@inf.ufrgs.br
Ariane Bernardes (UFRGS) ariane.kravczyk@ufrgs.br

Resumo: Conhecimento visual diz respeito ao conjunto de modelos mentais que

suportam processos de raciocínio sobre informação associada ao arranjo espacial e
aspectos visuais de entidades da realidade. O tratamento de conhecimento visual tem
se mostrado uma tarefa que desafia as abordagens tradicionais oferecidas pela
literatura da Engenharia do Conhecimento em termos de aquisição, representação e
raciocínio. Isto ocorre porque em muitos domínios este conhecimento visual é parte da
porção tácita do conhecimento dos agentes envolvidos. O presente trabalho dá
continuidade ao projeto OBAITÁ, que visa estabelecer uma abordagem integrada para
aquisição, representação e raciocínio sobre componentes tácitos do conhecimento
visual. A abordagem em questão faz uso de ontologias híbridas que combinam
representações pictóricas e proposicionais para capturar a organização ontológica de
um domínio de forma mais completa. Este artigo apresenta os resultados alcançados
até o momento, focando a discussão em uma arquitetura que viabilize a realização de
raciocínio automático sobre tais ontologias híbridas, para estabelecer conclusões
efetivas dentro do domínio em foco.
Palavras-chave: Raciocínio; Conhecimento visual; Ontologias.

1. Introdução

Em domínios imagísticos tais como a Geologia e a Medicina, por exemplo, o raciocínio

utilizado para tomada de decisão é fortemente baseado em conhecimento visual. Em
alguns destes domínios uma parte considerável do conhecimento visual resiste à
verbalização, dificultando a utilização de técnicas tradicionais da Engenharia do
Conhecimento para sua captura. Em domínios como a Estratigrafia Sedimentar, descrito
na seção 4, isto ocorre porque ao longo das atividades práticas os especialistas associam
diretamente os estímulos visuais percebidos a uma interpretação dentro do domínio,
sem considerar uma etapa intermediária de tornar explícitas as características visuais
observadas que implicam na interpretação realizada. Deste modo, ao longo do tempo,
estes especialistas desenvolvem abstrações destas características visuais - chamadas de
pacotes visuais (visual chunks), em (ABEL, 2001) – que são incorporadas ao seu

1
conhecimento tácito (NONAKA, 1994). Neste sentido, Abel (2001) sustenta que para
resolver problemas em domínios imagísticos são necessários conceitos que não podem
ser completamente representados através de um vocabulário proposicional.

Muitas abordagens para desenvolvimento de ontologias em domínios imagísticos

descritas na literatura buscam traduzir os conceitos visuais do domínio em
representações proposicionais, em uma tentativa de lidar com a lacuna semântica que
existe entre suportes analógicos de informações visuais (como arquivos digitais que
representam imagens) e o conteúdo semântico destas informações visuais. No contexto
do projeto Obaitá, em desenvolvimento pelo grupo BDI (Grupo de Bancos de Dados
inteligentes da UFRGS), em (LORENZATTI et al., 2009) é introduzida uma abordagem
que busca capturar este conhecimento visual tácito utilizado pelos especialistas, em
ontologias híbridas que combinam primitivas proposicionais e pictóricas para capturar
de forma mais completa a estrutura ontológica do domínio considerado. A utilização
destas primitivas permite a elaboração de representações que estabelecem um
vocabulário pictórico que reflete as necessidades de expressividade dos conceitos
visuais do domínio. Isto sugere a importância de se investigar abordagens
computacionais que possibilitem a realização de raciocínio automático em domínios
imagísticos como a Estratigrafia Sedimentar, buscando explorar os componentes
pictóricos do conhecimento que o especialista utiliza para alcançar conclusões efetivas.

Neste sentido, este trabalho constitui uma continuação da pesquisa já realizada no

projeto Obaitá, e busca demonstrar que as representações híbridas capturam
efetivamente componentes do conhecimento de domínio que não são passíveis de
representação linguística, de modo que possam ser utilizadas em processos de raciocínio
para derivar conclusões úteis dentro do domínio. Deste modo, neste artigo é proposta
uma arquitetura que viabiliza a utilização destas ontologias híbridas para realização de
raciocínio automático. Além disso, é apresentado também um método de raciocínio para
interpretação de processos deposicionais, que apoia-se nesta arquitetura. Neste artigo, a
abordagem apresentada será discutida dentro do domínio da Estratigrafia Sedimentar.

O presente artigo está organizado como segue. Na seção 2, são discutidas as abordagens
utilizadas atualmente para derivar conclusões em domínios imagísticos. Na seção 3, é
apresentada a noção de conhecimento visual. Na seção 4, são introduzidos os conceitos
fundamentais da Estratigrafia Sedimentar - o domínio de aplicação da abordagem

2
apresentada. Na seção 5, é apresentada a abordagem proposta neste trabalho.
Finalmente, na seção 6 são resumidos os principais resultados atingidos.

2. Raciocínio em domínios imagísticos

A literatura da Ciência da Computação oferece algumas alternativas que buscam derivar

conclusões a partir de suportes analógicos de informação visual, dentre as quais
podemos destacar: (a) técnicas de processamento de imagens (ROSS et al., 2006), (b)
técnicas de aprendizado de máquina (abordagens conexionistas) (DUBEY, 2006) e (c)
imagética computacional (LATHROP, 2008). Abordagens baseadas em (a) mostram-se
pouco adequadas em situações em que a inferência depende fortemente do
conhecimento dos profissionais que interpretam as imagens e em casos em que não se
possui conhecimento explícito a respeito das estruturas visuais necessárias para realizar
inferências. No caso de (b), por basearem-se no reconhecimento de padrões geométricos
dos objetos codificados na imagem, tais abordagens mostram-se inadequadas em
situações em que o significado das imagens está associado a características visuais mais
abstratas que dados geométricos e que não podem, portanto, ser obtidas diretamente a
partir de características geométricas dos dados. Já as abordagens baseadas em (c),
buscam evidenciar informações não codificadas explicitamente, criando representações
pictóricas (matriciais, baseadas em pixels) de contextos espaciais descritos
simbolicamente. No entanto, tais abordagens ainda não preveem o tratamento de
componentes tácitos do conhecimento visual humano, que desafiam a representação
simbólica convencional, por resistirem à verbalização. Além do mais, tais abordagens
focam-se basicamente na inferência de relações espaciais, não fornecendo alternativas
para o tratamento do conhecimento a respeito da aparência visual dos objetos do
domínio.

3. Conhecimento visual

Conhecimento visual refere-se ao conjunto de modelos mentais (conceitos) de cenas

reais ou imaginadas manipuladas pelo cérebro para lidar com tarefas baseadas em
imagens, tais como: interpretação de imagens, reconhecimento de padrões ou formas na
realidade e tomada de decisão apoiada em justificativas visuais (LORENZATTI et al.,
2010b). Assim, o conhecimento visual distingue-se da noção de imagem no sentido de
que o primeiro possui natureza conceitual, enquanto o segundo possui uma natureza
representacional. Para esclarecer a noção de conhecimento visual podemos recorrer ao

3
triângulo de Ullmann (ULLMANN, 1979), que representa a relação entre um objeto da
realidade, um conceito em uma conceitualização e um símbolo em uma linguagem. Um
objeto da realidade é uma porção distinta da realidade, um conceito constitui uma
representação mental abstrata do objeto da realidade que permite ao ser humano lidar
com o mundo externo, enquanto um símbolo constitui uma das possibilidades de
externalizar conceitos em processos de comunicação que visam compartilhar uma
conceitualização entre os membros de uma comunidade. Neste sentido, conhecimento
visual refere-se ao vértice do triângulo de Ullmann que corresponde à conceitualização.
Já uma representação pictórica de uma cena (como um desenho, ou mapa), por outro
lado, constitui uma representação externa de uma conceitualização interna. Estas
representações pictóricas do conhecimento visual são utilizadas pelas pessoas para
expressar o conhecimento que resiste a uma representação proposicional. Para
distinguir a representação simbólica de conceitos proposicionais e visuais e suas
visualizações, em (LORENZATTI, 2010) é proposta a extensão do triângulo de
Ullmann (Figura 1) através da adição de uma nova dimensão: representação pictórica
em uma visualização. Assim, um conceito é representado pelo seu nome em uma
linguagem e/ou por uma imagem, desenho, gráfico ou ícone. A correspondência entre a
representação pictórica e um símbolo em uma linguagem, quando ambos referem-se ao
mesmo conceito é estabelecida através de uma relação de ancoramento.

FIGURA 1 – Triângulo de Ullmann estendido, representando a relação entre um objeto na realidade, um

conceito em uma conceitualização deste objeto e as representações simbólicas e pictóricas deste conceito.

Fonte: adaptada de (LORENZATTI et al., 2010b).

Tendo estas distinções em mente, em (LORENZATTI et al., 2009) é proposta uma

abordagem para construção de ontologias, combinando representações pictóricas e

4
proposicionais para representar componentes tácitos do conhecimento visual dos
especialistas do domínio da Estratigrafia Sedimentar. Nesta abordagem as
representações pictóricas não são meras ilustrações de conceitos simbolicamente
representados, mas sim componentes significativos de conhecimento, sem os quais a
organização ontológica do domínio permaneceria incompleta, uma vez que sem tais
representações os especialistas não são capazes de comunicar conceitos visuais
importantes do domínio.

4. Estratigrafia Sedimentar

A Estratigrafia Sedimentar, consiste em uma sub-área da Geologia voltada à descrição,

correlação e classificação dos estratos de rochas sedimentares e que busca explicar os
processos de formação de sucessões sedimentares, geradas pela desagregação,
transporte e deposição de sedimentos originados de outras rochas (PRESS et al. 2004).
Os estudos realizados pela Estratigrafia Sedimentar são fundamentais para compreender
as ocorrências de reservatórios de petróleo.

Os conceitos de fácies estratigráfica e de processo deposicional são fundamentais para

as atividades do domínio. Uma fácies sedimentar (do latim facies = face) é
caracterizada pela rocha que a compõe, e é individualizada através da modificação do
aspecto visual de algum dos atributos que a definem: granulometria, seleção,
esfericidade, arredondamento, geometria, estruturas sedimentares e conteúdo fossilífero.

Já os processos deposicionais são os responsáveis diretos pelo transporte e deposição de

partículas clásticas (fragmentos de outras rochas) até o local de deposição, gerando
arranjos espaciais destas partículas que se refletem em padrões visuais chamados de
Estruturas Sedimentares. Na Estratigrafia Sedimentar as estruturas são classificadas de
acordo com os processos que as criam (FÁVERA, 2001). Este trabalho busca classificar
as estruturas sedimentares unicamente por seus aspectos visuais, permitindo, desta
forma, a criação de sistemas de interpretação automática que sugiram qual foi o
processo sedimentar gerador da rocha.

4.1 Ontologia de Estratigrafia Sedimentar

Em (LORENZATTI, 2010) as primitivas de conhecimento visual são aplicadas na

definição da ontologia visual de representação de fácies sedimentares. Este trabalho
estende esta ontologia, caracterizando ontologicamente o conceito de processo

5
deposicional e organizando uma taxonomia de processos deposicionais com suas
características. Os modelos apresentados foram construídos com base no framework
teórico de meta-propriedades e meta-tipos desenvolvido por Nicola Guarino
(GUARINO, 2000) e Giancarlo Guizzardi (GUIZZARDI, 2005).

Em (LORENZATTI, 2010), caracteriza-se ontologicamente fácies sedimentar como

uma entidade continuante (que é no tempo) e que possui como características intrínsecas
a Rocha Siliciclástica que a constitui e suas Estruturas Sedimentares. Essas
características definem seu critério de identidade (+O). Os limites físicos de uma fácies
são precisamente identificados através de suas superfícies limítrofes, dessa forma, ela
carrega um critério de unicidade (+U). Esses limites são definidos pela modificação
visual de um dos atributos que definem uma fácies. Fácies Sedimentar é externamente
dependente do conceito Rocha Siliciclástica, logo (+D). Esse conceito é classificado
como um Tipo (Kind) de acordo com a UFO-A (GUIZZARDI, 2005).

Um processo deposicional, por sua vez, é um ocorrente (que ocorre no tempo), que não
é analisado através das partes temporais que o compõem, mas através dos resultados
que produz. Assim, Processo Deposicional é classificado como um Processo (Process),
de acordo com a UFO-B (GUIZZARDI, 2005). Os processos deposicionais são
distinguidos através de 6 atributos fundamentais: agente transportador, viscosidade do
fluido, densidade do fluido, energia, regime de fluxo e tipo de corrente. Através do
levantamento destes atributos foi possível determinar uma taxonomia preliminar de
processos deposicionais (Figura 2).

FIGURA 2: Taxonomia de processos deposicionais, destacando os fluxos gravitacionais de sedimentos.

5. A abordagem proposta

Este trabalho visa demonstrar a efetividade de uma abordagem integrada de aquisição,

representação e raciocínio sobre modelos de conhecimento visual que combinam
representações proposicionais e pictóricas. O foco principal será a investigação de uma

6
arquitetura que viabilize a utilização efetiva destes modelos híbridos em processos de
raciocínio automático, buscando demonstrar que as representações visuais previstas em
(LORENZATTI, 2010) capturam conceitos significativos e suficientes para dar suporte
à resolução de problemas no domínio.

A arquitetura aqui proposta (Figura 3) evidencia os componentes básicos e os processos

e relações que permitem (1) estabelecer a referência entre os símbolos
computacionalmente manipulados e as feições visuais observadas pelo especialista do
domínio, possibilitando que os modelos simbólicos processados computacionalmente
reflitam de forma mais estreita a realidade do domínio; e (2) manter esta referência ao
longo do processo de raciocínio automático, refletindo a forma como o geólogo resolve
os problemas no domínio.

FIGURA 3: Representação das relações estabelecidas entre os componentes da arquitetura, as

representações pictóricas e proposicionais, o especialista (geólogo) e a realidade.

Com base na ontologia híbrida de Estratigrafia Sedimentar discutida previamente, foi

possível oferecer um vocabulário (pictórico e proposicional) que pode ser utilizado para
descrever os objetos do domínio (fácies sedimentar). As representações pictóricas
ancoram representações proposicionais. Estas representações proposicionais são fatos
inseridos na base de conhecimento da arquitetura. O módulo de descrição visual oferece
representações pictóricas que o usuário seleciona conforme aquilo que deseja
representar. Com isto, o usuário faz o casamento de padrões visuais das feições do
objeto observado na realidade e, com base nos conceitos visuais resultantes desta
análise, ele seleciona a representação pictórica correspondente ao conceito em questão.
Esta seleção da representação visual adequada é facilitada, na medida em que tais

7
representações são icônicas (PEIRCE, 1931-1958), ou seja, são signos que fazem
referência ao objeto da realidade através do compartilhamento de aspectos visuais com
os mesmos. É importante observar que, nesta perspectiva, o especialista integra a
abordagem como um recurso computacional, desempenhando o papel de extrator das
feições geológicas de interesse, e seletor das representações visuais que casam com
estas feições. Ao descrever um objeto da realidade com tais representações pictóricas,
subjacentemente, o sistema de descrição recupera o conjunto de símbolos ancorados a
elas. Na Figura 4 é apresentado um exemplo de definição de conceito que aplica este
procedimento.

FIGURA 4: Definição do conceito StructureX a partir da seleção de representações pictóricas e

ancoramento de representação proposicional. Cada representação pictórica ancora a representação
proposicional do valor de um atributo.

Os conjuntos de símbolos, por sua vez, estabelecem modelos passíveis de

processamento computacional. Isto permite a realização de processos de raciocínio
automatizado que são capazes de manipular componentes tácitos do conhecimento
visual do especialista, refletindo a maneira através da qual o especialista resolve
problemas no domínio.

Na Figura 5 é ilustrado o processo de raciocínio para interpretação de processos

deposicionais suportado pela arquitetura proposta. As primitivas pictóricas,
selecionadas pelo especialista para representar os conceitos visuais que abstraem
aspectos relevantes do objeto geológico observado, ancoram representações
proposicionais. Estas representações proposicionais são utilizadas para expressar os
modelos manipulados computacionalmente: descrições de fácies, regras de associação,
propriedades do processo deposicional, taxonomia de processos deposicionais com suas
características e processo deposicional resultante da interpretação. O processo de
raciocínio propriamente dito envolve duas etapas. A primeira etapa visa estimar as

8
propriedades do processo deposicional, a partir das propriedades visuais da fácies
descrita, utilizando para isso as regras que associam características do processo
deposicional a características da fácies gerada. A segunda etapa compreende a
classificação do processo deposicional gerador da fácies, a partir das características
levantas na etapa anterior, utilizando para isso a taxonomia de processos deposicionais.

FIGURA 5: Representação do processo de raciocínio para interpretação de processos deposicionais.

6. Considerações finais

Este trabalho apresentou o atual estágio de desenvolvimento de uma abordagem

integrada que busca oferecer meios para aquisição, representação e raciocínio sobre
conhecimento visual. A abordagem em questão compreende uma arquitetura que
permite processar computacionalmente componentes tácitos do conhecimento visual
especialista, utilizando ontologias que combinam primitivas pictóricas e proposicionais
para capturar a organização ontológica do domínio de forma mais completa. Nesta
arquitetura, o especialista atua como um recurso computacional importante, realizando o
casamento de padrões visuais e selecionando o ícone que assemelha-se com os aspecto
visual de interesse no objeto que ele observa. A representação pictórica, por sua vez,
ancora uma representação proposicional que pode ser utilizada efetivamente no
processo de raciocínio. Este pipeline permite manter uma referência estreita à realidade
representada, ao longo do processo de raciocínio. A arquitetura está sendo desenvolvida
como um modelo orientado a objetos que reflete as ontologias definidas. A validação
deste trabalho se dará através da comparação entre as conclusões derivadas pela

9
arquitetura com os resultados obtidos por especialistas que dão suporte a este projeto na
interpretação dos mesmos dados.

Referências
ABEL, Mara. Estudo da Perícia em Petrografia Sedimentar e sua Importância para a Engenharia
do Conhecimento. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Rio
Grande do Sul. 2001.
DUBEY, B.; BHAGWAT, S.; SHOUCHE, S.; SAINIS, J. Potential of Artificial Neural Networks in
Varietal Identification using Morphometry of Wheat Grains. Biosystems Engineering, [S.l.], v.94,
p.477–485, 2006.
FÁVERA, J. C. D. Fundamentos de Estratigrafia Moderna. Rio de Janeiro, Brasil: Editora da
Universidade do Estado do Rio de Janeiro. 2001.
GUARINO, N.; WELTY, C., ‘
A Formal Ontology of Properties’
. Proceedings of the 12th Int.Conf.
on Knowledge Engineering and Knowledge Management, 2000.
GUIZZARDI, Giancarlo. Ontological foundations for structural conceptual models. Tese de
doutorado, University of Twente, Enschede, The Netherlands. 2005.
LATHROP, Scott. D. Extending Cognitive Architectures with Spatial and Visual Imagery
Mechanisms. Tese (Doutorado em Ciência da Computação) - The University of Michigan. 2008
LORENZATTI, Alexandre; ABEL, Mara; NUNES, Bruno R.; SCHERER, Claiton M. S.. Ontology for
Imagistic Domains: Combining Textual and Pictorial Primitives. In: Advances in Conceptual
Modeling - Challenging Perspectives. Anais... Gramado, Brazil: Springer, v. 5829, 2009. p. 169-178.
(LNCS).
LORENZATTI, Alexandre. Ontologia para domínios imagísticos: combinando primitivas textuais
e pictóricas. Dissertação de mestrado, Universidade Federal do Rio Grande do Sul, Porto Alegre.
2010a
LORENZATTI, Alexandre; ABEL, Mara; FIORINI, Sandro R.; BERNARDES, Ariane; SCHERER,
Claiton M.. Ontological Primitives for Visual Knowledge. In: 20th SBIA - Brazilian Symposium on
Artificial Intelligence, 2010b, São Bernardo do Campo. Lectures Notes in Artificial Intelligence, 2010.
NONAKA, Ikujiro. The dynamic theory of organizational knowledge creation. Organization
Science, [S.l.], v.5, p.14–37, 1994.
PRESS, S, F., SIELVER, R., GROEZINGER, J., and JORDAN, T. H. (2004). Para Entender a Terra
4.ed. Porto Alegre: Bookman.
ROSS, N. E.; PRITCHARD, C. J.; RUBIN, D. M.; DUSE´, A. G. Automated image processing
method for the diagnosis and classification of malaria on thin blood smears. Medical and
biological engineering and computing, [S.l.], v.44, p.427–436, 2006.
PEIRCE, Charles S.. Collected Papers. Vols. 1-6, eds. C. Hartshorne & P. Weiss, vols.
7-8, ed. A.W. Burks. Cambridge, Mass.: Harvard Univ. Press, 1931-1958.
ULLMANN, S., Semantics: An Introduction to the Science of Meaning. Oxford: Rowman &
Littlefield. 1979.

10