Escolar Documentos
Profissional Documentos
Cultura Documentos
php/ce/index
DOI: 10.5747/ce.2022.v14.n1.e381
ISSN on-line 2178-8332
ABSTRACT – A big obstacle for the Computer Vision area is the quality of the
processed input images. As an example, there are dark images, which can be
caused by several factors such as low light source at night, adverse weather
conditions, among others. This work aims to use images with low lighting for
the development of algorithms that help to improve the quality of light and
image. Computer Vision techniques were used with the help of the OpenCV
library in the development of algorithms to perform smoothing, correlation
between minimum and maximum intensities, intensities reinforcement and
exposure correction, definition of weight matrix and image enhancement. The
results show that the proposed method was able to improve the images,
considerably reducing unwanted features, maintaining good lighting and image
quality.
Keywords: Computer Vision; Image Processing; Low Light Image; Image
Enhancement.
delas. Para se ter uma base de conhecimento visto que o método “Histogram Equalization”
necessária ao desenvolvimento do algoritmo convencional, em algumas situações tende a
proposto, contemplando as melhores estratégias. aprimorar excessivamente algumas regiões.
A seguir as técnicas citadas são descritas Para isso, ele trabalha com sub-
de maneira simplificada, a fim de apresentar de histogramas e não apenas um único histograma,
forma objetiva cada método, bem como um dividindo-se em três etapas:
exemplo de imagem aprimorada em cada um. 1. Particionamento do Histograma;
2. Alocação de intervalos de nível de
2.1. Histogram Equalization cinza dinâmicos para cada sub-
O trabalho de Arici, Dikbas e Altunbasak histograma;
(2009) parte do conceito de equalização de 3. Aplicação da Equalização de
histograma para aprimoramento de contraste, Histograma.
muito utilizado como base em trabalhos que Nesse método, a imagem inicialmente é
visam o aprimoramento de imagens e vídeos. convertida para o espaço de cor HSV, e em
Se utiliza do histograma da imagem para seguida um filtro de suavização é aplicado para
obter um mapeamento de índice único, para eliminar mínimas insignificantes, utilizando
modificar os valores do pixel. Esse mapeamento é função de convolução.
encontrado, para obter uma imagem com Os filtros são aplicados separadamente
histograma com distribuição mais uniforme aos canais S (saturação) e V (intensidade de
possível, e explorar totalmente a faixa dinâmica. brilho), visto que são os canais manipulados
Para implementação dessa técnica foi durante o processo.
utilizado o pacote Python “skyimage” que oferece Então é realizado o processo de
uma função capaz de realizar esse mapeamento, particionamento do histograma, baseado na
cujo resultado apresenta um histograma já mínima local, assim os histogramas particionados
equalizado. dos canais S e V são obtidos.
Cada canal RGB da imagem foi Em seguida a soma e soma cumulativa
trabalhado, e o filtro aplicado a cada um dos valores dos sub-histogramas obtidos são
separadamente. realizadas, para encontrar as frequências
Após esse processo, os valores de cumulativas (CF). Elas permitem a distribuição do
intensidade dos pixels são verificados. Para intervalo de níveis de cinza para cada histograma.
valores inferiores a 0, o valor mínimo “0” é Dessa forma são obtidos os intervalos
atribuído e para valores superiores a 255, o valor que devem ser aplicados a cada histograma. A
máximo “255” é atribuído. imagem é percorrida, atribuindo-se os novos
Por fim, os canais RGB são reagrupados, e valores de intervalos para os histogramas.
o resultado final é apresentado (Figura 1). Finalmente a imagem é convertida
novamente para o espaço de cor RGB, e tem-se o
Figura 1. (a) Imagem escura de entrada. (b) resultado conforme a Figura 2.
Resultado do método “Histogram Equalization”.
Figura 2. (a) Imagem escura de entrada. (b)
Resultado do método “Dynamic Histogram
Equalization”.
(a) (b)
Fonte: Os autores.
(a) (b)
2.2. Dynamic Histogram Equalization Fonte: Os autores.
O trabalho de Abdullah-Al-Wadud et al.
(2007) também é baseado em Equalização de
Histograma, porém, traz uma nova abordagem,
das mínimas locais, pois assim o brilho médio é reforço e exposição modificados, e das
melhor preservado. intensidades da matriz de peso, para enfim serem
O processo de particionamento do combinadas. O resultado consiste em uma
histograma é então realizado, baseado na imagem com iluminação aprimorada.
máxima local. A sequência das etapas do método
Seguindo o mesmo conceito do DHE, a proposto é descrita a seguir.
soma e soma cumulativa dos valores dos sub-
histogramas obtidos são realizadas para 1. Suavização da imagem;
encontrar as frequências cumulativas (CF). E 2. Correlação entre intensidades
assim efetuar a distribuição dos intervalos de mínimas e máximas;
níveis de cinza para cada histograma. 3. Reforço de intensidades e correção
A imagem é então percorrida para a de exposição;
equalização de cada intervalo separadamente, 4. Definição da matriz de pesos e
seguindo o método padrão de Equalização de aprimoramento da imagem.
Histograma (HE).
Por fim, o brilho da imagem é 3.1. Suavização da imagem
normalizado, para garantir que a intensidade As imagens capturadas por câmeras
média de saída seja a mais próxima possível da digitais podem conter muitas informações
intensidade média de entrada. desnecessárias e não relevantes ao processo de
A imagem então é convertida novamente aprimoramento. Dessa forma, o pré-
para o espaço de cor RGB, e tem-se o resultado processamento da imagem se fez necessário, a
conforme a Figura 5. fim de descartar esses elementos que poderiam
interferir de forma negativa nos resultados.
Figura 5. (a) Imagem escura de entrada. (b) Foi realizada a suavização da imagem
Resultado do método “Brightness Preserving baseada no filtro Gaussiano proposto por Ibrahim
DHE”. e Kong (2007), definido pela Equação 1.
indispensável no método proposto, pois ela com intensidades muito baixas, ou de regiões
permite correlacionar os valores mínimos e superexpostas.
máximos de intensidades da imagem, e com isso Ao utilizar apenas esses valores como
estimar os pesos de intensidades esperados para base, o processo de aprimoramento pode
cada região. aumentar excessivamente as intensidades de
Para a correlação de intensidades, foi regiões já equilibradas. Ao mesmo tempo em que
implementada uma função baseada no modelo regiões com valores ainda muito baixos, podem
proposto por Dong et al. (2011), definido pela ser ignoradas, e resultar na subexposição das
Equação 2. mesmas.
Por isso, a implementação de uma função
𝑅𝑐 (𝑦) de recuperação de intensidades se fez necessária,
𝑡(𝑥) = 1 − 𝜔 min𝑐∈{𝑟,𝑔,𝑏} (min𝑦∈Ω(𝑥) ( 𝐴𝑐 )), (2)
baseada no modelo proposto por Dong et al.
onde 𝜔 representa o valor de ênfase de
(2011), em conjunto com um modelo de correção
aprimoramento, fixado a 0,5 neste trabalho. Ω(𝑥)
de exposição proposto por Ying et al. (2017), que
é um bloco local centrado em 𝑥, com tamanho
busca balancear algumas configurações de
fixado em 9 e R é a intensidade do pixel de
exposição que servem para a maioria das
entrada. E A representa a iluminação atmosférica
câmeras. É garantido dessa forma um
global da imagem. A Equação 2 foi utilizada para
aprimoramento mais dinâmico, de acordo com as
estimar 𝑡(𝑥), que representa a intensidade
características de cada região da imagem.
resultante esperada.
A função de recuperação é definida pela
Para estimar a iluminação global da
Equação 3.
imagem, foram selecionados os pixels com as
intensidades mínimas mais altas em todos os 𝑅(𝑥)−𝐴
canais de cores (RGB) da imagem. E selecionado 𝐽(𝑥) = 𝑃(𝑥)𝑡(𝑥) + 𝐴,(3)
entre eles aquele cuja soma dos valores RGB é a onde R(𝑥) representa a intensidade do pixel, A é a
mais alta. Os valores RGB desse pixel são iluminação geral da imagem, 𝑡(𝑥) é a intensidade
utilizados para definir a iluminação global. estimada anteriormente, e P(𝑥) é um
Dessa forma, foi estimado o peso multiplicador que busca ajustar 𝑡(𝑥) de forma
esperado para as intensidades da imagem. Na adaptativa, ao considerar apenas as regiões de
Figura 6 é mostrada uma imagem com pouca interesse.
iluminação de entrada (a) e a estimativa de peso Dessa forma, caso o valor de 𝑡(𝑥) seja
calculada (b), respectivamente. inferior a 0.5, o pixel correspondente precisa de
reforço. Nesse caso, atribui-se ao multiplicador
Figura 6. (a) Imagem escura de entrada. (b) P(𝑥) o valor de 2𝑡(𝑥), para que o resultado da
Estimativa de peso de intensidades. multiplicação seja ainda menor, e o aumento da
intensidade do pixel seja realizado. Em
compensação, se o valor de 𝑡(𝑥) for maior que
0,5, o valor 1 é atribuído a P(𝑥). Assim previne-se
o aumento excessivo da intensidade do pixel.
Em conjunto com o reforço de pixels, o
modelo de câmera (k) é aplicado e é definido pela
Equação 4.
𝑎 𝑎
(a) (b) 𝑔(𝑃, 𝑘) = 𝛽𝑃𝛾 = 𝑒 𝑏(1−𝑘 ) 𝑃(𝑘 ) , (4)
Fonte: Os autores. onde P representa a imagem, a e b são
parâmetros da câmera fixos propostos por Ying et
3.3. Reforço de intensidades e correção de al. (2017), onde assumindo que nenhuma
exposição informação da câmera seja fornecida, através de
A suavização da imagem de entrada e a inúmeros testes foram definidos valores que
correlação entre intensidades fornecem servem para a maioria das câmeras, que são (a = -
importantes parâmetros de referência para o 0:3293; b = 1:1258), 𝛽 e 𝛾 são dois parâmetros de
processo de aprimoramento. Porém, isoladas não câmera calculados a partir de a e b, e k
garantem que a imagem esteja livre de regiões representa a taxa de exposição. Dessa forma,
foram obtidos os valores esperados dos pixels,
1
̂𝑖 )2 ,
𝑀𝑆𝐸 = 𝑛 ∑𝑛𝑖=1(𝑌𝑖 − 𝑌 (6)
onde 𝑛 representa o número de pixels da core HSV, e então separar os canais H (matiz) e V
imagem, 𝑌𝑖 é o valor do pixel da imagem (intensidade de brilho).
resultante e 𝑌 ̂𝑖 é o valor do pixel da imagem As duas imagens são percorridas pixel a
original de referência. pixel novamente, e o mesmo cálculo descrito
O primeiro passo consiste em separar os anteriormente é aplicado, para cada canal
canais RGB das duas imagens. Em seguida, ambas separadamente, resultando nos erros de cada
são percorridas, efetuando-se a subtração do canal H e V.
valor do pixel resultante, pelo valor do pixel Por fim, a função então retorna os Erros
original (para cada canal separadamente). Na Quadráticos Médios correspondentes a cada
sequência, a diferença é elevada ao quadrado canal R, G, B, H e V, separadamente.
para remoção de sinal. Para comparação dos resultados obtidos
As somatórias das diferenças de cada em cada método, foi gerada uma tabela
canal são então realizadas, e finalmente divididas comparativa de valores dos erros (MSE), onde os
pelo total de pixels das imagens. Dessa forma, menores valores representam uma maior
obtêm-se os Erros Quadráticos Médios de cada proximidade em relação as imagens originais sem
canal (RGB). modificação. As Tabelas de 1 a 5 apresentam os
O próximo passo consiste em converter resultados obtidos para cada imagem.
as duas imagens de entrada para o espaço de
Fonte: Os autores.
Tabela 1. Comparação de Resultados dos Erros Quadráticos Médios (MSE) obtidos na Imagem 1. As
numerações das imagens seguem a mesma sequência de disposição das imagens na Figura 8.
HE DHE DE-HAZE FUSION BPDHE Proposto
R 0,002 0,027 0,0387 0,0014 0,0052 0,0019
G 0,003 0,0207 0,0315 0,0012 0,0051 0,0016
B 0,0048 0,019 0,0336 0,0014 0,0056 0,0016
Imagem01.jpg H 0,1219 0,0384 0,0386 0,0541 0,0533 0,0475
V 0,0024 0,0285 0,0414 0,0014 0,0052 0,002
Média Geral 0,0268 0,0267 0,0368 0,0119 0,0149 0,0109
Fonte: Os autores.
Tabela 2. Comparação de Resultados dos Erros Quadráticos Médios (MSE) obtidos na Imagem 2. As
numerações das imagens seguem a mesma sequência de disposição das imagens na Figura 8.
HE DHE DE-HAZE FUSION BPDHE Proposto
R 0,0231 0,0062 0,0495 0,0022 0,0137 0,004
G 0,0161 0,0059 0,0498 0,0019 0,012 0,0039
B 0,0137 0,0053 0,0441 0,0023 0,0117 0,0033
Imagem02.jpg H 0,2383 0,1132 0,1198 0,1096 0,1127 0,107
V 0,0202 0,0064 0,0515 0,0022 0,014 0,004
Média Geral 0,0623 0,0274 0,0629 0,0236 0,0328 0,0244
Fonte: Os autores.
Tabela 3. Comparação de Resultados dos Erros Quadráticos Médios (MSE) obtidos na Imagem 3. As
numerações das imagens seguem a mesma sequência de disposição das imagens na Figura 8.
HE DHE DE-HAZE FUSION BPDHE Proposto
R 0,0022 0,019 0,0219 0,0053 0,0038 0,0064
G 0,0033 0,0097 0,0084 0,0052 0,004 0,0037
B 0,0097 0,0061 0,0058 0,006 0,0045 0,0027
Imagem03.jpg H 0,1499 0,0654 0,0683 0,0799 0,0726 0,0691
V 0,003 0,0209 0,0238 0,0053 0,0038 0,0067
Média Geral 0,0336 0,0242 0,0256 0,0203 0,01774 0,01772
Fonte: Os autores.
Tabela 4. Comparação de Resultados dos Erros Quadráticos Médios (MSE) obtidos na Imagem 4. As
numerações das imagens seguem a mesma sequência de disposição das imagens na Figura 8.
HE DHE DE-HAZE FUSION BPDHE Proposto
R 0,0528 0,0246 0,0115 0,0087 0,021 0,0024
G 0,0318 0,0188 0,0038 0,0084 0,0192 0,0013
Imagem04.jpg B 0,0235 0,0168 0,0036 0,0093 0,0177 0,0013
H 0,0736 0,0953 0,0853 0,0815 0,0812 0,0848
V 0,0373 0,0253 0,0119 0,0084 0,0213 0,0025
Média Geral 0,0438 0,0362 0,0232 0,0233 0,0321 0,0185
Fonte: Os autores.
Tabela 5. Comparação de Resultados dos Erros Quadráticos Médios (MSE) obtidos na Imagem 5. As
numerações das imagens seguem a mesma sequência de disposição das imagens na Figura 8.
HE DHE DE-HAZE FUSION BPDHE Proposto
R 0,0122 0,0069 0,0234 0,0038 0,0082 0,0026
G 0,0088 0,0070 0,0209 0,0039 0,0080 0,0026
Imagem05.jpg B 0,0193 0,0066 0,0226 0,0047 0,0084 0,0026
H 0,123 0,0443 0,0347 0,0503 0,0507 0,0491
V 0,0121 0,0076 0,0238 0,0047 0,0084 0,0027
Média Geral 0,0351 0,0145 0,0251 0,0135 0,0167 0,0119
Fonte: Os autores.
BRANDIZZI, L. Visão computacional: O que é? OPENCV. Open Source Computer Vision Library.
Como funciona? Uma breve explicação sobre os Disponível em: http://opencv.org. Acesso em: 28
sistemas artificiais que permitem que jun. 2021.
computadores "enxerguem". 2020. Disponível
em: https://www.serpro.gov.br/menu/noticias/ TECHMUNDO. Instagram já tem 1 bilhão de
noticias-2020/o-que-eh-visao-computacional. usuários ativos por mês. Techmundo, 20 jun.
Acesso em: 28 jun. 2021. 2018 Disponível em:
https://www.tecmundo.com.br/redes-
CEPEDA-NEGRETE, J.; SANCHEZ-YANEZ, RE. sociais/131503-instagram-tem-1-bilhao-usuarios-
Experiments on image enhancement for night- ativos-mes.htm. Acesso: 28 jun. 2021.
vision and surveillance. In: INTERNATIONAL
WORKSHOP ON INTERACTIVE AND SPATIAL YING, Z., LI, G., REN, Y., WANG, R., WANG, W. A
COMPUTING. 1., 2015. Dallas, TE. Anais […]. New Image Contrast Enhancement Algorithm
Dallas,Texas: University of Texas, 2015. Using Exposure Fusion Framework. In: FELSBERG,
M., HEYDEN, A., KRÜGER, N. (eds) Computer
DONG, X.; PANG, Y.; WEN, J.; WANG, G.; LI, W.; Analysis of Images and Patterns. CAIP, 2017.
GAO, Y.; YANG, S. Fast efficient algorithm for Lecture Notes in Computer Science, v. 10425.
enhancement of low lighting video. In: IEEE Springer, Cham. https://doi.org/10.1007/978-3-
INTERNATONAL CONFERENCE ON MULTIMEDIA 319-64698-5_4
AND EXPO. 2011. Beijing, China. Anais […].
Beijing, China: Tsinghua University and Beijing
University, 2011.