Machine Translated by Google

Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

REDE NEURAL CONVOLUCIONAL PROFUNDA PARA DETECÇÃO AUTOMÁTICA DE

CÉLULAS FOTOVOLTAICAS DANIFICADAS

R. Pierdicca1 , ES Malinverni1 , F. Piccinini1 , M. Paolanti2 , A. Felicetti2 , P. Zingaretti2

´
1Universita Politecnica delle Marche, Dipartimento di Ingegneria Civile, Edile e dell'Architettura, 60100 Ancona, Itália (es malinverni,
r.pierdicca)@staff.univpm.it
´
2Universita Politecnica delle Marche, Dipartimento di Ingegneria dell'Informazione, 60100 Ancona, Itália (m.paolanti,
a.felicetti)@pm.univpm.it, p.zingaretti@staff.univpm.it

Comissão II, GT II/4

PALAVRAS-CHAVE: UAV, monitoramento/inspeção, Detecção de Anomalias, Deep Learning, Painéis Fotovoltaicos, Termografia, Classificação

ABSTRATO:

O número de usinas fotovoltaicas (PV) distribuídas que produzem eletricidade aumentou significativamente, e a questão do monitoramento
e a manutenção de uma planta fotovoltaica tornou-se de grande importância e envolve muitos desafios como eficiência, confiabilidade, segurança e estabilidade.
Este artigo apresenta a nova abordagem para estimar as degradações de células fotovoltaicas com DCNNs. Embora muitos estudos tenham realizado
classificação de imagens, até onde sabemos, esta é a primeira exploração de dados adquiridos com um drone equipado com um sensor térmico
sensor infravermelho. Os experimentos em “Dataset de imagens fotovoltaicas”, um conjunto de dados coletados, são apresentados para mostrar o problema de degradação
e avaliar de forma abrangente o método apresentado nesta pesquisa. Os resultados em termos de precisão, recall e F1-score mostram a
eficácia e a adequação da abordagem proposta.

1. INTRODUÇÃO 2. Nível da matriz: degradação óptica ou (falha), correspondências elétricas

Num futuro próximo, um desafio fundamental será representado pela
utilização de fontes de energia renovável (FER), cuja aplicação é cada vez
mais procurada devido aos desafios ambientais e climáticos e à recuperação
da economia mundial. Energia renovável
fontes representarão a única alternativa para limitar o uso de combustíveis
fósseis e a poluição. As principais perspectivas mundiais de energia da
Agência Internacional de Energia (IEA), Administração de Informações sobre
incorretas, etc.
Existem muitos métodos propostos na literatura nos últimos
década em relação à identificação do painel danificado, e
abrange desde diagnóstico elétrico, inferência estatística de unidades de
controle monitoradas, detecção de sombreamento e assim por diante (Drews et al.,
2007), (Silvestre et al., 2014), (Chouder e Silvestre, 2010). Embora as

Energia dos EUA (EIA) e BP estão mostrando as tendências no setor de energia abordagens padrão de monitoramento tenham se mostrado eficazes,
com aumento significativo na conversão e utilização de energia renovável eles são capazes apenas de garantir a detecção de perdas de energia em uma parte do

para o futuro (IEA, 2016), (EIA, 2016), (BPp.lc, 2016).
O número de usinas fotovoltaicas (PV) distribuídas que produzem
a eletricidade aumentou significativamente e a maioria das instalações está
se descentralizando. Neste setor, nos últimos cinco
anos, a própria Europa experimentou um dos maiores crescimentos:
a geração de eletricidade por FER em geral, e PV em particular. Assim, a
o campo fotovoltaico, enquanto a localização precisa de módulos defeituosos
requer desmontagem de strings, inspeção visual e/ou elétrica.
As técnicas acima mencionadas, e em particular o diagnóstico elétrico, são
demoradas, causam paradas na geração de energia e muitas vezes requerem
instrumentação laboratorial, resultando
não é rentável para inspeções frequentes. Além disso, deve
Note-se que as plantas fotovoltaicas estão frequentemente localizadas em locais inacessíveis,

questão do monitoramento e manutenção de uma planta fotovoltaica tem
torna-se de grande importância e envolve muitos desafios como eficiência,
confiabilidade, segurança e estabilidade (Grimaccia et al., 2015),
(Ackermann et al., 2015).
Monitorar o estado de saúde de um sistema é crucial; na verdade,
detectar a degradação dos painéis solares é a única maneira de garantir bons
desempenhos por longos períodos de tempo (Jordan et al.,
2018). Além de evitar o desperdício de energia, a razão para manter um
correto estado funcional de uma planta também é econômica. De fato,
a degradação do desempenho a longo prazo e da confiabilidade geral
das usinas fotovoltaicas pode reduzir drasticamente as receitas esperadas. usinas fotovoltaicas
são cada vez mais extensas, compostas por milhares de módulos,
potencialmente afetados pelos seguintes tipos de falhas em:
1. Nível do módulo: incompatibilidades entre módulos, sombreamento, vidro
ruptura, falha de barramento, falhas de diodo, delaminação,
interconexões quebradas e pontos quentes (Pieri et al., 2017).
tornando qualquer intervenção perigosa. Portanto, a segurança da operação
impacta profundamente nos custos de manutenção.
Neste sentido, um forte contributo foi dado pela recente difusão de veículos
aéreos não tripulados (VANT), equipados com
sensor infravermelho, tornando esta técnica amplamente acessível e acessível
e tornando-se um padrão de fato para aquisição de dados
inspecionar o sistema fotovoltaico para detectar falhas (Quater et al., 2014).
Independentemente do motivo da falha, a célula fotovoltaica com defeito
uma temperatura mais alta do que as células normais adjacentes; é, portanto, bastante
fácil detectá-los com um drone equipado com um infravermelho térmico
sensor por drone. O desafio aqui é agilizar o processo de
detectar essas anomalias, o que pode consumir muito tempo
e dependendo da interpretação visual do operador. De fato, uma prática atual
é inspecionar quadro a quadro o fluxo de vídeo
da câmera térmica.
A literatura recente apresenta diferentes abordagens para inspecionar PV
campos, bem como ferramentas automáticas para processamento de imagens e falhas

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 893
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália
detecção e classificação (Malof et al., 2016). Os principais desafios dessas abordagens
são: posicionamento, módulo individual
identificação, detecção de defeitos e classificação de defeitos. Com relação a essas
abordagens, o problema da interpretação dos dados ainda precisa ser
para ser resolvido. Um dos maiores obstáculos é representado pela
grande número de imagens a serem analisadas. Sistemas inteligentes de gerenciamento
de dados automáticos, explorando processamento de sinal avançado
algoritmos para visão computacional, capazes de identificar painéis únicos
quadros são necessários e podem representar a solução vencedora em
para tornar a tarefa de monitoramento mais acessível e confiável.
Ao lidar com a análise de grandes coleções de imagens, as Redes Neurais
Convolucionais Profundas (DCNNs) são comprovadamente da
tarefa de alto nível, em comparação com o aprendizado de máquina amplamente utilizado
abordagem (por exemplo, Support Vector Machine (SVM), Redes Neurais
(NN), kVizinho mais próximo (KNN), Árvore de decisão (DT), Aleatório
Floresta (RF), Nave Bayes) e abordagens baseadas em DCNN superaram os métodos
de última geração na classificação de imagens. Elas
pavimentar o caminho para a compreensão completa da imagem e eles
estão superando outras abordagens por uma grande margem em termos de precisão e
às vezes até eficiência, descobrindo vários níveis
de representação que pode representar uma semântica mais abstrata de
os dados. Em particular, o uso de arquiteturas convolucionais é
um aspecto chave do sucesso do aprendizado profundo na classificação de imagens.
As camadas convolucionais aprendem as representações de recursos de
suas imagens de entrada, e isso as torna o bloco principal da DCNN.
As DCNNs levaram a uma série de avanços na classificação de imagens ao integrar
recursos e classificadores de baixo/médio/alto nível
em uma multicamada de ponta a ponta. DCNNs podem extrair recursos de imagem
e classificá-los a partir de um grande número de dados de imagem automaticamente.
Comparado com técnicas de extração de recursos (por exemplo, SIFT,
HOG, GIST), estes podem ter um melhor desempenho e não
precisa de recursos de imagem projetados à mão.
Dado o exposto e de acordo com as tendências de pesquisa recentes, este artigo
descreve a nova abordagem para estimar as degradações das células fotovoltaicas
com DCNNs. Embora muitas pesquisas na literatura tenham
classificação de imagens realizada, até onde sabemos,
esta é uma das primeiras explorações de dados adquiridos com um drone
equipado com um sensor infravermelho térmico. Os experimentos sobre
“Conjunto de dados de imagens fotovoltaicas”, um conjunto de dados recém-coletado,
são apresentados para mostrar o problema de degradação e
avaliar o método apresentado nesta pesquisa. A DCNN que
que selecionamos é baseado na arquitetura de rede VGG16 (Simonyan
e Zisserman, 2014), pois são as soluções adequadas para classificação de imagens
(Paolanti et al., 2017a), (Paolanti et al., 2017b),
(Sturari et al., 2017). O conjunto de dados é composto por uma quantidade total
de 3336 imagens, capturadas com um drone Skyrobotic SR-SF6, equipado
com uma câmera térmica Flir Tau 2 640. As imagens foram adquiridas com
configuração nadir, mantendo uma altura média de voo de 50 m. Para
obter a verdade fundamental das imagens coletadas, a verdadeira célula
degradação foi estimada manualmente por anotadores humanos,
fornecendo assim um conjunto de dados mais preciso e menos ruidoso.
Para resumir brevemente, as principais contribuições deste trabalho são: (i)
uma demonstração de que as arquiteturas de Deep Learning podem ser aplicadas
para detecção de células fotovoltaicas danificadas; (ii) um novo conjunto de dados desafiador
de imagens térmicas coletadas por drone equipado com sensor térmico em
infravermelho, rotulado à mão com verdade do solo; (ii) desempenho
comparação de diferentes coletas de dados para classificação de imagens térmicas.
O artigo está organizado da seguinte forma: a Seção 2 fornece a descrição de
o trabalho relacionado, a Seção 3 dá a visão do método usado
nesta análise, a Seção 4 apresenta os resultados experimentais. Futuro
os trabalhos com as conclusões são apresentados na Seção 5.
Esta contribuição foi revisada por pares.
https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0.
2. TRABALHO RELACIONADO
Nos últimos anos, vários autores têm proposto o uso de VANTs
para atividades de inspeção (Hallberg et al., 1999), (Ollero e Merino,
2004). A prática atual adotada pela maioria das usinas fotovoltaicas
o proprietário deve realizar a inspeção esporadicamente, com critérios aleatórios e sem
controlar a saúde geral da instalação. A inspeção visual e os métodos de medição de
saída podem ser
usado para diagnóstico de falhas em painéis fotovoltaicos com eficiência de saída
reduzida (Quater et al., 2014). Recentemente, métodos de automação
detecção de falhas combinando fotogrametria aérea com tecnologia de visão
computacional foram desenvolvidas e duas tecnologias estão envolvidas principalmente
neste processo: a extração automática
da ROI (região de interesse) de um campo de arranjo fotovoltaico a partir do dado
imagens e o diagnóstico automático de painéis defeituosos com base em
áreas extraídas do painel fotovoltaico (Kim et al., 2017).
Em (Tsanakas et al., 2015) e em (Rogotis et al., 2014), os autores
apresentaram métodos para a extração de ROI de
sequências de imagens infravermelhas térmicas, aplicando segmentação de imagens
técnicas (Gonzalez et al., 2004).
O operador Canny edge (Canny, 1986) e a segmentação de imagens
técnicas também são usadas para o desenvolvimento de um algoritmo para
extração da área do painel de imagens térmicas infravermelhas capturadas com
um UAV em (Kim et al., 2017). No entanto, o método de extração de área
usar o operador de borda Canny não foi bom para criar
um único polígono para a área do painel devido a ruídos dentro e fora dos painéis. Em
vez disso, o método de extração de área baseado em segmentação de imagem criou
polígonos de áreas de painéis individuais,
embora limitado pela linearidade imperfeita. Também Tsanakas et al. tenho
adotou o operador de borda de Canny para o projeto de um método para
identificar a localização de células de ponto quente em um painel fotovoltaico (Tsanakas et
al., 2015). Neste estudo, os autores empregaram um método para
comparando as características de intensidade da área do painel individual
polígonos para o desenvolvimento de algoritmos. Outro estudo para o
o diagnóstico de falha do painel foi realizado por Kim et al. (Kim et ai.,
2017). Eles propuseram um algoritmo capaz de automatizar
Diagnóstico de falhas do painel fotovoltaico usando valores estatísticos relacionados à intensidade
de cada painel com base em polígonos de área de painel extraídos.
Um método adicional de detecção e diagnóstico de falhas é baseado em
redundância de hardware, na qual vários subsistemas semelhantes realizam a mesma
tarefa. A detecção de anomalias é feita por
coletando e analisando os dados de cada subsistema (Daliento et al.,
2017). Outra possibilidade no monitoramento e diagnóstico é baseada
em parâmetros elétricos, tais como Performance Ratio considerando
comparação entre arrays (Bizzarri et al., 2015), ou strings por
comparando correntes (Baba et al., 2013), ferramenta inferencial, retornando
informações sobre a operação do campo fotovoltaico (Cristaldi et al.,
2015), conjunto de dados de correntes e tensões de string observadas e seus
respectivas derivadas de tempo filtradas passa-baixas (Ben-Menahem e
Yang, 2012), ou curva IV de uma única string usando informações
do inversor (Davarifar et al., 2014), etc. Um problema comum de todas essas técnicas
de monitoramento é a grande quantidade de dados
a ser analisado.
Algoritmos e métodos mais sofisticados para detecção de falhas
e diagnóstico são necessários, uma vez que as características do painel fotovoltaico são altamente
não linear. Atualmente, as pesquisas caminham na direção do uso de inteligência
artificial e mineração de dados. Basicamente,
esses métodos podem ser divididos em três categorias: métodos de processamento de
sinais, métodos de classificação e métodos de inferência. Os métodos de processamento
de sinal estão extraindo algumas características dos sinais medidos, importantes para
um determinado estado de saúde do PV
894
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

sistema. Dois métodos mais comumente usados são as técnicas de transformação Tabela 1. Carga Termográfica: termocâmera Flir, Tau640
modelo
wavelet (il Song Kim, 2016) e a forma Fast Fourier Trans (FFT) (Momoh e Button,
2003). Os métodos de classificação são baseados em inteligência artificial, e o
conhecimento é Visão geral Tau 640

construído a partir de um conjunto de dados disponível. Os algoritmos supervisionados estão Imagem termica Microbolômetro VOx não resfriado
FPA / Formatos de exibição de vídeo digital 640 512
sendo treinados primeiro e, em seguida, com base em grandes dados rotulados, supervisionados.
Formatos de exibição de vídeo analógico 640 480 (NTSC); 640 512 (PAL)1
algoritmos de aprendizagem podem aprender as características do sistema e Inclinação do Pixel 17µm
fazer a previsão. As redes neurais artificiais (RNA) têm sido Banda Espectral 7.513,5µm
Taxas de quadros completas 30 Hz (NTSC) – 25 Hz (PAL)
proposto para sistemas fotovoltaicos: trabalhando em condições de sombreamento
Taxas de quadros exportáveis 7,5 Hz NTSC; PAL de 8,3 Hz
parcial (Nguyen et al., 2009); para o acompanhamento e supervisão Sensibilidade (NEdT) ¡50 mK em f/1.0
do estado de saúde de um sistema fotovoltaico em (Riley e Johnson, 2012); Faixa de cena (alto ganho) 25oC a +135oC
Faixa de cena (ganho baixo) 40oC a +550oC
e para detecção de falhas de curto-circuito de painéis fotovoltaicos em (Syafaruddin
Tempo para Imagem ¡5,0 segundos
e outros, 2011). Em outros trabalhos, redes Bayesianas (Coleman e
Zalewski, 2011) e lógica fuzzy (AbdulHadi et al., 2004)
também teve sucesso em estimar a saída fotovoltaica ou realizar diagnósticos de decaimento de 0,0001 e um momento de 0,9. Uma pequena taxa de aprendizado é

falhas. Métodos de mineração de dados para detecção e isolamento de falhas usado para evitar a destruição dos pesos de recursos aprendidos anteriormente.

em sistemas fotovoltaicos também têm sido propostos na literatura, como A rede é inicialmente treinada com uma entropia cruzada binária (BCE)

como método de árvore de decisão (Zhao et al., 2012), K-vizinho mais próximo, por 10 épocas.

máquina de vetor de suporte (SVM) (Yi e Etemadi, 2016), etc.

Modelos de redes neurais artificiais (ANN) mostraram-se próximos
igualar o desempenho de modelos de matriz em sistemas fotovoltaicos (Riley e
Venayagamoorthy, 2011). Esta técnica de aprendizagem exige
apenas hardware básico de monitoramento do sistema. Vantagens de usar o
ANN no sistema de monitoramento de saúde PV são: não há necessidade de a priori
informações dos componentes do sistema ou topologia para
modelar a potência de saída, ele pode monitorar a degradação do
sistema ao longo de sua vida útil, pode indicar falhas catastróficas por
monitorar a taxa de degradação.
3. MÉTODOS
3.2 Conjunto de dados de imagens fotovoltaicas
Uma inspeção termográfica de um sistema fotovoltaico baseado no solo tem
realizado com uma potência de aproximadamente 66 MW na África do Sul.
As aquisições termográficas foram feitas em 7 dias úteis,
de 21 a 27 de janeiro de 2017 com céu predominantemente claro e
com irradiação máxima. Esta situação é ideal para melhorar
qualquer comportamento anormal de todos os painéis ou parte deles.
A análise foi realizada com uma altitude de voo constante de 50
metros em relação à superfície dos painéis. Um Skyrobotic
Drone SR-SF6 equipado com Carga Termográfica (Tabela 1)
com câmera infravermelha FLIR TAU 2.

O “Conjunto de dados de imagens fotovoltaicas” é composto por 3336

Nesta seção, apresentamos a estrutura, bem como o conjunto de dados
imagens coletadas da seguinte forma:
usado para avaliação. Usamos DCNN especialmente treinado para células
degradações. A estrutura está representada na Figura 1. Mais
detalhes são fornecidos nas seguintes subseções. O quadro é
• 811 imagens com células fotovoltaicas danificadas;
avaliado de forma abrangente no “Conjunto de dados de imagens fotovoltaicas”,
um conjunto de dados proprietário coletado para este trabalho. Os detalhes do
• 2525 imagens com células fotovoltaicas normais.
a coleta de dados e a rotulagem da verdade do terreno são discutidas na subseção
3.2.

A veracidade das imagens coletadas foi estimada manualmente por anotadores

3.1 Arquitetura de Rede
humanos, proporcionando assim uma análise mais precisa e
conjunto de dados menos barulhento. A Figura 2 mostra dois exemplos de fotos de
A DCNN tem como objetivo fornecer informações sobre a degradação das células e,
“Conjunto de dados de imagens fotovoltaicas”. As imagens têm uma dimensão de
portanto, é treinada com rótulos de imagem que indicam a
640×512 e contêm valores de temperatura, portanto, essas imagens
anomalia nas imagens. O treino é realizado com uma rede VGG 16 (Simonyan e
tem banda única. A precisão da temperatura nos arquivos é de 0,01 Celsius.
Zisserman, 2014). A rede VGG-16
A temperatura das imagens varia de -19,27o a 103,33o
é escolhido por sua relativa facilidade de implementação e seu sucesso
com média de 45,71o e desvio padrão de 8,96.
na competição ILSVRC-2014 onde ficou em primeiro lugar na 2a
desafio. O VGG-16 é muito profundo, com 16 camadas convolucionais
Foi demonstrado em (Timofte et al., 2013), (Timofte et al., 2014)
rede que é originalmente treinada no banco de dados ImageNet consistindo de
para métodos de incorporação de vizinhos e métodos de regressão ancorada e em
milhões de imagens rotuladas em 1000 classes (Krizhevsky
(Dong et al., 2014), (Dong et al., 2016) para os métodos baseados em redes neurais
e outros, 2012). O modelo foi desenvolvido em Keras, uma empresa de alto nível
convolucionais que mais dados de treinamento
biblioteca de redes neurais, escrita em Python e capaz de rodar
A rede VGG-16 consiste em resulta em um aumento no desempenho até um ponto em que exponencialmente
no topo do TensorFlow1 .
mais dados são necessários para qualquer melhoria adicional. Em relação à literatura
5 blocos convolucionais com tamanhos de filtro de saída correspondentes [54,
de classificação de imagens (Chatfield et al., 2014),
128, 256, 512, 512] e, em seguida, um classificador totalmente conectado. Nossa
consideramos também as versões invertidas e rotacionadas do treinamento
implementação para a rede VGG16 segue a prática em (Simonyan
imagens. Se girarmos as imagens originais em 90, 180, 270 e virarmos
e Zisserman, 2014). A imagem é redimensionada para 224 × 224 pixels.
da esquerda para a direita e de cima para baixo (veja a Figura 3 e (Freeman
Como não há camada de normalização em lote no VGG16, as imagens de entrada
et al., 2000)), obtemos mais imagens sem conteúdo alterado. Dentro
são normalizadas. Usamos a descida do gradiente estocástico
particular, no caso de imagens invertidas obtemos um novo arquivo não atualizado
(SGD) otimizador com tamanho de mini-lote de 2. Após preliminar
conjunto de dados de 4866 imagens (2433 normais e 2433 danificadas). Dentro
experimento, a taxa de aprendizado é fixada em 0,001. Usamos um peso
caso de imagens rotacionadas obtemos 6488 (3244 normais e 3244
1https://www.tensorflow.org/ danificado).

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 895
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

Figura 1. Pipeline de classificação de imagens DCNN.

(uma) (b)

Figura 2. A Figura 2a é uma imagem com células fotovoltaicas danificadas. A Figura 2b representa uma imagem mostrada em células fotovoltaicas normais.

3.3 Métricas de Avaliação de Desempenho pode ser interpretado como uma média ponderada da precisão e
lembrar.
Para avaliar o desempenho dos algoritmos, as seguintes métricas são
empregadas: • Suporte: é o número de ocorrências de cada classe em solo
valores-alvo de verdade (corretos).
• Precisão: aproxima a eficácia do algoritmo O uso de uma matriz de confusão também pode ser útil para analisar os
mostrando a probabilidade do valor verdadeiro da classe la bel (Sokolova resultados do modelo. De fato, as informações sobre
et al., 2006): as classificações reais e previstas feitas pelo sistema são representadas
pela matriz de confusão (Kohavi, 1998). A matriz de confusão é um layout
tp + fn
Precisão = (1) de tabela específico que permite a visualização do
tp +tn + fp + fn
desempenho de um algoritmo, onde cada coluna da matriz representa as
instâncias em uma classe prevista, e cada
onde tp é o número de verdadeiros positivos e fn o número
row representa as instâncias em uma classe real.
de falsos negativos.

• Recall: é uma função de seus exemplos corretamente classificados (true 4. RESULTADOS E DISCUSSÃO
positivos) e seus exemplos classificados incorretamente (falsos negativos).

Nesta seção, são relatados os resultados dos experimentos realizados em

“Conjunto de dados de imagens fotovoltaicas”. Este conjunto de dados apresenta
recordar = tp dados não balanceados, ou seja, as classes não são representadas igualmente. este
(2)
tp + fn é um cenário onde o número de observações pertencentes a um
classe é significativamente menor do que as pertencentes às outras classes.
• Precisão: é uma função de verdadeiros positivos e exemplos em
Como os algoritmos de classificação tendem a produzir classificadores insatisfatórios
corretamente classificados como positivos (falsos positivos).
quando confrontados com conjuntos de dados desbalanceados (Chawla, 2009), em
além do desempenho do DCNN para inspeção automática, apresentamos
tp
precisão = (3) também o desempenho com o invertido e girado
tp + fp
(por 90, 180, 270) versões das imagens de treinamento. Desta forma, nós
• F1-score: é uma medida da precisão de um teste. aumentar a qualidade do conjunto de dados e garantir a validade do
experimentos.
2
(ÿ +1) ÿ precisão ÿ recall
F1-pontuação = (4)
2 Na verdade, lidar com conjuntos de dados desequilibrados envolve estratégias como
ÿ ÿ precisão+recordação
como melhorar algoritmos de classificação ou balancear classes no
A pontuação F1 é equilibrada quando ÿ = 1. Favorece dados de treinamento (pré-processamento de dados) antes de fornecer os dados
precisão quando ÿ > 1, e recall caso contrário. A pontuação da F1 como inseridos na DCNN. O principal objetivo do balanceamento de classes é

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 896
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

(a) redimensionado (b) virada de cima para baixo (c) invertido da esquerda para a direita

(d) girado 90 (e) girado 180 (f) girado 270

Figura 3. A Figura 3a é a imagem vista pela rede de entrada após o redimensionamento dos dados da imagem original. As Figuras 3b-3c são imagens respectivamente de cima para baixo e
esquerda-direita invertida da imagem redimensionada. Figura 3d-3e-3f são imagens giradas respectivamente de 90, 180 e 270 graus a partir da imagem redimensionada.

Tabela 2. Conjunto de dados não balanceado

aumentando a frequência da classe minoritária ou diminuindo a frequência da classe
majoritária. Isso é feito em ordem
obter aproximadamente o mesmo número de instâncias para ambos Precisão da categoria Recall F1-Score Support
as classes. Cinco conjuntos de dados são avaliados: desbalanceado Danificado 0,00 0,00 0,00 163
Normal 0,76 1,00 0,86 505
images Dataset”, balanceado “Photovoltaic images Dataset”, “Photovoltaic images
SIGNIFICA() 0,57 0,76 0,65 668
Dataset” com imagens invertidas da esquerda para a direita e
de cima para baixo, “Conjunto de dados de imagens fotovoltaicas” com imagens giradas Tabela 3. Conjunto de dados balanceado
em 90, 180, 270, “Conjunto de dados de imagens fotovoltaicas” com ambos
imagens invertidas e giradas.
Precisão da categoria Recall F1-Score Support

O conjunto de dados não balanceado é composto por uma quantidade total de 3336 Danificado 0,83 0,50 0,63 163
Normal 0,64 0,90 0,75 505
fotos, incluindo 811 fotos com anomalia, 2525 fotos normais. O conjunto de dados 0,74 0,70 0,69 326
SIGNIFICA()
balanceado é composto por 1622 imagens, onde 811 são
imagens com anomalia e 811 normais. O conjunto de dados invertido
as diferentes classes revela que tanto normal como anomalia podem ser
imagens coleta 4866, onde 2433 são imagens com anomalia e
reconhecido.
2433 normais. O conjunto de dados em que as imagens são giradas é composto por
6.488 imagens (3.244 com anomalia e 3.244 normais). Tabela 4, Tabela 5 e Tabela 6 relatam os resultados do VGG-16
Finalmente, o conjunto de dados com imagens invertidas e giradas inclui desempenho com aumento de dados. Como pode ser visto, o desempenho de todos os
9732 fotos (4866 com anomalia, 4866 fotos normais). classificadores é bom, demonstrando assim a eficácia e a adequação da abordagem
proposta. O desempenho da classificação com imagens giradas e invertidas é
Realizamos os experimentos dividindo o conjunto de dados rotulado em
um conjunto de treinamento e um conjunto de teste. Cada classificador só será treinado
muito superior ao desempenho da classificação de imagens invertidas, mas ligeiramente
com base no conjunto de treinamento. Da mesma forma, o conjunto de teste também é fixado no
inferior ao desempenho da classificação de
inicial e usado para todos os fins de teste. O conjunto de dados é dividido em
o conjunto de dados com imagens giradas. Essa comparação mostra que reconhecer a
80% de treinamento e 20% de imagens de teste.
anomalia em imagens com conjunto de dados desbalanceado é um desafio.

O desempenho da rede VGG-16 para o conjunto de dados não balanceado

é relatado na Tabela 2. Como esperado, os valores de precisão e
As tabelas a seguir mostram as matrizes de confusão da aplicação
recall não são muito altos porque lidamos com dados desequilibrados. rede VGG-16.
Na verdade, as métricas refletem a distribuição de classe subjacente e
para as imagens normais obtemos altos valores de precisão, recall
5. CONCLUSÕES
(como 100%) e pontuação F1.

A Tabela 3 mostra a precisão, a evocação e a pontuação F1 do teste balanceado O monitoramento e a manutenção de uma planta fotovoltaica representam um desafio
conjunto de dados. O desempenho da rede é bom e comparando mas recompensadora tarefa e detectar a degradação dos painéis solares

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 897
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

Tabela 4. Conjunto de dados balanceado com aumento de dados (invertido Tabela 6. Conjunto de dados balanceado com aumento de dados (invertido e
imagens) imagens giradas)

Suporte para F1-Score de recall de precisão de categoria Precisão da categoria Recall F1-Score Support

Danificado 0,83 0,50 0,63 163 Danificado 0,67 0,78 0,72 978
Normal 0,64 0,90 0,75 505 Normal 0,73 0,61 0,67 978
SIGNIFICA() 0,74 0,70 0,69 326 SIGNIFICA() 0,70 0,69 0,69 1956

Tabela 5. Conjunto de dados balanceado com aumento de dados (girado

imagens)
Danificado Normal

Suporte para F1-Score de recall de precisão de categoria

Danificado 0,79 0,67 0,73 652

342 147
Normal 0,72 0,83 0,77 652
Danificado
SIGNIFICA() 0,76 0,75 0,75 1304

é a única maneira de garantir bons desempenhos por longos períodos

de tempo. Neste artigo, apresentamos uma abordagem de aprendizado profundo para
estimar as degradações das células fotovoltaicas. A DCNN visa fornecer 114 375
Normal
informações sobre a degradação das células e, portanto, é
treinado com rótulos de imagem indicando a anomalia nas imagens.
O treinamento foi realizado com uma rede VGG-16, que possui
foi escolhido por sua relativa facilidade de implementação e sua eficácia no caso
de classificação de imagens. A abordagem é capaz de
alcançar alta precisão e recall para classificação de danos. o Tabela 7. Matriz de confusão do conjunto de dados não balanceado.
experimentos no “Conjunto de dados de imagens fotovoltaicas” produzem alta
precisão e demonstram a eficácia e adequação de nossos Conjunto de dados balanceado
abordagem. Investigações adicionais serão dedicadas para melhorar nossa
Danificado Normal
abordagem empregando um conjunto de dados maior e extraindo
características informativas como a condutibilidade. Além disso, outras DC NNs
são treinadas e seus desempenhos são comparados.
82 81
Danificado

RECONHECIMENTOS

Este trabalho foi financiado pela Fly Engineering (www.flyengineering.

isto). Os autores gostariam de agradecer a Massimo Martini por sua 17 146
Normal
apoio ao trabalho.

REFERÊNCIAS

AbdulHadi, M., Al-Ibrahim, AM e Virk, GS, 2004. Modelo de célula solar baseado
Tabela 8. Matriz de confusão do conjunto de dados balanceado.
em neuro fuzzy. IEEE Transactions on Energy Con versão 19(3), pp. 619–624.

Ackermann, T., Carlini, EM, Ernst, B., Groome, F., Orths, A.,
Danificado Normal
O'Sullivan, J., de la Torre Rodriguez, M. e Silva, V., 2015.
Integrando as energias renováveis variáveis na europa: Situação atual e
eventos extremos recentes. Revista IEEE Power and Energy 13(6), 342 147
págs. 67–77. Danificado

Baba, M., Shimakage, T. e Takeuchi, N., 2013. Exame

da técnica de detecção de falhas em sistemas fotovoltaicos. págs. 1–4.

Ben-Menahem, S. e Yang, SC, 2012. Fotovoltaica online 114 375

Normal
diagnóstico bayesiano de ponto de acesso da matriz do streaming no nível da string
dados elétricos. pp. 002432–002437.

Bizzarri, F., Brambilla, A., Caretta, L. e Guardiani, C., 2015.

Monitoramento de desempenho e eficiência de parques fotovoltaicos.
Energia Renovável 78, pp. 314 – 321. Tabela 9. Matriz de confusão do conjunto de dados balanceado com dados
aumento (imagens invertidas).
BPp.lc, 2016. Bp energy outlook 2016. Londres, Reino Unido.

Canny, J., 1986. Uma abordagem computacional para detecção de bordas. Chatfield, K., Simonyan, K., Vedaldi, A. e Zisserman, A.,
Transações IEEE em Análise de Padrões e Inteligência de Máquina 2014. O retorno do diabo nos detalhes: Aprofundando-se nas redes convolucionais.
PAMI-8(6), pp. 679-698. arXiv pré-impressão arXiv:1405.3531.

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 898
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

Dong, C., Loy, CC, He, K. e Tang, X., 2016. Super resolução de imagem usando
redes convolucionais profundas. transações IEEE
Danificado Normal
em análise de padrões e inteligência de máquina 38(2), pp. 295–307.

Drews, A., de Keizer, A., Beyer, H., Lorenz, E., Betcke, J., van
438 214
Danificado Sark, W., Heydenreich, W., Wiemken, E., Stettler, S., Toggweiler,
P., Bofinger, S., Schneider, M., Heilscher, G. e Heinemann, D.,
2007. Monitoramento e detecção remota de falhas de redes conectadas
sistemas fotovoltaicos baseados em observações de satélite. Energia Solar 81(4),
págs. 548-564.
113 549
Normal
EIA, 2016. Perspectivas energéticas internacionais 2016. Energia dos EUA
Information Administration, Washington, DC 20585, DOE/EIA 0484 (2016).

Freeman, WT, Pasztor, EC e Carmichael, OT, 2000.

Tabela 10. Matriz de confusão do conjunto de dados balanceado com dados Aprendendo a visão de baixo nível. Revista Internacional de Visão Computacional
aumento (imagens giradas). 40(1), pp. 25–47.

Gonzalez, RC, Woods, RE e Eddins, S., 2004. Digital

processamento de imagem usando matlab: Pearson prentice hall. Superior
Danificado Normal Rio Saddle, Nova Jersey.

Grimaccia, F., Aghaei, M., Mussetta, M., Leva, S. e Quater,

763 215 PB, 2015. Planejamento para monitoramento do desempenho da planta fotovoltaica por
Danificado
meio de sistemas aéreos não tripulados (UAS). Jornal Internacional
de Energia e Engenharia Ambiental 6(1), pp. 47–54.

Hallberg, E., Kaminer, I. e Pascoal, A., 1999. Desenvolvimento

383 595 de um sistema de ensaio de voo para veículos aéreos não tripulados. Controle IEEE
Normal
Sistemas 19(1), pp. 55-65.

IEA, 2016. Perspectivas energéticas mundiais 2016. Energia Internacional

Agência, Paris, França, 10.1787/weo-2016-en.

il Song Kim, 2016. Algoritmo de detecção de falhas on-line de um sistema

Tabela 11. Matriz de confusão do conjunto de dados balanceado com dados
fotovoltaico usando transformada wavelet. Energia Solar 126,
aumento (imagens invertidas e giradas).
págs. 137-145.

Chawla, NV, 2009. Mineração de dados para conjuntos de dados desequilibrados: Uma Jordan, DC, Deline, C., Kurtz, SR, Kimball, GM e An derson, M., 2018.
visão global. In: Manual de mineração de dados e descoberta de conhecimento, Metodologia e aplicação robustas de degradação fotovoltaica. IEEE Journal of
Springer, pp. 875-886. Photovoltaics 8(2), pp. 525–531.

Chouder, A. e Silvestre, S., 2010. Supervisão automática e
detecção de falhas de sistemas fotovoltaicos com base na análise de perdas de
energia. Conversão e Gerenciamento de Energia 51(10), pp. 1929-1937.
Coleman, A. e Zalewski, J., 2011. Detecção inteligente de falhas
e diagnóstico em usinas solares. 2, pp. 948-953.
Kim, D., Youn, J. e Kim, C., 2017. Reconhecimento automático de falhas
de módulos fotovoltaicos com base em análise estatística de termografia uav.
ISPRS-Arquivos Internacionais de Fotogrametria,
Sensoriamento Remoto e Ciências da Informação Espacial pp. 179–182.
Kohavi, R., 1998. Glossário de termos. Aprendizado de Máquina 30,
págs. 271–274.

Cristaldi, L., Faifer, M., Leone, G. e Vergura, S., 2015. Sequências de referência
Krizhevsky, A., Sutskever, I. e Hinton, GE, 2012. Imagenet
para monitoramento estatístico do desempenho energético
classificação com redes neurais convolucionais profundas. In: Avanços em
de campos fotovoltaicos. págs. 591–596.
sistemas de processamento de informação neural, pp. 1097-1105.

Daliento, S., Chouder, A., Guerriero, P., Pavan, AM, Mellit,

Malof, JM, Collins, LM, Bradbury, K. e Newell, RG,
A., Moeini, R. e Tricoli, P., 2017. Monitoramento, diagnóstico e
2016. Uma rede neural convolucional profunda e uma floresta aleatória
previsão de potência para campos fotovoltaicos: uma revisão. Internacional
classificador para detecção de matriz solar fotovoltaica em imagens aéreas.
Revista de Fotoenergia.
págs. 650-654.

Davarifar, M., Rabhi, A., Hajjaji, A., Kamal, E. e Daneshifar, Momoh, JA e Button, R., 2003. Desenho e análise de
Z., 2014. Diagnóstico de falhas de sombreamento parcial em sistema fotovoltaico falhas de arco dc aeroespacial usando transformação rápida de Fourier e
com transformada wavelet discreta (dwt). págs. 810-814. rede neural artificial. 2, pág. 793 Vol. 2.

Dong, C., Loy, CC, He, K. e Tang, X., 2014. Aprendendo um profundo Nguyen, DD, Lehman, B. e Kamarthi, S., 2009. Desempenho
rede convolucional para super-resolução de imagem. Em: Europeu avaliação de matrizes solares fotovoltaicas incluindo efeitos de sombra
Conferência sobre Visão Computacional, Springer, pp. 184–199. usando rede neural. págs. 3357–3362.

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 899
Machine Translated by Google
Os Arquivos Internacionais de Fotogrametria, Sensoriamento Remoto e Ciências da Informação Espacial, Volume XLII-2, 2018
Simpósio Intermediário ISPRS TC II “Towards Photogrammetry 2020”, 4 a 7 de junho de 2018, Riva del Garda, Itália

Ollero, A. e Merino, L., 2004. Técnicas de controle e percepção para robótica
aérea. Revisões anuais no Controle 28(2),
págs. 167-178.
Paolanti, M., Kaiser, C., Schallner, R., Frontoni, E. and Zin garetti, P., 2017a.
Análise de sentimento visual e textual de imagens de mídia social
relacionadas à marca usando redes neurais convolucionais profundas. In:
Conferência Internacional sobre Análise e Processamento de Imagens,
Springer, pp. 402–413.
Paolanti, M., Sturari, M., Mancini, A., Zingaretti, P. and Frontoni,
E., 2017b. Robô móvel para levantamento e inventário de varejo usando
análise visual e textual de imagens monoculares com base em
Aprendendo. In: Robôs Móveis (ECMR), Conferência Europeia de 2017
em, IEEE, pp. 1–6.
Pieri, E., Kyprianou, A., Phinikarides, A., Makrides, G. e
Georghiou, GE, 2017. Previsão de taxas de degradação de diferentes
sistemas fotovoltaicos usando análise robusta de componentes principais
e arima. IET Geração de Energia Renovável 11(10), pp. 1245–
1252.
Timofte, R., De, V. e Van Gool, L., 2013. Regressão de vizinhança ancorada
para super-resolução rápida baseada em exemplos. Dentro:
Visão Computacional (ICCV), Conferência Internacional IEEE 2013
em, IEEE, pp. 1920-1927.
Tsanakas, J., Chrysostomou, D., Botsaris, P. e Gasteratos, A.,
2015. Diagnóstico de falhas de módulos fotovoltaicos através de imagem
processamento e detecção de bordas em medições termográficas de campo.
Jornal Internacional de Energia Sustentável 34(6),
pp. 351-372.
Yi, Z. e Etemadi, AH, 2016. Um novo algoritmo de detecção para
falhas linha a linha em matrizes fotovoltaicas (PV) com base no suporte
máquina vetorial (svm). págs. 1–4.
Zhao, Y., Yang, L., Lehman, B., de Palma, JF, Mosesian, J. e
Lyons, R., 2012. Detecção e classificação de falhas baseadas em árvore de
decisão em matrizes solares fotovoltaicas. págs. 93-99.

Quater, PB, Grimaccia, F., Leva, S., Mussetta, M. e Aghaei,

M., 2014. Veículos aéreos não tripulados leves (uavs) para inspeção
cooperativa de usinas fotovoltaicas. IEEE Journal of Photovoltaics 4(4),
págs. 1107-1113.

Riley, D. e Johnson, J., 2012. Prognósticos fotovoltaicos e

gestão de saúde usando algoritmos de aprendizagem. pág. 001535–
001539.

Riley, DM e Venayagamoorthy, GK, 2011. Comparação

de um modelo de sistema fotovoltaico de rede neural recorrente com um
modelo de sistema fotovoltaico baseado em componentes. pp. 002426–002431.

Rogotis, S., Ioannidis, D., Tsolakis, A., Tzovaras, D. e

Likothanassis, S., 2014. Diagnóstico precoce de defeitos em pv instaladas
módulos que exploram informações espaço-temporais de
imagens. In: Anais da 12ª Conferência Quantitativa de Termografia por
Infravermelho (QIRT). Bordéus, França.

Silvestre, S., da Silva, MA, Chouder, A., Guasch, D. e

Karatepe, E., 2014. Novo procedimento para detecção de falhas na rede
sistemas fotovoltaicos conectados com base na avaliação de indicadores de
corrente e tensão. Conversão e Gestão de Energia 86, pp. 241
– 249.

Simonyan, K. e Zisserman, A., 2014. Redes convolucionais muito profundas

para reconhecimento de imagens em larga escala. pré-impressão arXiv
arXiv:1409.1556.

Sokolova, M., Japkowicz, N. e Szpakowicz, S., 2006. Além

precisão, f-score e roc: uma família de medidas discriminantes para
avaliação de desempenho. In: Conferência conjunta da Australásia sobre
inteligência artificial, Springer, pp. 1015–1021.

Sturari, M., Paolanti, M., Frontoni, E., Mancini, A. e Zin garetti, P., 2017.
Plataforma robótica para detecção de mudanças profundas para
segurança e proteção ferroviária. In: Mobile Robots (ECMR), 2017 European
Conference on, IEEE, pp. 1–6.

Syafaruddin, Karatepe, E. e Hiyama, T., 2011. Controle de

rede neural artificial para diagnóstico de falhas de matriz fotovoltaica.
págs. 1–6.

Timofte, R., De Smet, V. e Van Gool, L., 2014. A+: Ajustado

regressão de vizinhança ancorada para super-resolução rápida. Dentro:
Conferência Asiática sobre Visão Computacional, Springer, pp. 111–126.

Esta contribuição foi revisada por pares.

https://doi.org/10.5194/isprs-archives-XLII-2-893-2018 | © Authors 2018. Licença CC BY 4.0. 900