Communication-Efficient Federated

Learning and Permissioned

Blockchain for Digital Twin Edge
Networks
Yunlong Lu , Student Member, IEEE, Xiaohong Huang , Member, IEEE, Ke
Zhang , Sabita Maharjan , Senior Member, IEEE, and Yan Zhang , Fellow,
IEEE

IEEE Internet of Things Journal (A1) - 2021

108 citações, 33 referências
Principais Contribuições
• Introdução de Gêmeo Digital em Redes de Borda (DITEN)
• Contém os estados de execução e modelos de comportamento de
dispositivos IoT e interage com eles
• Proposta de um Federated Learning potencializado por Blockchain
para DITEN para aumentar a segurança no aprendizado e privacidade
de dados dos usuários
• Adoção do modelo assíncrono de agregação que contribui para reduzir atraso
devido a usuários retardatários
• Algoritmo de Reinforcement Learning para otimização de
escalonamento de usuário e alocação de banda
Trabalhos Correlatos – Blockchain e IA para
Gerenciamento de Recursos em Redes de Borda
• Blockchain utilizado principalmente para aumentar segurança dos
dados
• IA mostra potencial promissor para otimização de recursos
• Estratégias de escalonamento de transmissão, alocação de potência, etc.
• Integração IA e Blockchain tem levado a desenvolvimentos
significativos na otimização de recursos eficiente e segura
Trabalhos Correlatos - Gêmeo Digital
• Paradigma emergente que integra os sistemas físicos com espaços
cibernéticos
• Gêmeos Digitais interagem com os sistemas físicos para se manter
sincronizados com as mudanças dos dispositivos
• Construção do gêmeo digital é baseada na análise de um grande
volume de dados gerado pelos dispositivos
• Os resultados da análise pode melhorar a performance de dispositivos físicos
• Aplicado em meios industriais, como simulação de sistemas e
manufatura inteligente
Modelo do sistema – Redes de Borda com
Gêmeo Digital
• Dois planos: Usuário e de borda
• Os dispositivos IoT U rodam no plano de usuário e
conectam ao plano de borda através de
comunicação wireless
• Recursos de computação e comunicação limitados
no plano de usuário
• Cada BS é equipada com um servidor Multi-acesso
de computação de borda (MEC)
• recurso computacional suficiente
• Todas as BSs mantém uma blockchain permissionada
colaborativamente
• Armazena os dados e gerencia os nós participantes do
DITEN
Modelo do sistema – Redes de Borda com
Gêmeo Digital
• Os gêmeos digitais dos dispositivos IoT são construídos no plano
de borda por servidores de borda
• Os vetores de estado ativos, como computação disponível e
recursos de comunicação, são coletados e processados pelas
servidores para construir os modelos de gêmeo digital
• A DITEN pode ser denotada como Γ(t) = (s(t), M, Δs), com M =
modelo comportamental dos dispositivos IoT e s(t) = estados
ativos dos mesmos
• Modelos mantém interagindo com os dispositivos para atualizar
as informações Δs
• Construção inicial dos gêmeos digitais é executada offline na
inicialização da rede, já as atualizações incrementais são online
• Com os gêmeos digitais, a análise e computação dos dispositivos
IoT podem ser executadas diretamente em seus gêmeos
Modelo do sistema – Redes de Borda com
Gêmeo Digital
• No esquema proposto a computação do modelo de gêmeo
consiste em duas fases
• Computação local (executada do lado do usuário)
• Agregação (executada no servidor de borda)

• O tempo de computação para o usuário ui para treinar o modelo

local em uma iteração é dado por , onde f(ui) é a
frequência do ciclo de CPU do usuário i e Ci é o número de ciclos
de CPU para ui executar uma amostra dos dados de treinamento
• O consumo de energia para uma iteração é ,,
onde αui é capacitância chaveada efetiva
• Para o servidor sj o tempo de agregação é dd, onde |
wi| é o tamanho dos parâmetros locais do usuário i
• O consumo de energia é , onde a
capabilidade computacional da BS f(sj) é grande, enquanto a
soma dos tamanhos dos parâmetros é pequena
• O tempo de agregação é muito menor quando comparado com o
treinamento e atualização, então é considerado desprezível
Modelo do Sistema – BC e FL para DITEN
• Solução hierárquica com múltiplos níveis
• Set U de N usuários são provedores e requeredores de dados
(dispositivos móveis ou IoT)
• Transmissão de todos os dados para construir gêmeo digital (GD) gera
grande carga de comunicação e possíveis problemas de privacidade
• Arquitetura proposta: Treinamento Local
• Modelos agregados no plano de borda para construir os modelos de GD
• BSs armazenam os parâmetros FL
• Executam consenso para alcançar consistência do modelo global
Modelo do Sistema – BC e FL para DITEN

FL no plano de usuário: Treinamento local e transmissão de parâmetros

• Loss: , w = vetor de parâmetros treinados e f(w) =
loss do algoritmo
• Treinamento com Gradient Descent: ,η=
learning rate, t = slot de tempo
Modelo do Sistema – BC e FL para DITEN
Blockchain para agregação global no plano de borda:
• BSs (nós da rede BC) coletam todos os parâmetros
de usuários e armazena como transações
• BSs objetivam minimizar loss global com
agregação global
• A BS que consegue o direito de gerar o bloco
computa a agregação
• Modelo global é verificado no processo de
consenso e transmitido
• Começa nova iteração de treino
• Processo se repete até loss convergir ou atingir Tcmp(i) = tempo de treino, Tcom(i) = Tempo de transmissão

acurácia esperada
Modelo do Sistema – Modelo de
Comunicação
• Acesso Múltiplo por Divisão de Tempo (TDMA) para transmissão dos parâmetros dos usuários
para as BSs
• Não se limita a isso, OFDMA tabém pode ser adotado
• A taxa de transmissão alcançável é , onde B é banda de transmissão, hi(t) é o
ganho de canal do usuário i no slot t, N0 é a potência do ruído e Pi(t) é a potência de transmissão
• O tempo de duração da atualização de mensagem de status Δs(t) para um gêmeo digital é
, onde |Δs(t)| é o tamanho do estado de atualização
• |Δs(t)| é um valor pequeno, logo Tupd é muito menor que o tempo de transmissão
• Nesse esquema só é considerado o tempo de transmissão
• Foi denotado tamanho dos parâmetros do modelo como wi(t) e ∇F(wi(t)) como Si(t), e
slots de tempo alocados para usuário i na iteração t por mi(t) (M slots no total).
• A limitação para o tempo de transmissão para o usuário i é com
• O consumo de energia para uma iteração é
Federated Learning Eficiente para DITEN - Otimização dos
Recursos de Comunicação
• Limitação de recursos gera necessidade de redução no consumo dos mesmos
• Problema combinatório com tradeoff entre acurácia de treinamento e eficiência no consumo de
recursos
• O custo total de tempo é
• O consumo total de energia
• O objetivo é aprender modelo federado ótimo que também minimize a função custo
• O problema pode ser formulado como:
• Beta e k são fatores de controle que decidem o tradeoff entre funções loss e cost, s é
o fator de delay e lambda é vetor de políticas de escalonamento de usuários
• O problema é não convexo. A minimização da função de loss é feita pelo algoritmo gradient
descent, e a acurácia é determinada pelo algoritmo de aprendizado e a qualidade dos dados locais,
então pode ser simplificado como:
• Solução f é decidida pelos usuários finais e lambda pelas BSs, então o objetivo usuários finais é
• Problema de controle do ciclo de CPU
• O objetivo para otimização da comunicação nas BSs é
• Eth é o consumo de energia esperado do total de usuários
Federated Learning Eficiente para DITEN - Agregação e
Atualização Assíncronas
• É feito de forma assíncrona para melhorar a eficiência do processo de comunicação e é utilizado DRL para achar
estratégias ótimas de escalonamento de usuários para aproximar a solução ótima do problema da BS
• Em esquemas síncronos, todos os usuários mandam seus parâmetros para um servidor central e espera o modelo
agregado
• Primeiro problema: usuários passam muito tempo esperando pelos usuários mais lentos e a agregação
• Segundo: a transmissão concorrente de parâmetros pdoe causar congestionamento na comunicação
• A proposta assíncrona é transmitir os modelos e recuperar o modelo global para reduzir tempo de espera e mitigar carga de
comunicação
• Cada usuário tem um índice próprio c que registra o progresso do processo de treinamento

• Em t=0 as BSs transmitem o modelo inicial para todos. Nas iterações seguintes, os usuários computam seu peso local e
transmitem para o servidor de borda
• Precisa ser aprovado oara alcançar a consistência entre os nós da blockchain
• Esse processo consome tempo e outros usuários não têm acesso ao peso imediatamente
• Foi introduzido um delay para mitigar o problema, onde na iteração t o modelo que o servidor transmite é o t-s, onde s é o fator de delay, designado de
acordo com o processo de agregação e verificação
• Os usuários também podem obter os modelos globais novos a partir de usuários próximos, reduzindo carga de comunicação para BS
• O modelo global na iteração t é definido , onde thetai = 1 se Δti ≤ Tp (intervalo de tempo de espera da
BS), ou thetai=0, do contrário
Federated Learning Eficiente para DITEN – Agente DRL para
Otimização da Transmissão
• Cada agente, presentes nas BSs, aloca seus recursos do espectro para os
usuários
• Em cada iteração, as ações de alocação de recurs (Lambda_t, m_t) são decididos
baseado nos estados atuais obtidosdos gêmeos digitais
• A performance da ação é quantificada pela função recompensa no final da iteração
• Estado:
• As métricas do estado refletem os estados atuais dos usuários, que é a base para as
decisões de escalonamento e alocação de recursos
• Ação: Escalonamento de usuários (Escolhe os usuários para transmissão) e
Alocação de espectro (número de slots de transmissão)
• Recompensa: , negativamente orrelacionada com o tempo
para completar a iteração
• Cada agente aprende a alcançar a recompensa cumulativa máxima
Blockchain Leve e FL para DITEN-
Consenso Distribuído para Aprendizado
• BSs múltiplas distribuídas para agregar os modelos locais
• Usa-se blockchain para sincronização desses modelos e alcançar consenso
• Já que há necessidade de confirmação do modelo na blockchain, a eficiênciada mesma
é de vital importância
• Esquema leve de verificação baseado em DPoS
• Verificadores são selecionados baseados em seus stakes
• No esquema proposto, stakes são adquiridos pela contribuição computacional para o modelo
global
• Os modelos agregados e modelos locais correspondentes são armazenados nas
transações da rede
• Diferentemente das verificações convencionais das transações, não são só verificados
os termos regulares, mas tambpem a qualidade dos modelos baseados no histórico de
modelos
Blockchain Leve e FL para DITEN- Consenso Distribuído para
Aprendizado
O processo de consenso consiste em 3 etapas
• Multi agregação: em cada iteração, as BSs participantes primeiro agregam os
modelos locais coletados, paralelamente
• Seleção de verificadores: os usuários blockchain (dispositivos iot) votam por sua
BSs preferida, de acordo com sua capabilidade de comunicação e computação
• Se houver mais BSs do que um limiar k, as k mais votadas são escolhidas, caso contrário
todas são
• Verificação do modelo: Cada BS manda seu modelo agregado para outros
verificadores, que além de realizar as checagens regulares também verificam os
modelos baseado em se o modelo contribui positivamente para atualizar o
modelo globa
• O verificador líder coleta os resultados da verificação e confirma as transações e empacota
as transações em um bloco candidato
• Os verificadores verificam os itens do bloco candidato, como formato e assinatura
Blockchain Leve e FL para DITEN- Integrando Blockchain
Permissionada na DITEN
• É utilizado gêmeo digital no plano de borda
• Para melhorar confiabilidade e segurança, há a integração de Blockchain
• É armazenado o modelo de gêmeo digital na blockchain e registrado o histórico de
mudança
• Armazenar o gêmeo ao invés dos dados originais pode reduzir dramaticamente a computação e
armazenamento da rede blockchain
• Os verificadores também verificam esses modelos como transações. O tempo no qual um
verificador i executa o processo de consenso é , onde |w| é o tamanho das
transações, f são os ciclos de CPU, d é o delay médio na transmissão da transação e N é o
número de verificadores
• A sincronização dos gêmeos com os dispositivos é conseguida usando contratos inteligentes
• QUando dados de atualização de estado são recebidos, os contratos são ativados para corresponder seu
gêmeo digital e performar analise dos dados atualizados
Resultados numéricos
• Performance do FL é testado no dataset MNIST e Fashion-MNIST
• O FL proposto é comparado com o convencional, onde todos os usuários
participam na agregação sincronamente, com espectro igualmente alocado
• Na comparação, há complexidade adicional, causada pelo algoritmo DRL
• Os algoritmos comparados atingem resultados comparáveis com alta
acurácia e baixa loss
• O algoritmo proposto reduz os custos significativamente