Você está na página 1de 111

Retomada dos Trabalhos

Carlos Alberto Pereira dos Santos


Diretor de departamento de Engenharia, Ciências exatas, Humanas
e Sociais CNPq.
Parcerias, oportunidades e
inovações.

Carlos Alberto Pereira dos Santos (carlos.alberto@cnpq.br)


Diretor de Engenharias, Ciências Exatas, Humanas e Sociais – DEHS/CNPq
O Conselho Nacional de
Desenvolvimento Científico e
Tecnológico - CNPq, fundação
pública vinculada ao Ministério da
Ciência, Tecnologia e Inovações.

Principais atribuições: fomentar a


pesquisa científica, tecnológica e
de inovação e promover a
formação de recursos humanos
qualificados para a pesquisa, em
todas as áreas do conhecimento.
CNPq e AWS: parceria
A ação de concessão dos serviços da AWS em parceria com o CNPq alinham-se as
estratégias de ambas as instituições, a primeira em apoiar e disseminar o uso da
‘Computação em Nuvem’ em diferentes instituições, com especial atenção ao
desenvolvimento de P&D.

E para o CNPq, o amplo apoio e fomento ao desenvolvimento da ciência, tecnologia e


inovação no País, com a concessão de vouchers a projetos de PD&I para
armazenamento, processamento de dados e utilização das variadas plataformas da
AWS.
CNPq e AWS: oportunidades
Gargalos à infraestrutura de PD&I em ICT e Empresas

▪Alto Custo para construção e manutenção de ambientes para Data


Center
▪Alto custo e dificuldade de acesso a equipamentos que permitem a alta
performance computacional.
▪ Necessidade contínua e crescente de espaço de armazenamento de
dados.
▪ Comunicação e Operacionalidade: agilidade e elasticidade para
compartilhar dados e realizar trabalhos em paralelos e em equipe.
CNPq e AWS: oportunidades
Necessidades de infraestrutura para PD&I em ICT e Empresas

▪ Armazenamento: maior volume de dados – Data Banking, imagens,


vídeos, infográficos, etc.
▪ Grande quantidade de simulações e modelagens.
▪ Desenvolvimento de programas e algoritmos com grande necessidade
de poder de computação.
▪ Novas formas de compartilhar e operacionalizar o trabalho de P&D.
CNPq e AWS: oportunidades
Vantagens da Computação em Nuvem para as ICT

▪ Reduzir os custos com infraestrutura – Data Centers mínimos


(computadores pessoais com acesso a internet) sem a necessidade
de amplos ambientes com grande gasto de energia, pessoal e
hardware.
▪ Ampliar o acesso a aplicações, plataformas e ambientes de
desenvolvimento de alta performance computacional que não
estejam instalados em seus computadores pessoais, independente de
seu OS ou hardware.
▪ Facilitar o compartilhamento de dados e a agilidade nas atividades
de pesquisa e comunicação, já que todos os usuários acessam
CNPq e AWS: inovações.
Assinatura do Acordo de Cooperação entre o CNPq e a Amazon
Web Services Inc. (AWS), em 24 de outubro de 2019, estabeleceu
as bases para uma iniciativa inovadora com o lançamento, em 23
de dezembro do mesmo ano, da Chamada Pública CNPq/AWS nº
32/2019 - Acesso às Plataformas de Computação em Nuvem da
AWS, com a concessão de até US$ 400.000,00 em créditos
promocionais.

▪ Novas formas de fomento: indo além do Capital, Custeio e Bolsas.

▪ Serviços tecnológicos.

▪ Implementação de nova cultura, aprendizado e acesso a serviços e


tecnologias pelos membros da Academia.
CNPq e AWS: inovações.
Chamada CNPq/AWS Nº 032/2019 - Acesso às Plataformas de Computação em
Nuvem da AWS (Cloud Credits for Research).

Linhas Temáticas de Pesquisa :


01 - Tecnologia Aeroespacial;
02 - Energias Renováveis;
03 - Transformação Digital;
04 - Biodiversidade;
05 - Biotecnologia; e
06 - Mineração e Segurança de Barragens.

95 propostas submetidas com 32 projetos apoiados.


CNPq e AWS: parceria
Em agosto de 2022 a AWS e o CNPq anunciaram a intenção de um
acordo para uma nova Chamada no valor de $1,2 milhão de dólares
em créditos para o uso da Nuvem para o apoio de pelo menos 23
pesquisas científicas durante dois anos.

Hoje, dia 02/09/2022, foi aprovado pela Diretoria Executiva do CNPq


o Acordo de Cooperação Nacional entre o CNPq e a AWS
Muito Obrigado!
“Se apenas com idealismo nada se consegue de prático, sem essa força propulsora é impossível
realizar algo grande”. (Almirante Álvaro Alberto, idealizador do CNPq).

Diretoria de Engenharias, Ciências Exatas, Humanas e Sociais


carlos.alberto@cnpq.br
dehs@cnpq.br
Mesa Redonda

Casos de uso de Nuvem


MODERADOR

Alba Cristina Magalhães Augusto Cesar da Motta


Leonardo Chaves Dutra Patricia Endo
Alves de Melo Willer
da Rocha Professora da Universidade de
Professora Titular, UnB Analista do Programa de
Professor, UFSJ Pernambuco
Pesquisa em Engenharia
(COENG – DEHS) CNPQ
Execução Eficiente de Aplicações de Biotecnologia
na Cloud AWS
CNPq/AWS 440014/2020-4
Instituições:
Universidade de Brasília (UnB)
Universidade Federal Fluminense (UFF)
Universidade do Estado do Rio de Janeiro (UERJ)
Embrapa/Cenargen

Coordenadora: Prof. Alba Cristina Magalhaes Alves de Melo


Professora Titular
Bolsista PQ 1C

AWS DigiResearch Brasil - 2 de setembro de 2022


Objetivo e Equipe

• Objetivo:prover soluções que permitam a gerência de recursos


otimizada para execução de aplicações de alto desempenho de
biotecnologia na nuvem AWS.
• Projeto de 12+6 meses
• Equipe: 32 integrantes
• UnB: 5 professores UnB, 1 professor IFB, 7 alunos de doutorado, 2
alunos de graduação
• UFF: 3 professores, 3 alunos de doutorado, 2 alunos de mestrado e 2
alunos de graduação
• UERJ: 3 professores, 1 aluno de doutorado e 1 aluno de mestrado
• Embrapa/Cenargen: 2 pesquisadores
AWS DigiResearch Brasil - 2 de setembro de 2022
Fases do Projeto e Gerência
• Warm up
• Alunos e professores aprendem como executar programas na nuvem
• Foi definida uma AWS organization e o coordenador de cada instituição controlou o uso de
recursos em sua instituição
• Execuções na nuvem
• Inicialmente usamos instâncias CPU da EC2, depois expandimos para GPUs e
finalmente para FPGAs
• Usamos serviços como AWS Lambda, AWS Parallel cluster, Sistema de
armazenamento (EBS, EFS e S3), instâncias spot, etc
• Gerência
• Reuniões quinzenais, uso do slack e email

Seminários AWS e working hours foram fundamentais para o bom andamento do projeto
AWS DigiResearch Brasil - 2 de setembro de 2022
Aplicações de Biotecnologia

• Alinhamento par-a-par de sequências de DNA ou proteína:


• MASA-MultiBP – GPU - https://github.com/Marcoacfbr/MultiBP
• MASA-CUDAlign – GPU - https://github.com/edanssandes/MASA-CUDAlign
• MASA-OpenMP – CPU - https://github.com/edanssandes/MASA-openmp
• MLCS – Vetorização em CPU
• LCS-FPGA - FPGA
• Alinhamento e dobramento de sequências de RNA:
• CUDA-Sankoff – GPU - https://github.com/danielsundfeld/cuda_sankoff
• Alinhmanento múltiplo de sequências de proteína:
• PA-Star – CPU - https://github.com/danielsundfeld/astar_msa

AWS DigiResearch Brasil - 26 de agosto de 2022


Gerenciadores de Recursos na Nuvem

• Burst-HADS – Escalonamento de tarefas em instâncias CPU,


https://github.com/luanteylo/hads_
• HADS-GPU: Escalonamento de tarefas em instâncias de GPU,
https://github.com/rafaelaBrum/hads_gpu
• VeMOC - Vertical Memory Management of Containers:
https://gitlab.com/DanielBougleux/vemoc-modify

AWS DigiResearch Brasil - 2 de setembro de 2022


Famílias de Instâncias EC2 Utilizadas
Precificação spot e on demand
compute
C3, C4, storage General
memory
C5, C5, I3, H1, D3 purpose
M3, M4,
C6g T2, T3
M5, R3, R4,
R5, z1d

GPU
G2 (K520), G3 (M60), FPGA
G4(T4), P2(K80), F1
P3 (V100)

AWS DigiResearch Brasil - 2 de setembro de 2022


Ambientes e Serviços AWS Utilizados

AWS Lambda
AWS ParallelCluster
Serverless computing
Ambiente de alto
(Function as a Service)
desempenho na nuvem

Storage
S3, EBS, EFS Outros Serviços
AWS CloudWatch

AWS DigiResearch Brasil - 2 de setembro de 2022


Publicações em Journals: 2

2 publicações em journal early view (com DOI)


IEEE Transactions on Cloud Computing
Impact factor: 5.938
Qualis A1 Capes

AWS DigiResearch Brasil - 2 de setembro de 2022


Publicação no Journal IEEE Trans Cloud:
Previsão de preços spot
A Novel Statistical and Neural Network Objetivo:
Combined Approach for the Cloud Spot Market -Escolher instância spot barata, reduzindo a probabilidade
Gustavo J. Portella, Eduardo Nakano, Genaina N. Rodrigues,
Azzedine Boukerche, Fellow, IEEE, Alba C. M. A. Melo, Senior Member, IEEE
de revocação
Abstract—The price of virtual machine instances in the Amazon EC2 spot model is often much lower than in the on-demand
counterpart. However, this price reduction comes with a decrease in the availability guarantees. Several mechanisms have been
proposed to analyze the spot model in the last years, employing different strategies. To our knowledge, there is no work that accurately
captures the trade-off between spot price and availability, for short term analysis, and does long term analysis for spot price
Técnica proposta:
tendencies, in favor of user decision making. In this work, we propose (a) a utility-based strategy, that balances cost and availability of
spot instances and is targeted to short-term analysis, and (b) a LSTM (Long Short Term Memory) neural network framework for long
term spot price tendency analysis. Our experiments show that, for r4.2xlarge, 90% of spot bid suggestions ensured at least 5.73 hours
of availability in the second quarter of 2020, with a bid price of approximately 38% of the on-demand price. The LSTM experiments
- Previsão de preços short term com média móvel
were able to predict spot prices tendencies for several instance types with very low error. Our LSTM framework predicted an average
value of 0.19 USD/hour for the r5.2xlarge instance type (Mean Squared Error < 10—6) for a 7-day period of time, which is about 37% of
the on-demand price. Finally, we used our combined mechanism on an application that compares thousands of SARS-CoV-2 DNA
sequences and show that our approach is able to provide good choices of instances, with low bids and very good availability.
deslizante
Index Terms—cloud computing, utility estimation, neural network. -Previsão de preços long term com redes neurais LSTM
F

1 INTRODUCTI ON
Resultados:
C L O U D computing enables access to a wide range of re- is revoked. If the deadline is approaching, the user may
sources and the user pays for usage time of provisioned switch to the on demand model, which has availability
resources under a pricing model defined by the provider. guarantees.
- Tanto o modelo estatístico como a rede neural
Therefore, an appropriate user choice for resource type and Providing strategies to analyze the spot pricing model
pricing model deserves special attention, aiming to obtain is an intensive area of research. Most works analyze spot high
computational performance at low cost. prices, aiming to predict appropriate values to be set by the
Amazon Elastic Compute Cloud (Amazon EC2) provides user when requesting spot instances. This is important since
conseguem acompanhar a variação de preços spot
Infrastructure as a Service (IaaS) resources, or instances, in appropriate spot bids (maximum price) may lead to signifi-
three pricing models: on-demand, reserved and spot [1]. In the cant financial savings, from the user side. However, setting
first two models, the price is static. The spot pricing model is the maximum price too low has a direct impact on the
- Estudo de caso covid-19: (~218000 comparações com
characterized as dynamic since it uses a market mechanism instance availability and may lead to several interruptions of
where prices vary over time according to instance supply the execution, augmenting considerably the execution time.
and user demand. Spot instances may be revoked by Ama- For instance, an increase of 50% in the execution time of
zon before the end of the execution, leading to availability an application that takes 6 hours would correspond to a 9-
MASA-OpenMP – CPU)
issues. hour execution. For some users, this 3-hour increase may
Several types of cloud applications may benefit from the be unacceptable. O n the other hand, if the user wants to spot
model. The obvious candidates are applications com- augment the availability and sets the maximum spot price posed
of short-lived tasks, with no deadlines. In this case, too close to the on demand price, less interruptions may if the Instance Spot Max Cost #Cmp Setup Exec. USD/ Time/
instance is revoked, the user is notified and he/she occur but the user may pay more than he/she wanted. can
choose another spot instance to run the remaining tasks. Since spot price variations follow the market model [2], its Even
(Date) Request Price U S D Time Time #Cmp #Cmp
long-running applications with defined deadlines may analysis is very complex and needs sophisticated strategies. run in
the spot model, assuming that checkpoints are taken. To deal with this problem, several works in the literature
m5.2xlarge Utility 0.152 1.43 43560 00:28:17 08:49:59 0.00003283 0.730
In this case, the user may choose to start executing in the use probability techniques and statistics [3], [4], [5], [6], [7], 01/13/2021 Current 0.143 0.29 5420 00:41:46 01:06:42 0.00005351 0.738
spot market and restart from the checkpoint, if the instance [8], and many other works use machine learning [9], [10],
[11], [12]. To the best of our knowledge, there is no work in Default - 1.29 37701 00:52:49 07:44:56 0.00003422 0.740
• Gustavo J. Portella, Genaina N. Rodrigues and Alba C. M . A. the literature that accurately captures the tradeoff between
Melo are with the Department of Computer Science, University of price and availability for short term analysis, and does long
Brasilia (UnB), Brasilia, Brazil. E-mail: gustavo.portella@aluno.unb.br, term analysis for spot price tendencies, both in favor of user
genaina@cic.unb.br and alves@unb.br. decision making.
• Eduardo Nakano is with the Department of Statistics, University of
Brasilia (UnB), Brasilia, Brazil. E-mail: nakano@unb.br. In this work, we propose a combined mechanism that
• Azzedine Boukerche is with the Faculty of Engineering, University of consists of a LS T M neural network framework for long term
Ottawa, Ottawa, Canada. E-mail: boukerch@eecs.uottawa.ca. spot price tendency prediction coupled with a short term
Utility ficou mais tempo com a instância
Manuscript received October 6, 2020; revised March 29, 2021. utility-based scheme that balances instance availability and

AWS DigiResearch Brasil - 2 de setembro de 2022


Publicação no Journal IEEE Trans Cloud:
Execução em instâncias spot e on demand
Scheduling Bag-of-Tasks in Clouds using Spot Objetivo:
and Burstable Virtual Machines - Burst-HADS: Reduzir o custo, com garantia de deadline,
Luan Teylo, Luciana Arantes, Pierre S e n s and Lu´cia Maria de A. Drummond
usando tanto spot como burstable on demand
Abstract—Cloud providers offer several types of Virtual Machines (VMs) in diverse markets, with different guarantees in terms of
availability and reliability. Among them, the most popular market models are the on-demand and the spot. On-demand V M s are
allocated for a fixed cost per time, and their availability is ensured during the whole execution. On the other hand, in the spot market,
V M s are offered with a huge discount, but their availability fluctuates according to cloud’s current demand that can terminate or
Técnica proposta:
hibernate a spot V M at any time. Furthermore, to cope with workload variations, cloud providers have also introduced the concept of
burstable VMs, which can burst up their C P U performance during a limited period of time. In this work, we present the Burst
Hibernation-Aware Dynamic Scheduler (Burst-HADS), a framework that executes Bag-of-Tasks applications with deadline constraints
by exploiting both spot and on-demand burstable VMs, aiming at minimizing both the monetary cost and the execution time.
- Módulo primário: usa ILS (Iterated Local Search) para
escolher as instâncias
Performance results on Amazon E C 2 show that Burst-HADS reduces the monetary cost and meets the application deadline even in
spot hibernation scenarios, when compared to other approaches from the related literature which uses only spot and non-burstable
on-demand instances.

Index Terms—Cloud Computing, BoT Scheduling, Burstable VMs, Spot V M Hibernation

F
- Módulo dinâmico: avalia a execução e possivelmente
1 INTRODUCTI ON migra tarefas para novas instâncias
In the past few years, cloud computing has emerged storage, and networking capacity and give you the flexi- as
an attractive solution to execute different applications. bility to choose the appropriate mix of resources for your It
brings several advantages compared with dedicated in- applications. Each instance type includes one or more in-
frastructure, as, for example, a significant reduction in oper- stance sizes, allowing you to scale your resources to the ational
Resultados:
costs. However, in cloud environments, besides the requirements of your target workload” 1 . Instances types are usual goal
of minimizing the application’s execution time, grouped into families based on their respective use cases. it is also
essential to reduce the monetary cost because even For example, the compute-optimized instances (C3, C4, and though in the
cloud, computational resources are virtually C5) are ideal for compute-bound applications that require infinite, the user’s
budget is not. high-performance processors.
Cloud platforms enable users to dynamically acquire Regarding the spot market, the availability of its VMs Burst-HADS HADS AutoBoT-like
ILS On-demand
computational resources wrapped as Virtual Machines fluctuates according to the cloud’s current demand. If there
(VMs), that can be selected by the users according to their are not enough resources to meet clients’ requests, the JOB w/o Hibernation w/o Hibernation w/o Interruptions
application requirements (CPU, memory, I / O , etc.) in a pay- cloud provider can interrupt a spot V M (temporarily or as-
you-use price model. Furthermore, cloud providers offer definitively). Despite the risk of unavailability, the main ad-
cost makespan cost makespan cost makespan cost makespan
VMs in different contract models, with different guaran- vantage of spot VMs is that their costs are much lower than
tees in terms of availability and volatility. For instance, in on-demand VMs since the user requests unused instances
Amazon EC2, there are three main contract models (also at steep discounts. A n interrupted spot V M instance can
J60 $0.112 1274 $0.067 2290 $0.166 2221 $0.271 1112
called markets): i) reserved market, where the user pays an either terminate or hibernate. If the V M will be terminated, J80 $0.151 1329 $0.104 2295 $0.199 2266 $0.312 1190
upfront price, guaranteeing long-term availability; ii) on- the cloud provider warns the user two minutes before its
demand market which is allocated for specific periods of interruption. O n the other hand, hibernated V M instances J100 $0.176 1660 $0.112 2332 $0.218 2342 $0.371 1462
time, and incurs a fixed cost per unit time of use, ensuring are frozen immediately after noticing the user. In this case,
the availability of the instance during this period; iii) spot EC2 saves the V M instance memory and context in the ED200 $0.357 2275 $0.267 2580 $0.387 2566 $0.698 1887
market in which unused resources are available up to 90% root of EC2 Block Storage (EBS) volume, and during the
discount when compared to the on-demand model, but such VM’ s interruption period, the user is only charged for the
resources can be requested at any time. EBS storage use. EC2 resumes the hibernated spot instance,
In the three markets, there exist a wide range of V M reloading the saved memory and context, only when there
types that suit different user requirements. According to is enough available resource whose price is lower than the
Amazon Web Service (AWS), “Instance types comprise maximum one, with which the user agreed to be charged.
varying combinations of virtual C PUs (vCPUs), memory, Besides the markets, some leading cloud providers (e.g.
Burst-HADS teve o melhor compromisso entre o custo e o
• Luan Teylo and Lu´cia Maria de A. Drummond are with the Institute of
Computing, Federal Fluminense University, Brazil.
Microsoft Azure, Amazon EC2), introduced in the last
years the concept of a burstable V M that can sprint its
performance during a limited period of time to cope with
tempo de execução (makespan)
sudden workload variations. By operating on a C P U credit
• Luciana Arantes and Pierre Sens are with Sorbonne Universite´, CNRS,
Inria, France.
1. https://aws.amazon.com/ec2/instance-types

AWS DigiResearch Brasil - 26 de agosto de 2022


Publicações em Conferências e Escolas: 8

1. Luan Teylo, Alan L. Nunes, Alba C. M. A. Melo, Cristina Boeres, Lúcia Maria de A. Drummond,
Natalia F. Martins: Comparing SARS-CoV-2 Sequences using a Commercial Cloud with a Spot
Instance Based Dynamic Scheduler. CCGrid2021: 21th IEEE/ACM International Symposium on
Cluster, Cloud and Internet Computing (CCGRID), Maio 2021, pages:247-256.
2. Rafaela C. Brum, Walisson P. Sousa, Alba C. M. A. Melo, Cristiana Bentes, Maria Clicia Stelling de
Castro, Lúcia Maria de A. Drummond: A Fault Tolerant and Deadline Constrained Sequence
Alignment Application on Cloud-Based Spot GPU Instances. 27th International European
Conference on Parallel and Distributed Computing (Euro-Par), Agosto 2021, pages: 317-333.
3. Leonardo Carvalho, Alba Melo, Aleteia Araujo, A Framework for Executing Protein Sequence
Alignment in Cloud Computing Services, XXII Simpósio em Sistemas Computacionais de Alto
Desempenho (WSCAD), Outubro 2021.
4. Alan Nunes, Alba Melo, Cristina Boeres, Daniel de Oliveira, Lucia Drummond, Towards Analyzing
Computational Costs of Spark for SARS-CoV-2 Sequences Comparisons on a Commercial Cloud,
XXII Simpósio em Sistemas Computacionais de Alto Desempenho (WSCAD), Outubro 2021.

AWS DigiResearch Brasil - 2 de setembro de 2022


Publicações em Conferências e Escolas: 8
5. Rafaela Brum, Lúcia Drummond, Maria Clicia Castro, George Teodoro: Towards Optimizing
Computational Costs of Federated Learning in Clouds. 1st Workshop on Cloud Computing (WCC),
Outubro 2021.
6. Comparação de Sequências Biológicas em Cluster de GPUs na NuvemAutores: Walisson Sousa,
Filipe Soares, Alba Melo, Cristiana Bentes, Maria Clicia Castro. VII Escola Regional de Alto
Desempenho do Rio de Janeiro (ERAD-RJ), Dezembro 2021.
7. Daniel Sodré, “Nuvens mais Eficientes com Elasticidade Inteligente de Contêineres”, Orientador:
Vinod Rebello. Prêmio UFF Vasconcellos Torres de Ciência e Tecnologia em 2º Lugar na área de
Ciências Exatas e da Terra no XXXI Seminário de Iniciação Cientifica, Outubro 2021.
8. Walisson P. Sousa, Filipe Maia, Rafaela C. Brum, Marco Figueiredo, Alba C. M. A. Melo, Maria
Clicia S. de Castro and Cristiana Bentes, Biological Sequence Comparison on a Cloud-based GPU
Environment, submitted as International Book Chapter, Springer.

AWS DigiResearch Brasil - 2 de setembro de 2022


Defesas: 4
• Teses de Doutorado: 3
• Gustavo Jardim Portella. Precificação em Computação em Nuvem para Instâncias Permanentes e
Transientes: Modelagem e Previsão. Março 2021. Tese (Doutorado em Informática) - Universidade de
Brasília. Orientador: Alba Cristina Magalhães Alves de Melo.
• Luan Teylo Gouveia Lima. Scheduling Deadline Constrained Bag-of-Tasks in Cloud Environments using
Hibernation prone Spot Instances. 2021. Tese (Doutorado em Computação) - Universidade Federal
Fluminense, Fundação Carlos Chagas Filho de Amparo à Pesquisa do Estado do RJ. Orientador: Lúcia Maria
de Assumpção Drummond.
• Carlos Antônio Campos Jorge. Comparação Paralela de Sequências Biológicas em Plataformas de Hardware
Uniformes e Híbridas. 2022. Tese (Doutorado em Informática) - Universidade de Brasília, Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior. Orientador: Alba Cristina Magalhães Alves de Melo.
• Trabalhos de Graduação: 1
• Filipe Maia Soares. Cloudificação de Aplicação Multi-GPU de Bioinformática no AWS Parallel Cluster da
Nuvem Amazon. Trabalho de Conclusão de Curso de Engenharia Mecatrônica – Universidade de Brasília.
Novembro 2021. Orientador: Alba Cristina Magalhães Alves de Melo.

AWS DigiResearch Brasil - 2 de setembro de 2022


Podcast AWS:

• https://d1oqpvwii7b6rh.cloudfront.net/episodes/Ep66-publicsector-
CNPqonAWS.mp3.

AWS DigiResearch Brasil - 2 de setembro de 2022


Alguns resultados (covid-19):
• Comparação de sequências de sars-cov-2: (> 1 milhão de comparações)
MASA-CUDAlign output
Reference SARS-CoV-2 vs CG
U A
A G

Delta variant GU
CG
AU
UA
The s2m secondary
Query: NC_045512.2 Severe acute respiratory syndrome coronavirus 2 isolate Wuhan-
Hu-1, complete genome (29903)
Sbjct: MZ571863.1 Severe acute respiratory syndrome coronavirus 2 isolate SARS-
GC
A A
G G
structure
CoV-2/human/USA/AL-UAB-GX422/2021, complete genome [1..29793](29793)

Query: 1 ATTAAAGGTTTATACCTTCCCAGGTAACAAACCAACCAACTTTCGATCTCTTGTAGATCT 61
GU
is quite conserved in the
G C GA
Sbjct:
|||||||||||||||||| [-69/-69]
1 ------------------------------------------TCGATCTCTTGTAGATCT 19 C C
A
Delta variant
A UAA
... C
Query:21601 TCAGTGTGTTAATCTTACAACCAGAACTCAATTACCCCCTGCATACACTAATTCTTTCAC 21661 CG
||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||| [56/21471] GC
Sbjct:21559 TCAGTGTGTTAATCTTAGAACCAGAACTCAATTACCCCCTGCATACACTAATTCTTTCAC 21619
AG U
... G A
Query:22861 TATAGCTTGGAATTCTAACAATCTTGATTCTAAGGTTGGTGGTAATTATAATTACCTGTA 22921 CG
|||||||||||||||||||||||||||||||||||||||||||||||||||||||| ||| [56/22698] C
Sbjct:22813 TATAGCTTGGAATTCTAACAATCTTGATTCTAAGGTTGGTGGTAATTATAATTACCGGTA 22873 A G
CG
... UA
Query:29401 TGATGAAACTCAAGCCTTACCGCAGAGACAGAAGAAACAGCAAACTGTGACTCTTCTTCC 29461 UG
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||| [56/29180]
Sbjct:29352 TTATGAAACTCAAGCCTTACCGCAGAGACAGAAGAAACAGCAAACTGTGACTCTTCTTCC 29412 UA
U
... A

Query:29881 AAAAAAAAAAAAAAAAAAAAAAA 29903


[-46/29433]
Sbjct:29793 ----------------------- 29793
Reference vs Delta variant
Summary: Fold and align consensus
Total Score:
Matches:
29433
29761 (+1)
Obtained with CUDA-Sankoff
Mismatches: 32 (-3) VOI Mutation L452R (L to R) spike
Gap Openings: 4 (-3)
Gap Extentions: 110 (-2) region: observed in the epsilon
(B1.429) variant – California
AWS DigiResearch Brasil - 2 de setembro de 2022
Conclusão

• Agradecemos imensamente ao CNPq e à AWS pela oportunidade!


• Todos os objetivos foram alcançados e superados
• A nuvem AWS permitiu que nossas pesquisas avançassem de
maneira muito acelerada
• Artigos em periódicos, conferências e capítulo de livro foram
produzidos
• Trabalhos de Doutorado, Mestrado e Graduação se beneficiaram
do projeto
• Houve muita interação entre os grupos de pesquisa e muita
animação no uso da AWS
• Mais artigos estão sendo escritos
AWS DigiResearch Brasil - 2 de setembro de 2022
CNPQ/AWS 032/2019
C O M P A R A N D O A EFETIVIDADE D E A B O R D A G E N S
N E U R A I S E N Ã O - N E U R A I S E M TA R E FA S D E
C LA SS I F I CA ÇÃ O A U TO M Á T I C A D E TEXTO

Leonardo Rocha
http://lattes.cnpq.br/8074447921818504

Departamento de Ciência da Computação


Universidade Federal de São João del-Rei
2 de Setembro de 2022
Contexto
Objetivo

CLASSIFICAÇÃO AUTOMÁTICA DE Experimentos


Resultados

TEXTO (CAT) Cenários


Conclusões

Novos
Documentos

Conjunto de Modelo de
Treinamento Classificação
Modelo X

Algoritmo de
Aprendizagem
Contexto
Objetivo

REPRESENTAÇÃO DE TEXTO Experimentos


Resultados
Cenários
Conclusões

Vocabulary

Words

Documents
QUESTÕES DE CAT

A PARTIR DO AVA N Ç O SIGNIFICATIVO DA S


REPRESENTAÇÕES DE TEXTO E DOS ALGORITMOS DE
CLASSIFICAÇÃO, A LGU M AS QUESTÕES SURGIRAM:

1.Comparações com linhas de base fracas e mal ajustadas;


2.Uso de protocolos experimentais inadequados; Contexto
3.Falta de tratamento estatístico dos resultados; Objetivo
4.Uso de métricas de avaliação inadequadas. Experimentos
Resultados
Cenários
Conclusões
OB JETIVO

O objetivo desse projeto de pesquisa foi então fornecer uma


organização para essa área, executando uma comparação Contexto
vasta, abrangente e cientificamente sólida das soluções Objetivo
recentes de classificação de texto neurais e não neurais. Experimentos
Resultados
Cenários
Conclusões
EXPERIMENTOS

Para as representações: PTE, SWEM, FastText,


MetaFeatures e Cluwords. Contexto
Algoritmos: SVM, RoBERTa, GPT, DistilBERT, AlBERT, Objetivo
BART, BERT, LSTM, XLNet, VDCNN, CNN e HAN. Experimentos
Resultados
30 Bases de dados distintas.
Cenários
Conclusões
EXPERIMENTOS
A combinação de todas representações e algoritmos de classificação
nas diferentes bases de dados resultaram em mais de
10.000 execuções distintas!

Para as representações: PTE, SWEM, FastText,


MetaFeatures e Cluwords. Contexto
Algoritmos: SVM, RoBERTa, GPT, DistilBERT, AlBERT, Objetivo
BART, BERT, LSTM, XLNet, VDCNN, CNN e HAN. Experimentos
Resultados
30 Bases de dados distintas.
Cenários
Conclusões
E X P E R IM E N TO S

O catálogo de tipos de instâncias da


AWS é extenso. Por isso, sempre
buscamos escolher instâncias que
minimizem o custo e que atendam a
demanda de cada projeto.
Sendo assim, para cada projeto foram
escolhidas instâncias que cumpriam
necessidades específicas, Contexto
e com melhor custo-benefício. Objetivo
Experimentos
Resultados
Cenários
Conclusões
Basicamente, separamos nossos experimentos em três categorias
distintas de recursos da AWS:
EXPERIMENTOS
1. Instâncias de computação acelerada (g4dn.2xlarge e p3.2xlarge)
Projetos relacionados a deeplearning (RoBERTa, GPT, DistilBERT,
AlBERT, BART, BERT, LSTM, XLNet, VDCNN, CNN e AN)
Note que apesar de ambas instâncias possuírem 16 GB de
memória de GPU, existem duas principais diferenças:
- i.Preço: Instâncias P3 são mais custosas
Contexto
- ii.Velocidade: Instâncias P3 possuem GPU mais poderosa
Objetivo
Dessa forma, utilizamos as instâncias P3 para projetos com
Experimentos
Resultados prazos de submissão próximo, e instâncias g4dn para projetos
Cenários com submissão em longo prazo.
Conclusões
Basicamente, separamos nossos experimentos em três categorias
distintas de recursos da AWS:
EXPERIMENTOS
2. Instâncias otimizadas para computação (c5a.8xlarge)
Processadores poderosos
Projetos relacionados a SVM, PTE, SWEM, FastText,
MetaFeatures e CluWords.

3.Instâncias otimizadas para memória (r5a.4xlarge)


Contexto
Diversos algoritmos são capazes de beneficiar-se do uso de
Objetivo
Experimentos
memória RAM. Dessa forma, escolhemos esse tipo de instância
Resultados para projetos com algoritmos de uso massivo de RAM. Um
Cenários exemplo de classificador é o XGBoost.
Conclusões
RESULT
ADOS
PUBLICAÇÕES
1Onthecost-effectiveness of neural and non-
neural approaches andrepresentations for text
classification: A comprehensive comparative
study. Information Processing & Management
2021.

2OntheCost-Effectiveness of Stacking of Neural


and Non-Neural Methods for Text Classification:
Scenarios and Performance
Contexto Prediction.Association for Computational
Objetivo Linguistics:
RepositórioACLde 2021.
algoritmos
Experimentos - https://github.com/waashk/extended-pipeline
Resultados - https://github.com/waashk/atcisel
Cenários
- https://gitlab.com/waashk/bertlbd
Conclusões
RESULT
ADOS

REPOSITÓRIO D E REPRESENTAÇÕES D E TEXTO

- https://github.com/feliperviegas/cluwords
- https://github.com/feliperviegas/cluhtm

REPOSITÓRIO D E COLEÇÕES

Contexto -http://hidra.lbd.dcc.ufmg.br/datasets
Objetivo
Experimentos
Resultados
Cenários
Conclusões
OUTROS CENÁRIOS

1. M O D E LAG E M DE TÓPICOS
visavam encontrar automaticamente tópicos semânticos a partir de documentos textuais.
1SemanticAcademic Profiler (SAP): A framework for researcherassessment based on semantic topic
modeling. Scientometrics
2Contextual CluHTM –Exploiting Contextual Embeddings in Hierarchical Topic Modeling and
Investigating the Limits of the Current Evaluation Metrics. Submetido à Transactions of the Association
for Computational Linguistics

1. SISTEMAS DE R E C O M E N D A Ç Ã O
aplicações que visam filtrar as informações disponíveis, mostrando o que é de interesse do usuário
1A reproducible POI recommendation framework: Works mappingand benchmark evaluation.
INFORMATION SYSTEMS. 2022.
2iRec: AnInteractive Recommendation Framework. ACM SIGIR ConferenceonResearch and
Development in Information Retrieval, 2022.
3Usercold-start problem in Multi-Armed Bandits: when the first recommendations guide the user’s
experience - ACM Transactions on Recommender Systems 2023
CONCLUSÕES

VANTAGENS LIMITAÇÕES

Altíssima Período de
disponibilidade; WarmUp;
Variedade de Exige
configurações de conhecimento
hardware; especializado;
Contexto
Zero custo de Terminado os Objetivo
manutenção; créditos, não há o Experimentos
Resultados
Suporte técnico. legado físico das Cenários
máquinas. Conclusões
OBRIGADO

CNPQ/AWS 032/2019
C O M P A R A N D O A EFETIVIDADE D E A B O R D A G E N S
N E U R A I S E N Ã O - N E U R A I S E M TA R E FA S D E
C LA SS I F I CA ÇÃ O A U TO M Á T I C A D E TEXTO

Leonardo Rocha
http://lattes.cnpq.br/8074447921818504

Departamento de Ciência da Computação


Universidade Federal de São João del-Rei
2 de Setembro de 2022
AWS DigiResearch Brasil 2022

Machine
Learning &
Health
Profa. Dra. Patricia Takako Endo
Universidade de Pernambuco (UPE)
Bolsista de Produtividade em Pesquisa do CNPq - Nível 2
Profa. Dra. Patricia
Takako Endo
Professora Associada da Universidade de
Pernambuco |Pesquisadora líder do
dotLAB Brazil
Nosso time! :)
02 alunos de graduação
07 alunos de mestrado
01 pesquisador mestre
08 alunos de doutorado
01 pesquisadora de pós-doutorado

~47%participaram do projeto
aprovado no Edital CNPq/AWS
032/2019
Nossos parceiros! :)
Projetos de pesquisa focados em
Por que machine learning & saúde

submetemos
Através de uma forte parceria com a FMT e a FVS,
propusemos diversos projetos na área de machine
learning & saúde

uma proposta
para o Edital
&
Somos um grupo de pesquisa novo, sem
CNPq/AWS infraestrutura física (ainda!)

032/2019? Iniciamos nossos projetos (oficialmente) em 2020,


durante a pandemia!
Por que
submetemos
uma proposta
para o Edital
CNPq/AWS
032/2019?
Projetos de pesquisa focados em
Por que machine learning & saúde

submetemos Através de uma forte (e frutífera)


parceria com a FMT e a FVS,

uma proposta
propusemos diversos projetos na
área de machine learning & saúde

para o Edital
CNPq/AWS
032/2019?
Prof. Dr. Vanderson
Sampaio
Instituto Todos Pela Saúde
Projetos de pesquisa focados em
Por que machine learning & saúde

submetemos
Através de uma forte parceria com a FMT e a FVS,
propusemos diversos projetos na área de machine
learning & saúde

uma proposta
para o Edital
&
Somos um grupo de pesquisa novo, sem
CNPq/AWS infraestrutura física (ainda!)

032/2019? Iniciamos nossos projetos (oficialmente) em 2020,


durante a pandemia!
O Edital CNPq/AWS 032/2019 foi
essencial para o desenvolvimento
e obtenção dos resultados das
nossas pesquisas!
EC2
Principais
Escalonamento de
recursos da recursos
AWS que
foram Capacidade de
processamento e
utilizados armazenamento de
dados
Malária
Tema dos
projetos
Tuberculose
desenvolvidos
que utilizaram Arboviroses
os recursos da
AWS Sífilis Congênita
Malária Predição de casos e de
epidemias de malária
Kayo Henrique Matheus Félix

Tuberculose Predição da probabilidade


de óbito por tuberculose

Maicon Lino

Arboviroses Classificação diferencial


entre arboviroses:
- Dengue
- Chikungunya
Sebastião Rogério Thomás Tabosa Leonides Medeiros

Sífilis Predição de sífilis


Congênita congênita

Igor Vitor Flávio Morais Morgana Leite


Principais
resultados
Predição de casos e de epidemias de malária

Modelos de série temporal e


proposta para detecção de
epidemias

Utilização de clustering para


auxiliar modelos de série temporal
Principais
resultados
Predição da probabilidade de óbito por tuberculose

Modelos com boa


generalização

Modelos treinados e testados com


base local (Amazonas) e nacional
(Brasil)
Principais resultados
Classificação diferencial entre arboviroses
Principais
resultados
Classificação diferencial entre arboviroses

Modelos, metodologia, data


sets e ferramenta

Modelos criados a partir de uma


metodologia científica rigorosa,
com criação de ferramentas e data
set disponível para a comunidade
Falta conhecimento técnico sobre como
utilizar os serviços da AWS
Tínhamos apenas um discente com experiência
(profissional) que foi essencial para o
desenvolvimento de todos os projetos

Principais
dificuldades
"Longa curva" de aprendizado ==atraso
para o início dos projetos
Começamos a utilizar os serviços da AW S
praticamente na metade do tempo previsto do
projeto (6 meses de "atraso")
A AWS disponibilizou uma Falta conhecimento técnico sobre como
equipe técnica para nos utilizar os serviços da AWS
Tínhamos apenas um discente com experiência
auxiliar nas nossas (profissional) que foi essencial para o
desenvolvimento de todos os projetos
dificuldades
A AWS disponibilizou uma Falta conhecimento técnico sobre como
equipe técnica para nos utilizar os serviços da AWS
Tínhamos apenas um discente com experiência
auxiliar nas nossas (profissional) que foi essencial para o
desenvolvimento de todos os projetos
dificuldades

O CNPq/AWS entenderam "Longa curva" de aprendizado ==atraso


a necessidade de estender para o início dos projetos
Começamos a utilizar os serviços da AW S
o prazo de execução do praticamente na metade do tempo previsto do
projeto (6 meses de "atraso")
edital
AWS DigiResearch Brasil 2022

Machine
Learning &
Health
Profa. Dra. Patricia Takako Endo
Universidade de Pernambuco (UPE)
Bolsista de Produtividade em Pesquisa do CNPq - Nível 2
Mesa Redonda

Casos de uso de Nuvem


MODERADOR

Alba Cristina Magalhães Augusto Cesar da Motta


Leonardo Chaves Dutra Patricia Endo
Alves de Melo Willer
da Rocha Professora da Universidade de
Professora Titular, UnB Analista do Programa de
Professor, UFSJ Pernambuco
Pesquisa em Engenharia
(COENG – DEHS) CNPQ
Boa pausa!
Voltamos em 5 minutos
Quantum Computing na AWS

Fernando Brandão
Diretor de Aplicação Quantum Computing - AWS
Computador Quantico: Para que Serve e Como Construir Um
Computacao Quantica
Computacao Quantica
Computacao Quantica
Computacao Quantica
Mecanica Quantica
Mecanica Quantica

|0 + |1
||2 +||2=1
|0 |1
Tecnologias Quanticas do Seculo Anterior
Mecanica Quantica eh Dificil

~2n n
Mecanica Quantica eh Dificil

~2n n
Simulando Fisica com Computadores

"trying to find a computer simulation of


physics seems to me to be an excellent
program to follow out (…) Nature isn’t
classical, dammit, and if you want to make a
simulation of Nature, you’d better make it
quantum mechanical, and by golly it’s a
wonderful problem, because it doesn’t look
so easy”
R. Feynman, Simulating Physics with Computers, 81
Tecnologia Quantica deste Seculo
Computadores Quanticos no Laboratorio

Qubits Armadilhas de Atomos de Rydberg Fotonica em Silicio


supercondutores Ions

Amazon, Google, IBM, QuEra, Pascal, PsiQuantum, Xanadu,


Alibaba, Rigetti, Honeywell, IonQ, Harvard, U. Paris, U. Bristol, U.
Caltech, MIT, Yale, Innsbruck, Caltech, Berkeley, … Queensland, …
Delft, … Maryland,
Berkeley, …
Aplicacoes de Computadores Quanticos
Aplicacoes de Computadores Quanticos

15 = 5 x 3
509284477619 = 217421 x 234239

n exp(1.9 n1/3)
Aplicacoes de Computadores Quanticos
n
72 n3
Aplicacoes de Computadores Quanticos
Aplicacoes de Computadores Quanticos
Correcao de Erro Quantica
Correcao de Erro Quantica

Taxa de error
Aplicacoes de Computadores Quanticos
Eras da Computacao Quantica

error rate

number qubits

1: facil simulacao classica 3: aplicacoes iniciais?


2: supremacia quantica. 4: computadores quanticos com correcao de erros
Supremacia Quantica
Harware Quantico atual sao melhores q os classicos em qualquer coisa?
Analogia: Competicao ‘Savant” versus calculadora de bolso

“Supremacia” da calculadora de bolso sobre o cerebro humano para


multiplicar numeros grandes
Supremacia Quantica
Hardware quantico atuais sao melhores q o classico em qualquer coisa?

Summit Supercomputer
Google 53 qubits “Sycamore”
“savant” dos computadores classicos
“calculadora quantica”
~Meses
~3 minutes

Equivalente de multipicar numeros grandes: Obter amostras da


distribuicao final de circuitos quanticos aleatorios
Eras da Computacao Quantica

error rate

number qubits

1: facil simulacao classical 3: aplicacoes iniciais?


2: supremacia quantica. 4: computadores quanticos com correcao de erros
What is AWS building?
Amazon Braket
A service offering quantum computers
integrated in the AWS Cloud

Amazon Quantum AWS Center for


Solutions Lab Quantum Computing
A team working on research A team building fault-tolerant
programs with customers quantum computers (full stack)

AWS Center for Quantum Networking


A team building quantum networking technologies
Quantum annealer Ion trap Superconducting

Superconducting Photons Rydberg atoms


AWS Center for Quantum Computing
Correcao de Erro Diretamente Pelo Hardware?

Majorana qubit 0-pi qubit cat qubit


Abordagem da AWS
Computacao Quantica
Potencial de ser um novo paradigma da computacao

Mas muitos desafios no caminho

Eh uma maratona, nao uma corrida de 100 metros

Obrigado!
Chamada Pública CNPQ e AWS
2022

Danilo Barros Nacif Junior


DEHS, CNPQ

Rubem Saldanha
AWS
Parceria CNPq-AWS 2022

Inovações no Fomento com Créditos


para Serviços de Computação em
Nuvem
Parceria CNPq - AWS

Modelagem Alguns efeitos observados

Inovação no • Remanejamento do investimento em recursos de


computação;
modelo de • Revisão em aspectos metodológicos e no
fomento com base cronograma dos projetos em função da
disponibilidade, escalabilidade, agilidade na obtenção
na concessão de de recursos;
créditos para • Necessidade de sincronização entre a demanda por
recursos e o momento no ciclo de pesquisa uma vez
acesso a serviços que há o pressuposto de que os dados de pesquisa já
de TIC sejam acessíveis.
Chamada CNPq/AWS – 32/2019
Recursos Porte dos Projetos
US$ 400.000 • Projetos apoiados com créditos de serviços no valor máximo
de US$ 15.000 (R$ 75.000,00);
Prazo Submissão: • Vigência dos projetos: 24 meses;
• Validade dos créditos: 12 meses;
83 dias!!! • Características das propostas:
Linhas Temáticas: • Uso de Modelo de Proposta Estruturado;
1 - Tecnologia • Instituição Executora: ICT previamente cadastrada no
Diretório de Instituições do CNPq;
Aeroespacial;
• Proponente: Doutor com vínculo formal com a Instituição
2 - Energias Renováveis;
Executora;
3 - Transformação Digital;
• Equipe de Projeto: Coordenador, Pesquisador, Aluno,
4 - Biodiversidade; Técnico ou Colaborador;
5 - Biotecnologia; e
• Outros requisitos: Anuência Formal dos membros da
6 - Mineração e Segurança Equipe de Projeto e de Instituições Colaboradoras.
de Barragens.
Funil de Atendimento: Demanda(95) => Recomendação (86) => Atendimento (33)
Parceria CNPq-AWS 2022
Disposições da Parceria
• Lançamento de Chamada Pública CNPq/AWS 2022;
• Recursos no valor de US$ 1.200.000,00 apoiados projetos em 3 Faixas:
• Faixa A - US$ 15.000 por projeto, totalizando US$ 150.000,00 na Faixa;
• Faixa B - US$ 50.000 (R$ 250.000,00), totalizando US$ 250.000,00 na Faixa; e
• Faixa C - US$ 100.000 (R$ 500.000,00), totalizando US$ 800.000,00 na Faixa.
• Vigência dos projetos: 24 meses;
• Validade dos créditos: 12 meses;
• Concessão de Créditos em duas parcelas:
• 1ª Parcela de 40% solicitada em até 6 meses do início da vigência do projeto;
• 2ª Parcela de 60% solicitada com antecedência de 15 dias do encerramento
da 1ª Parcela e utilizados pelo menos 50% dos créditos;
Parceria CNPq-AWS 2022
Linhas Temáticas
1 - Área de Tecnologias Estratégicas
(Espacial; Nuclear; Cibernética; Segurança Pública; e de Fronteira)
2 - Área de Tecnologias Habilitadoras
(Inteligência Artificial; Internet das Coisas; Materiais Avançados; Biotecnologia; e
Nanotecnologia)
3 - Área de Tecnologias de Produção
(Indústria; Agronegócio; Comunicações; Infraestrutura; e Serviços)
4 - Área de Tecnologias para o Desenvolvimento Sustentável
(Cidades Inteligentes e Sustentáveis; Energias Renováveis; Bioeconomia; Tratamento e
Reciclagem de Resíduos Sólidos; Tratamento de Poluição; Monitoramento, prevenção e
recuperação de desastres naturais e ambientais; Preservação Ambiental)
5 - Área de Tecnologias para Qualidade de Vida
(Saúde; Saneamento Básico; Segurança Hídrica; e Tecnologias Assistivas)
6 - Área de Tecnologias para Promoção, Popularização e Divulgação da
Ciência, Tecnologia e Inovação
(Ensino de Ciências; Educação Empreendedora; e Comunicação Social)
Parceria CNPq-AWS 2022
Demais detalhamentos ...

Chamada
em breve!!!
O que
podemos
especular
com base
nas últimas
chamadas
...
OBRIGADO!
Danilo Nacif Jr
coeng@cnpq.br
(61) 3211.9981
Como utilizar a calculadora AWS

Cristiano Scandura
Arquiteto de Solução, Educação AWS
Fechamento do Dia
• Se inscreva no AWS Academy para ajudar os seus alunos a
conhecerem mais de computação em nuvem durante a universidade
• Utilize a Iniciativa de OpenData para disponibilizar seus dados para
outros pesquisadores
• Utilize os dados de outros pesquisadores que estão disponibilizados
no https://registry.opendata.aws/
• Considere a possibilidade ser um professor visitante na Amazon/AWS
• Aprofunde o seu conhecimento com os diversos links que
disponibilizamos. Há muita coisa para explorar!
• Fique de olho no site do CNPq para a nova chamada!
• Faça a avaliação do evento! Super importante para os próximos!

Você também pode gostar