Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

º e futuro e, por Chat GPT

Vai generativo AEu inverto o Google, ó você
r empregos, e hum anidade

March 2023
Tabela de co ntendas
Impulso 2023. Todos os direitos reservados. O documento
Funciona

contido dmaterial é de propriedade exclusiva de y confiança

nisso
Momentum Works. A nem tal material é feita no

1. O risco e de IA generativa
próprio risco dos compradores.

2. Quem é OpenAI

3. Impacto t nas principais empresas de tecnologia

4. Impacto t no resto de nós

5. Conclusão são e o que vem a seguir

ps o relatório NÃO foi gerado rado pelo ChatGPT.

2
Por que estamos fazendo este relatório?

1100 m usuários mais rápido do que qualquer outro aplicativo Meses para atingir 100 milhões de usuários

O ChatGPT, uma ferramenta de IA generativa desenvolvida pela

OpenAI, acumulou mais de 100 milhões de usuários em 2 meses ● o que é realmenteatrás
após seu lançamento - mais rápido do que os aplicativos de do ChatGPT? E do que
consumo mais virais. Mais importante, muitos usuários estão
ele e seus pares são
realmente viciados - usando o ChatGPT para uma variedade de casos
realmente capazes?
de uso pessoal e profissional.
CHatGPT

2 ● ComoOpenAI e Microsoft
A rverdadeiro avanço tecnológico são bem-sucedidas,
O ChatGPT e outras ferramentas de IA generativas lançadas no enquanto outras grandes

ano passado, bem como os Large Language Models por trás tecnologias ficam para trás nesta
delas, são avanços reais que podem desencadear outra corrida?
revolução industrial.

● Qual é o verdadeiro
3
disrompendo tudo, desde gigantes da tecnologia até nossos empregos impacto sobre nós, nossos

empregos e nossas
A OpenAI venceu a batalha de IA generativa nesta rodada - derrotando
Google, Baidu e outras grandes tecnologias. Atualizado A Microsoft empresas? Deve
conseguiu um golpe impressionante ao oferecer suporte ao OpenAI. estamos preocupados?
Também se fala sobre muitos empregos que enfrentam o extermínio.

Fonte: pesquisa e insights da Momentum Works

3
© Momentum Works
 Momentum Works 2023. Todos os direitos reservados. O material
contido neste documento é de propriedade exclusiva da Momentum
Works. Qualquer confiança em tal material é feita por conta e risco
dos usuários.

1. A ascensão da IA generativa

4
 A IA vem evoluindo e inspirando produtores de filmes há quase um século

Filme "Bladerunner" Deep blue da IBM vence

“Inteligência artificial
campeão mundial de xadrez
Computador Watson da IBM “Ex Machina”
”cunhado em Dartmouth
Garry Kasparov compete em um jogo filme
Conferência 1987-19 93: mostra e ganha Alibaba cria
primeiro artificial Segunda IA Academia DAMO
Big data e computação em
modelo de neurônio 1974-1980: inverno*
nuvem permitem mais HBO lança primeiro Filme "Cara Livre"
proposto Primeiro inverno de IA*
aplicativos avançados de IA temporada de "Westworld"
Filme “Ela”

1943 1950 1956 1966 década de 1980 década de 1990 1997 anos 2000 2010 2011 2012 2014 2015 2016 2017 2021
* um período de redução

Primeiro chatbot, ELIZA financiamento e interesse em IA

Invenção do Generativo Google cria dedicado
“WALL-E” filme
foi desenvolvido Equipamento digital Papel no ImageNet rede adversária divisão da IA do Google

A Corporation comercializou o publicado, apresentando (GAN)

Profundo Mind's AlphaGo
XCON, um sistema que emula o potencial de profundidade
derrota o melhor jogador do Go
decisões de especialistas humanos aprendizado
Lee Sedol
“2001: Um espaço
IA “tudo incluído” do Baidu
O conceito de Turim gfilme odisseia”
Teste introduzido para Filme "Exterminador do Futuro"

medindo uma máquina

capacidade de exibir

comportamento inteligente

* Filmes inspirados em IA Crescimento rápido no campo de aprendizado profundo, um subconjunto de aprendizado de máquina que

usa redes neurais artificiais para modelar e resolver problemas complexos 5

© Momentum Works
A IA generativa está revitalizando os ecossistemas de IA e tecnologia desde 2022

IA generativaé um tipo de IA que usa modelos de aprendizado profundo paracriar conteúdo novo e originalaprendendo com grandes
conjuntos de dados sobre os quais foram treinados. O conteúdo gerado inclui, entre outros, texto, imagens, trilhas sonoras e vídeos.

A IA generativa entrou no mainstream em 2022, começando com os lançamentos públicos degeradores de imagens DALL-E 2, Stable
Diffusion e Midjourney.ChatGPT, um chatbot baseado em Large Language Model (LLM) lançado em 30 de novembro de 2022, agita muitas
coisas.

Milhões depessoasestão usando o ChatGPT emuma variedade de tarefas;gigantes da tecnologia(incl. Google, Baidu, Alibaba) estão lançando seus próprios
modelos/produtos de IA generativa paraevite ser interrompido, assim como os fundos de capital de risco existentesstartups de IA;investidoresestão debatendo
sobre qual entre centenas de novas startups de IA apoiar; enquantoempresas de todos os setoresestão tentando entender oimpacto (ou oportunidades) em seu
modelo de negócios, pessoas e organização.

ps o texto acima NÃO foi gerado pelo ChatGPT.

DALL- E 2 Difusão estável meio da jornada

Prompt: Um astronauta montado em uma vaca pulando sobre a lua

6
© Momentum Works
 O avanço atual é o culminar de uma década de desenvolvimento (e contratempos)

Lança imagem
Google adquire
gerador e
DeepMind, um
editor GLIDE
IA britânica
laboratório de pesquisa Lançamentos Grandes
Modelo de linguagem
IA aberta fundada como
Lançamentos OPT-175B
sem fins lucrativos publica Transformers OpenAI é lançado imagem
Aprendizado profundo
papel, trazendo escalabilidade
modelo baseado
Lançamentos de IA aberta GPT-3, Microsoft gerador
em linguagem natural GPT-2, Microsoft adquire exclusividade
generativo Lançamentos Grandes
Estábulo Arrecada US$ 101 milhões

Contraditório
Em processamento investe US$ 1 bilhão licenciamento de GPT-3 Diffusion Lançamentos Grandes
Lança LaMDA
Modo de idioma eu
em rodada de sementes
Modelo de linguagem PaLM,
Rede (GAN) LaMDA
chatbot baseado
IA chatbot LaMDA 2 BARDO
introduzido

2014 2015 2016 2017 2018 2019 2020 2021 2022 2023

Lança o idioma
modelo BERT Lança o idioma
Lançamentos de IA aberta
modelo YaLM
imagem de lançamento visão-linguagem multimodal Láinicia GPT-3.5
gerador, estreia chatbot modelo CLIP e imagem chatbot baseado
Tai, que foi Lança o idioma gerador DALL-E
Sonho Profundo
modelo GPT-1
ChatGPT
desligar dentro de 16 polegadas DALL-E 2
Lança o idioma
horas por causa de Lança imagem
modelo, RoBERTa
controverso gerador
(racista e meio da jornada
Lança GPT-4,
inflamatório) acessível através
tweets Introduzido ChatGPT Plus e
Grande Lança o idioma API
Lança uma biblioteca otimizada para modelos Chinchila,
Linguagem lança generalista
Lança o OpenAI modelos de linguagem de treinamento, Modelo Esquilo e AI Gato
Cinco (bot do Dota 2)
Megatron-LM MT-NLG modelo de linguagem de visão 7
© Momentum Works Flamingo
As grandes tecnologias construíram/suportaram grandes modelos de linguagem, a própria base da IA generativa

Modelos de Linguagem Grandes

Empresa Produtos Embora o conceito de aprendizado
(LLMs)
profundo usando redes neurais exista há
décadas e as empresas de IA construam
e treinem modelos há anos,Modelos de
GPT-1,2,3,3.5,4 ChatGPT, DALL-E 2
Apoiado por linguagem grandes (LLMs) compostos
por bilhões de parâmetros só surgiu
nos últimos dois anos.

BERT, LaMDA, PaLM Google BARD

Este desenvolvimento é impulsionado
principalmente poralguns gigantes tecnológicos
selecionados que tinham a visão e os recursos.

RoBERTa, OPT-175B Cícero, Multi Ray O surgimento de LLMs,e os recursos

que os produtos baseados em LLMs
demonstraram, estão mudando
fundamentalmente o cenário da IA e
talvez muito mais.
ERNIE Bot ERNIE

8
© Momentum Works
Os Large Language Models (LLMs) são ativados por recentes avanços tecnológicos

1 2 3 4
Alta performance Maior e mais diversificado Melhores algoritmos de PNL Arquitetura aprimorada
Informática conjuntos de dados

Avanços Ocrescimento da internet Avanços em algoritmos para LLMs usam arquitetura de

alta performance
computação, incluindoo uso
de Processamento Gráfico
Unidades (GPUs) e computação
em nuvem, tornaram possível
treinar modelos de linguagem em
grande escala de forma eficiente.
e avanços na tecnologia de
armazenamento de dados
tornaram possível coletar e
armazenar grandes quantidades
de dados de texto de uma
ampla gama de fontes, incluindo
livros, sites e redes sociais
plataformas de mídia.
Linguagem Natural
Processamento (NLP), como
mecanismos de atenção,
permitiram LLMs emidentificando
e focando em partes relevantes
da sequência de entrada,
levando a previsões mais precisas
para uma determinada tarefa.
rede neural avançada, como
transformadores, que lhes
permitemprocessar e modelar
sequências complexas de texto
de forma mais eficaz e
eficientementedo que os modelos
de linguagem anteriores, acelerando
o processo de treinamento.

Acombinação de avanços tecnológicosnos últimos anos, incluindo os listados acima, permitiu que os criadores construíssem e treinassem Large Language
Modelos (LLMs). Embora ainda seja caro (em termos de poder de computação) treinar os principais LLMs que conhecemos hoje,os custos são esperados para ir
abaixoà medida que as tecnologias continuam avançando, as pessoas continuam buscando otimização e os benefícios econômicos começam a justificar esse esforço.

9
© Momentum Works
Grandes modelos de linguagem estão se tornando muito grandes

Modelos pequenos (<= 100b parâmetros)

ELMo GPT-1 BERT RoBERTa Ttransformador ELMo GPT-2 Megatron-LM LLaMA Chinchila YaLM ERNIE
94M 117 milhões 340M 354 milhões 465M 1.5B 8.3B 65B 80B 100B 100B

Modelos grandes (>100b parâmetros)

A base de

?
ChatGPT

Não divulgado
LaMDA GPT-3 J você
rassic-1 Esquilo MT-NLG Palma PaLM-E GPT-4 número de
137B 175B 178B 280B 530B 540B 562B ??? parâmetros

Pai
10
© Momentum Works
Um Large Language Model é um tipo específico de rede neural

Uma rede neural é formada por camadas x1

de neurônios interconectados que
processam informações e fornecem uma
saída determinística.
Número deparâmetrosem um modelo é
ocontagem totalde todo o indivíduo
pesos e vieses no neural Símbolo
Como você pode ver, ChatGPT e outras
x2 ferramentas baseadas em LLM'calcular' a
saída em vez de 'pesquisar' por
uma saída de um banco de dados.
Saída
x3

rede.

neurônio k
neurônio ativado
Símbolo Pesos
Símbolo Neurônio não ativado

Dados de entrada divididos em partes menores e transformados

emnúmeros que o computador pode processar x1 C k1 soma Ativação
função função
Por exemplo, como OpenAI tokeniza (outros podem diferir) Resultado

 
entrada

Texto: Isso é tokenização. x2 C k2 A(s) Produz um binário

resultado; neurônio é
Produzir
ativado ou não
IDs de token: [5661, 318, 11241, 2890,13] um único (sigmoide,
Viés valor, y
bk etc)
xn C kn
Exemplo: w*x + b = y
c oito bia s

11
© Momentum Works
 Como construir e treinar um modelo de linguagem grande

Construções básicas de um modelo Modelo pré-treinado Treinamento/aprendizagem adicional

Dados não tratados

modelo não treinado

Limpeza,
normalizando &
Modelo pré-treinado
dividindo Arquitetura
Modelo personalizado para

Treinamento, validação tarefa específica

Parâmetros Treinamento Treinado
e conjuntos de dados de teste
modelo
Algoritmos Avançar
parâmetros
No contexto otimizado
tokenização Com pesos,
aprendizado(zero
preconceitos & parâmetros*
tiro, alguns tiros)
incorporações
Construção oufiboa afinação

fichas Vocabulário * no caso de ajuste fino

12
© Momentum Works
Modelos pré-treinados podem ser aprimorados por treinamento adicional - com ou sem entrada adicional

Melhores resultados
também?

Melhores (ou seja, mais) entradas

tiro zero Poucas fotos Afinação

Usando o modelo pré-treinado para Usando umpequena quantidade de dados para Usando um modelo pré-treinadoe treiná-losobre
realizar uma tarefa que nunca executar uma tarefa. Essa abordagem é útil quando há uma nova tarefa com dados adicionais, criando
estiveespecificamentetreinadosobre. dados limitados disponíveis para uma tarefa. modelos especializados para tarefas específicas.

Por exemplo, você tem um programa de computador
que foi treinado para reconhecer a imagem de
pássaros, cavalos e cachorros e agora você dá a
eles a imagem de uma zebra. eles não serão
capaz de reconhecê-lo, mas eles vão tentar
fazer uma previsão de que é um cavalo
Por exemplo, usando o mesmo programa, mas agora você
também inclui algumas imagens rotuladas de uma
zebra no prompt e uma imagem adicional não rotulada
de zebra, eles poderão dizer que é uma zebra
mas não vai mudar nenhum parâmetro
Ex: Com as imagens da zebra que você compartilhou
com o computador, você altera ou adiciona alguns
parâmetros e agora o programa “conhece” e
“lembrar” o que é uma zebra

De certa forma, podemos traçar uma analogia entre isso e o aprendizado humano.
Aprendemos coisas sobre o mundo incorporando novas informações que recebemos, mas também usando nosso
conhecimento existente para formar um entendimento/opinião sobre coisas novas.

13
© Momentum Works
Como construir LLMs ainda melhores e outros modelos de IA generativos

Existem 3 maneiras principais de criar LLMs melhores e outros modelos de IA generativos

Aumentar parâmetros/tamanho do token Otimize a arquitetura Torne-se multimodal

Aumentando oparâmetrosem um modelo
e dando-lhe maisdadospodemelhorar o
qualidade e complexidade da saída
produz. Ainda não sabemos se existe
um limite além do qual entradas adicionais
param de gerar melhorias correspondentes em
saída - talvez GPT-4 já seja o limite.
Diferenteas arquiteturas dos modelos podem
ser mais adequadas para diferentes tipos de
tarefas de linguagem.Otimizar a estrutura de
um modelo de linguagem pode torná-lo mais
eficiente e eficaz. Por exemplo, oArquitetura do
transformadoré popular earquitetura eficaz que
levou aos avanços da OpenAI e do Google.
Nósos seres humanos aprendem a partir de vários
modos de entradas-texto, imagens, vídeo e muito mais.
Talvez uma máquina seja capaz disso também?
Google e OpenAItenta responder a isso
pergunta comPaLM-E e GPT-4, seu mais
novo modelo capaz de "aprender" com
multimodalentrada de sentença.

14
© Momentum Works
 Momentum Works 2023. Todos os direitos reservados. O material
contido neste documento é de propriedade exclusiva da Momentum
Works. Qualquer confiança em tal material é feita por conta e risco
dos usuários.

2. Quem é Open AI

15
 Quem é a OpenAI?

Desde a sua fundação em 2015, a Open AI tornou-se Liderando o

uma força líder por trás da pesquisa e casos de uso do
corrida armamentista de IA
mundo real de LLMs e IA generativa em geral.
Também evoluiu significativamente sua própria
Tornando-se popular ● começamonetizando ChatGPT através
estrutura e aprofundou o relacionamento com a
o acúmulo de API para clientes empresariais;
Microsoft, para acelerar seu crescimento, mantendo a ● LançamentosChatGPTao público, ● Microsoft investe US$ 10 bilhões
vantagem.
● LançamentosCopiloto do Github, ganhando100 milhões de usuários
no OpenAI, elança Navegador
dentro de semanas.
uma ferramenta capaz de Edge com IAe Pesquisa do Bing
● A rápida popularidade do reformulada;
Transição
código de preenchimento automático

● LançamentosDALL-E, ChatGPT acumuladifundido ● Combinador Yfaz vários

A OpenAI foi fundada como uma
organização sem fins lucrativospara garantir
que a IA beneficie toda a humanidade
Publica trabalhos de pesquisa
sobre aprendizado profundo e
faz parceria com
Microsoft para acessar a plataforma
de nuvem (ou seja, poder de
computação).
● Vaicom fins lucrativosatrair
talentos e investimentos
● Sam Altmandeixa a YC para
focar na OpenAI
● Microsoftinveste US$ 1 bilhão em
dinheiro e serviços de nuvem
que gera realismo conhecimentode IA generativa; investimentos em startups de IA
arte/visuais com base em entradas
● Também lançaDALL-E 2, uma ● LançamentosGPT-4,um modelo
de texto
versão melhorada do DALL-E multimodalcom melhores capacidades
● LançamentosGPT-3, um com melhor qualidade e de raciocínio e salvaguardas
modelo de linguagem precisão do que GPT-3
autorregressivo que produz
texto humano

ChatGPT

2015 2019 2020 - 2021 2022 2023

16
© Momentum Works
As pessoas-chave que fizeram o OpenAI acontecer

A OpenAI, liderada pelo ex-presidente da Y Combinator, Sam Altman, éo

epítome do empreendedorismo tecnológico americano.

Combinador Y, provavelmente o único acelerador de startups bem-

sucedido em escala global, com empresas de portfólio Airbnb, Coinbase,
DoorDash, Dropbox, Reddit, Stripe e Twitch.

Os primeiros apoiadores do OpenAI incluem membros-chave do famoso “Máfia do

Sam Altman Greg Brockman Ilya Sutskever Wojciech Zaremba PayPal”; enquanto os principais executivos daMicrosoft atualizado apoiou a
CEO, OpenAI Presidente e co-fundador r Co-fundador e Chefe Co-fundador da OpenAI inicializaçãoestrategicamente e financeiramente.
Antigo presidente Cientista da OpenAI

Ofunção da Microsofttambém é significativo, o que discutiremos em

detalhes na próxima seção do relatório.

Apoiadores iniciais

Satya Nadella Kevin Scott

Jessica Livingst on Peter Thiel Reid Hoffman Elon Musk ● CEO (2014 - Presente) ● CTO da Microsoft (2017-presente)
Combinador Y Palantir, Fundo de Fundadores LinkedIn Tesla, SpaceX, Twitter ● Recursos transferidos de iniciativas ● Parceria OpenAI concebida
internas da Microsoft para dar suporte ● Assumiu a estratégia de IA da
ao desenvolvimento OpenAI Microsoft em 2020
“A máfia do PayPal”

17
© Momentum Works
A visão e a motivação da OpenAI, de acordo com seus cofundadores
E assim o problema de alinhamento é:
como nós construir AGI (Artificial
Inteligência geral) isso faz
o que é do melhor interesse
humanidade ? Como podemos ter certeza
que a humanidade consegue determinar
o futuro da humanidade ? E como
evitamos tanto acidentes
uso indevido,... e depois o interior
problemas de alinhamento, onde e se
essa coisa só se torna uma criatura
que nos vê como uma ameaça?”
Sam Altman
CEO, OpenAI
Antigo presidente
© Momentum Works
A primeira motivação [para começar Eu acho que é uma história real aqui em
OpenAI] foi… a maneira de fazer o minha mente é uma amplificação de
o maior progresso em IA foi a fusão o que os humanos podem fazer . É um tipo de
ciência e engenharia em um como você contrata seis assistentes.
inteiro único … então não há Eles não são perfeitos. Eles precisam
distinção ou tão pouca distinção quanto be treinou um pouco; eles não t
possível entre ciência e sabe exatamente o que você quer
Engenharia. Para que toda a ciência fazer sempre. Mas eles estão tão ansiosos;
é infundido com engenharia, eles nunca dormem; eles estão lá para
disciplina e execução cuidadosa. ajudar você. Eles estão dispostos a fazer o
E toda a engenharia é infundida trabalho braçal, e você consegue ser o
com as ideias científicas…” diretor . "
Ilya Sutskever Greg Brockman
Co-fundador e Chefe Presidente e
Cientista da OpenAI co-fundador
18
A OpenAI lidera a pesquisa/engenharia de IA em várias áreas

Sussurrar:Modelo de Reconhecimento Automático de Fala (ASR) para transcrição,

tradução e assistentes de voz.

Código aberto
Juke-box:Modelo de geração de música, incluindo canto, em diferentes estilos e gêneros.
Ele pode criar músicas originais e músicas “completas” com base em amostras curtas.

Ponto-E:Geração de modelos 3D a partir de descrições de texto, que podem ser usados para
impressão 3D, fabricação e prototipagem.

Códice GitHub copiloto

GPT-1 GPT-2 GPT-3 GPT-3.5 InstructGPT ChatGPT

GPT-4

GRAMPO DALL-E DALL-E 2

Dáctilo:Robótica de IA para ajudar a resolver tarefas

Pesquisa descontinuada devido
humanas complexas, por exemplo: resolveu um cubo de
ao mercado imaturo.
Rubik com a mão do robô.
19
© Momentum Works
Por que a OpenAI supera o Google, que tem LLM maior, no mercado

O GPT-3, no qual o ChatGPT se baseia, não é o maior modelo de

idioma do mundo.O PaLM do Google é 3 vezes maior em
GPT-3 versus modelos de linguagem grandes do Google
parâmetros.

O ChatGPT, no entanto, é o primeiro chatbot baseado em LLM que os criadores se

sentem confiantes o suficiente para lançar ao público.A camada de confiança e
segurança filtra qualquer saída inapropriada/inflamatória. O Google, por
outro lado, provavelmente é mais cauteloso por causa dapreocupações de
reputação se tal lançamento sair pela culatra
- especialmente quando a maior parte de sua receita vem de publicidade
relacionada à pesquisa.

Começar umcom bons recursos (apoiado pela Microsoft), mas

independente empresa, OpenAI não tem tais preocupações.

O ChatGPT definitivamente dominará? Difícil de dizer. No entanto criouuma

vantagem clara sobre os principais concorrentes, principalmente grandes
tecnologias. Com dados gerados a partir do uso real por milhões de usuários
LaMDA GPT-3 Esquilo Palma
diariamente, o ChatGPT é capaz de evoluir rapidamente e ficar à frente. E agora
137B 175B 280B 540B
GPT-4 já foi lançado, antes que o Google pudesse responder com eficácia.
Pai
Além disso, por que os usuários comuns usariam um chatbot do Google
quando já possuem o ChatGPT? Isso nem é para falar sobre Os excelentes
recursos de distribuição empresarial da Microsoft.

20
© Momentum Works
Como a OpenAI ganha (ou melhor, vai) ganhar dinheiro?

A OpenAI provavelmente está entre as poucas startups de tecnologia comcaminhos mais claros para a lucratividade. Abaixo estão 3maneiras reais e possíveisque a OpenAI pode
monetizar o ChatGPT e seus outros modelos/produtos.

modelos de receita acesso à API Assinatura (ChatGPT Plus) Implantações personalizadas

Negóciosintegração de acesso à API para Consumidores ou empresasque usam ChatGPT mais Grandes empresas/organizações do setor
Alvo
o modelo de linguagem GPT em suas extensivamente (ou precisam de melhor suporte) públicocom necessidades personalizadas
clientes
próprias plataformas/serviços/aplicativos em comparação com o usuário casual médio e preocupações de segurança

Baseado emfatores como o número de
chamadas de APIfez ocomplexidadedos
Como funciona
modelos utilizados equantidade de
dados processados.
Clientespagar umespecíficotaxa de inscrição OpenAI para implantar seu LLM e outras
ganharacesso premium(disponibilidade em alta tecnologias de IA eminfraestrutura privada,
demanda, resposta mais rápida e prioridade o objetivo é ter maiscontrole sobre
acesso a novas funcionalidades) ao ChatGPT os dados e a segurança.

$ 0,0004- $ 0,02/1k tokens de prompt e $

Preços $ 20/mês Personalizado
0,03-$ 0,12/1k tokens de conclusão

Bem-sucedido
exemplos

O recente corte da AP na OpenAI entende a importância detornando o ChatGPT uma infraestrutura bem adotada. OpenAI
também criouum fundo inicial de US$ 100 milhõesem 2021 para fomentar um ecossistema de startupspropagando o uso de modelos/produtos OpenAI.

Vale a pena notar que, ao contrário do GPT-2 de código aberto,GPT-3 é privado. Isso significa que OpenAI temmelhor controle sobre acesso (através de APIs) e
monetização, enquanto o código está protegido. A natureza privada também, em tese, impede que terceiros criem alterações prejudiciais.
21
© Momentum Work s*o número de tokens é baseado na entrada; veja o slide 12 para ver como o OpenAI calcula os tokens
 Momentum Works 2023. Todos os direitos reservados. O material
contido neste documento é de propriedade exclusiva da Momentum
Works. Qualquer confiança em tal material é feita por conta e risco
dos usuários.

3. Impacto nas principais empresas de tecnologia

22
As grandes tecnologias estão impulsionando ou sendo impactadas pelo advento do ChatGPT e da IA generativa

Como eles garantem que suas empresas sejam preparadas para o futuro?
Enquanto muitas empresas de IA (especialmente na China) estão
correndo para construir LLMs e ferramentas de IA generativas, é
justo dizer queapenas as grandes tecnologias têm os recursos
(incluindo talento, $$$, poder de computação e dados) para
fazer um trabalho adequado(imagine OpenAI sem o suporte da
Microsoft).

As grandes empresas de tecnologia são organizações

complexas. Sua liderança, determinação e
pessoas/questões organizacionais geralmente determinam
o sucesso (ou fracasso) ao buscar novas iniciativas,
Satya Nadella Sundar Pichai Robin Li particularmente quando o dilema do inovador está
CEO, Microsoft CEO, Google CEO, Baidu presente.

Talvez a única lição para a big tech seja:quando há

uma tecnologia emergente que vai atrapalhar,
(incluindo nuvem AI, móvel, mas talvez não Web3),
alinhar a organização para adotá-la sem hesitação
, que continua a aprimorar as ofertas principais
atuais.

À medida que o ciclo de evolução da tecnologia se torna cada vez mais

curto,fazer a(s) aposta(s) certa(s) consistentemente (e executar

Jensen Huang Tim cook Andy Jassy incansavelmente) torna-se uma habilidade importante para
CEO, Nvidia CEO, Apple CEO, Amazon grandes líderes de tecnologia. Uma lição para todos.
23
© Momentum Works
 A Microsoft é uma vencedora clara cuja aposta refrescante no OpenAI está valendo a pena, até agora

R
3% 6% 8% 4% 12% 4% 34% 7% 23%
outro Jogos produtos de servidor e produtos de escritório A Microsoft passou por um
Dispositivos de anúncios de pesquisa
serviços na nuvem
LinkedIn e serviços transformação culturaldesde
Empreendimento

Serviços que o atual CEO Satya Nadella

Impacto nos produtos assumiu em 2014.

Usuários pessoais Usuários pessoais e empresariais Usuários empresariais A empresa, que resistia à
nuvem e ao código aberto,
Bing & Borda
atualizou sua missão de
GPT-4 já foi integrado com
Microsoft 365 (anteriormente Office 365), aumentando a produtividade. Abraçou
Os navegadores Bing e Edge reformulados Automação de manuais
tornam-se umCo-pilotoferramenta oferecendo muitosCo-pilotorecursos para totalmente a nuvem, a mobilidade e o
tarefas, fornecendo previsão
que aumenta a produtividade por meio os usuários corporativos criarem,
análise e melhorando a código aberto. EIA generativa se encaixa
de pesquisa e conteúdo aprimorados resumirem, analisarem etc. Eles continuarão
tomada de decisões via IA.
geração. a ser aprimorados e integrados ao Teams, perfeitamente nessa missão.
Plataforma de energia etc.

Desenvolvedores da Microsoftsuporte total do OpenAI(

Ferramenta de desenvolvedor que usa o Codex da OpenAI para sugerir novas linhas de código, funções e
mesmo sacrificando algumas das suas
algoritmos complexos a partir do código existente.
próprias iniciativas) e a suacapacidades

Fundação de distribuição empresarialestão

Serviço Azure OpenAI, essencialmente um "balcão único" que fornece às empresas acesso fácil aos recursos
começando a pagar, grande momento.
Microsoft Azure avançados de IA da OpenAI, infraestrutura de nuvem e ferramentas para construção e implantação de modelos de IA
em larga escala.

24
© Momentum Works
 O Google está preocupado e deveria estar
Detalhamento da receita (ano fiscal de 2022)
57,9%
Pesquisa do Google e outros
Impacto nos produtos
Processamento Tensor
Unidade (TPU)
Aumento de TPUs
aprendizado de máquina
cargas de trabalho em até 30x
em produtos como
Fotos e Gmail.
Edge TPUs podem ser
integrados ao Pixel
telefones,possibilitando
acesso no dispositivo a
Ferramentas de IA sem
uso de internet.
© Momentum Works
Acessível através
Desenvolvido e
implantado
plataforma de nuvem
permite eficiente
Desenvolvimento e
implantação de
aprendizagem de máquinas
aplicações para
negócios,aumentando
acesso à IA para
obter informações e
Solução de problemas.
10,4%
Anúncios do YouTube
Google
Rede
Integrado
Usando o LaMDA do Google
LLM, resposta de Bard
questões
conversacionalmente,
alinhamento com o Google
missão paraorganizar
informações e fazer
é acessível.
0,4%
11,7% 10,3% 9.4%
Google Outros O Google identificou corretamente a IA como
Outros parte integrante de sua missão -organizar as
Google nuvem informações do mundo e torná-las
acessíveis.
Depois de anunciar um“AI-primeiro”
estratégia em 2017, dedicou grandes
recursos ao desenvolvimento de IA. Isto
inventou a rede neural Transformer,
usado por muitos modelos de linguagem
grandes, incluindo GPT. Os próprios LLMs
Bard aprimora a pesquisa do Google também são os maiores e mais
para permanecer competitivo
sofisticados - pelo menos antes do GPT-4.
com Bing e
ChatGPT.It oferece
mais preciso
palavra-chave/tópico No entanto,Google ficou para trás
sugestões,
OpenAI quando o ChatGPT foi lançado
fornecendo novo
informações para
ao público. Há muitas razões de
melhorar liderança, pessoas e organizações por
tomando uma decisão. trás dessa oportunidade perdida. Seria
interessante ver como o Google tenta
recuperar o terreno perdido.
Receitas de publicidade
25
Amazon corre o risco de perder a corrida da nuvem, e a Apple está apostando

Detalhamento da receita (ano fiscal de 2022) Detalhamento da receita (ano fiscal de 2022)

42,8% 3,7% 22,9% 6,9% 15,6% 7,3% 10,2% 7,4% 10,5% 19,8% 52,1%

Lojas online
vendedor terceirizado AWS Publicidades iPad Serviços Iphone
Serviços Mac
Assinaturas Outros vestível es &
Lojas físicas 0,8% Acesso ries

Nuvem
Amazonasinveste em IA generativa desde 2017, desenvolvendo plataformas para
hospedagem e treinamento de modelos. No entanto, está bastante claro que a AWS está
atrás do Google, e agora mais ainda da Microsoft, no suporte à IA.A vantagem da AWS
no uso da nuvem para startups pode diminuirse a IA se tornar uma grande parte do
futuro negócio de nuvem.
Os acordos da AWS com Stability AI e Hugging Face para fornecer plataforma e
hardware para treinamento de grandes modelos de código aberto podem ganhar
espaço no caminho, embora seja difícil dizer se será significativo.
Quanto aocomércio eletrônico e empresas de conteúdo, a IA generativa será uma
grande aumento de produtividade(imagine descrições de produtos e atendimento ao
cliente em diferentes idiomas).
Terminais
A Apple fornece seus serviços de IA com sua parceria com a Stable Diffusion por meio da
integração de modelos CoreML em aplicativos iOS para desenvolvedores. No entanto, ele não
possui recursos de construção de modelo em altas cargas de trabalho - os desenvolvedores que
precisam de melhores recursos precisam procurar em outro lugar.
Devido às suas próprias limitações, eles parecem ter optado por não competir com outras
empresas na construção de modelos. Em vez disso, eles se concentram empossuir (e aprimorar)
os pontos de acesso do consumidor por meio de seus dispositivos.
E, no futuro, modelos ágeis de IA generativa podem ser implantados diretamente em
dispositivos terminais - como recursos de geração de imagem Stable Diffusion que são
muito melhores do que os filtros de câmera atuais. A Apple pode fazer parceria com
outros para oferecer esses recursos e se beneficiar deles.

Todos nós queremos que Siri e Alexa sejam mais inteligentes, não é?

26
© Momentum Works
A Nvidia está coroando novamente, mesmo sem mineração de criptografia, mas a geopolítica será complicada

Divisão da receita OEM e outros

2%
56% 33% 6% 3%
centro de dados Jogos Auto
A Nvidia é um participante importante no
Profissional ecossistema de IA generativa, pois a maior
visualização parte do treinamento LLM e outras tarefas
são realizadas usandoHardware Nvidia
hardware Programas
Compute Unified Device Architecture (CUDA): Uma linguagem (GPUs).
V100:Produzido em 2017. Modelos notáveis de IA de programação desenvolvida pela Nvidia, permitindo computação
treinados nele incluem: GPT3, RoBERTa, DALL-E. paralela em GPUs Nvidia. Essencialmente, uma maneira de A Nvidia também leva umabordagem
“conversar” com a GPU e fazer com que ela faça o que você deseja. de plataformaonde seu software CUDA
A100:Produzido em 2020. Modelos notáveis de IA
e cuDNN (rodando em suas próprias
treinados nele incluem: Stable Diffusion, LLaMA,
GPUs) acelera o processo de
OPT-175B, BLOOM, Megatron-LM, Rede neural profunda CUDA (cuDNN):
Megatron-Turing NLG, etc. aprendizado profundo.
Uma biblioteca acelerada por GPU de primitivas para redes neurais
profundas, consideradas como “blocos de lego” otimizados que
H100:Mais novo, supostamente disponível no primeiro trimestre de 2023. A preocupação com a demanda de GPUs após a
estruturas de aprendizado profundo, como PyTorch e TensorFlow,
Executa pelo menos 9x melhor que o A100 para a maioria das tarefas de IA. queda das criptomoedas em 2022 deu lugar ao
podem usar para construir uma estrutura de aprendizado de
máquina. otimismo à medida que a corrida armamentista
da IA toma forma.
O Departamento de Comércio dos EUA proibiu a exportação de
Esses softwares permitem que os desenvolvedores de DNNconcentre-
esses chips para a China em setembro de 2022, citando segurança
se na construção de seus modelos de aplicativos/IAem vez de Estima-se que a Nvidia tenha aproximadamente
preocupações.
escrever um código personalizado para suas GPUs,economizando 80% de participação no mercado de
tempo e esforço. processadores de IA.

27
© Momentum Works
Gigantes tecnológicos chineses involuídos se juntam à corrida armamentista - eles precisam

Detalhamento da receita (ano fiscal de 2022)

37%
Gestão de clientes (ou seja,
marketing/publicidade)
Embora a China tenha desenvolvido
recursos de IA muito avançados em
30% 34%
Venda direta e outros muitas áreas (por exemplo, segurança
Outras linhas de negócios
pública e recomendação de conteúdo), o

varejo de comércio da china

lançamento do ChatGPT fez muitos
perceberem que sãorealmente atrás na
56% 21% 23%
vanguarda.
Marketing on-line Marketing não on-line iQIYI

Núcleo do Baidu
No verdadeiro estilo chinês, jogadores
A publicidade é um fluxo de receita significativo para Baidu e Alibaba,que não têm escolha a não ser desenvolver seus de grandes tecnologias a startups de IA
próprios recursos semelhantes ao ChatGPT ou correm o risco de ficar para trás da concorrência. existentes (e novas) entraram na
competição para criar“A resposta da
O Baidu está “all-in” em IA desde 2017, contratando o ex-vice-presidente executivo da Microsoft (e principal arquiteto de IA) Qi China ao ChatGPT”. O comum (não
Lu como COO. Lu saiu um ano depois, mas o fundador Robin Li continuou - construindo direção autônoma e modelo de necessariamente correto)
linguagem ERNIE (parâmetros 100b). Como você pode ver,a jornada ainda está longe de ser tranquila: entendimento é que as grandes
tecnologias, especialmenteBaidu e
Alibaba lideram esta corrida.

O senso de urgência é real, sob a

ambiente geopolítico atualentre a
Pressione ERNIE-BOT China e os EUA, onde o último
conferência (16 de março de 2023)
controla os principais modelos de IA
Antecipação Durante Manhã e os chips de IA.
do evento o evento depois
28
© Momentum Works
Pelas lentes da Liderança POP

A corrida de IA entre as grandes ofertas de tecnologiaum estudo de caso muito interessante (e atual).
Como a OpenAI conseguiu isso? Como o Google perdeu a janela, apesar do forte início inicial e dos
recursos fortes? Como a Microsoft encenou um ataque impressionante, quase um raio? A Amazon
também está perdendo o barco para seu serviço de nuvem?

Liderança:A visão e a liderança de Sam Altman - mas, mais importante, seu foco (ele desistiu do cargo
de YC) - são as forças motrizes por trás da OpenAI. Mais impressionante, Satya Nadella conseguiu levar
a gigante Microsoft a adotar totalmente uma tecnologia adjacente, sacrificando até mesmo muitas de
suas próprias iniciativas internas.

Pessoas:As pessoas em posições-chave, incluindo Kevin Scott da Microsoft, bem como Greg
Brockman e Ilya Sutskever da OpenAI, provaram ser vitais para o sucesso desta iniciativa. Vale a
pena notar que dois cofundadores da OpenAI trabalhavam no Google.

Organização:A dependência do Google do negócio de busca e a evitação da dor de cabeça

política criam hesitação/resistência organizacional para a adoção total? Como os líderes da
Microsoft conseguem mover recursos para OpenAI sem forte resistência interna?

Produtos:Um produto focado geralmente é melhor do que um produto maior e mais poderoso. O mesmo
pode ser dito sobre LLMs e ferramentas baseadas em LLM.
POP-Leadership é uma estrutura de estratégia criada por Guoli
Chen, professor de estratégia do INSEAD, e Jianggan Li, CEO
da Momentum Works.

Mais estudos de caso são apresentados em nosso livro“Vendo o invisível

- por trás do empreendimento global dos gigantes tecnológicos
chineses”, qualanalisa experiências, desafios e lições aprendidas
por empresas de tecnologia chinesas.O livro está disponível em
Amazonas(tambem comoáudio-livro).

Fonte: Entrevistas com profissionais da indústria; Pesquisa e insights da Momentum Works

29
© Momentum Works
 mãe ntum Works 2023. Todos os direitos reservados. O material contido
conta neste documento é de propriedade exclusiva da ntum Works.
mãe Qualquer confiança em tal material é feita por sua própria conta e
Usuários' risco.

4. Impacto em t he resto de nós

30
Os trabalhadores do conhecimento estão se tornando dependentes do ChatGPT

Uma enquete da comunidade Momentum Works sobre Muitas pessoas ao nosso redor (e inclusive nós) foramusando
para que usam o ChatGPT ChatGPT regularmente - para uma variedade de tarefas. Veja os
resultados da nossa enquete à esquerda.

No entanto, o fascinante aqui é -ainda não sabemos a

extensão total das tarefas que o ChatGPT pode executar
g
bem. Mais capacidades certamente surgirão.

A OpenAI apresentou um aviso / aviso: “ChatGPT

às vezes escreverespostas plausíveis, mas
incorretas ou sem sentido.”

No entanto,os humanos costumam fazer o mesmo e não

colocam esse aviso.Trabalhadores e gerentes experientes
do conhecimento já aprenderam como navegar por isso e
verificar os fatos por meio de suas relações com a
inteligência humana.

Sem contar queIA generativa aprende e melhora mais

rapidamentedo que muitos de nós.

31
© Momentum Works
Os empregos podem ser substituídos - devemos nos preocupar?

Há muita conversa sobre quais empregos

podem estar em risco por causa do ChatGPT e
Trabalho criativo Tarefas Iterativas
da IA generativa. A sabedoria atual é que
pywriting, e
mais impactado.

er. É importante
criadores de
toda a extensão de s
. Para criativo ou ually
ser capaz de tarefas
complexas
em eram anteriormente

t a trajetória

estou preocupadoӎ

provavelmente melhor substituído por“e daí?". Veja a

próxima página para mais detalhes.

32
© Momentum Works
 Cada revolução de produtividade mata empregos antigos, mas desencadeia novos

Através de cada uma das últimas 4 revoluções industriais,o rápido advento da tecnologia interrompe não apenas empregos, mas setores inteiros. Apesar disso
cada vezempregos (e indústrias) anteriormente não pensados foram criados, ea humanidade se beneficiou do salto de produtividade.

A 2ª indústria
Revolução Industrial Revolução digital Indústria 4.0 A 5ª revolução?
revolução
(1760-1840) (1969 - 2000) (2008 - 2020) (presente)
(1870 - 1914)

Distribuído por Vapor Eletrificação Automação Interconectividade Inteligência artificial

Descoberta científica rápida, Automação, digitalização, Digitalização, IoT, AR e VR,

Os agricultores de subsistência
produção em massa, dispositivos eletrônicos, etc. segurança cibernética, nuvem, tudo o que é
perderam para as fábricas; artesãos
O que linha de montagem, telefone, Trabalhos manuais e repetitivos mobilidade, blockchain e descrito neste relatório
têxteis caseiros para fábricas; barcos
ocorrido e finalmente aviões; perdeu para empregos de TI; aprendizado de máquina; avançar (e mais)
a vela para navios a vapor
surgimento de corporações surgimento de multinacionais automação de postos de trabalho

Equipado com melhor educação e mais informações

do que nossos predecessores, é mais provável quepegar
responsável por nosso próprio destino na onda atual.
33
© Momentum Works
 Então... você quer ser sobrecarregado
pela revolução generativa da IA,
ou tornar-se obsoleto?

© Momentum Works
 Momentum Works 2023. Todos os direitos reservados. O material
contido neste documento é de propriedade exclusiva da Momentum
Works. Qualquer confiança em tal material é feita por conta e risco
dos usuários.

5. Conclusão e o que vem a seguir

35
Conclusão - a corrida armamentista de IA generativa está em andamento, o que afetará todos nós

IA generativa, que usa modelos de aprendizado profundo paracriar conteúdo novo e originalaprendendo com grandes conjuntos de dados nos quais eles
foram treinados,entrou no mainstream em 2022: geradores de imagens DALL-E 2, MidJourney, Stable Diffusion e finalmenteBot de bate-papo baseado em
Large Language Model (LLM) ChatGPT. Em semanas, o ChatGPT acumulou mais de 100 milhões de usuários, muitos deles usando-o regularmente para
pesquisas (pessoais/comerciais), auxílio na redação, codificação e outras funções (até mesmo companheirismo). Abundam as discussões sobre ganhos
importantes de produtividade e possíveis perdas de empregos.

Por trás do salto aparentemente repentino do ChatGPT estavaanos de desenvolvimento em poder de computação, disponibilidade de dados,
algoritmos de processamento de linguagem natural e arquitetura de modelo. A confluência desses fatores tornou possível estruturar, treinar
e ajustar LLMs com centenas de bilhões de parâmetros.

O Google, que anunciou a estratégia “AI first” em 2017, teve uma vantageminventando a rede neural Transformer e treinando o maior
LLM. No entanto, OpenAI, uma startup iniciada e apoiada por nomes conhecidos do Vale do Silício,ganhou este jogoao criar o ChatGPT - o
primeirointerface baseada em LLM boa o suficiente (e segura o suficiente)-para o público. Ointegração de pesquisa e engenharia,
especialmente o foco no último, e o status deuma roupa independente com os recursos de uma grande tecnologia (ou seja, da Microsoft),
são alguns dos principais fatores de sucesso da OpenAI.

Microsoft, que apoiou a OpenAI com $$$ e recursos,é ver o fruto de várias maneiras: integração com seus produtos de produtividade,
hospedagem na nuvem Azure etc. ComoA parceria Microsoft-OpenAI venceu o Google e muitos outros nesta corrida é um estudo de
caso muito relevante sobre liderança, pessoas e organização.

O espaço de IA generativa ainda está evoluindo rapidamente. Em março de 2023, o OpenAI foi lançadoGPT-4no ChatGPT, permitindoentradas
multimodaise demonstrando fortes melhorias de capacidades.O recém-lançado Bard do Google e o ERNIE Bot do Baiduestão atrás masa
corrida armamentista começou. Em 20 anos, estaremos em um mundo muito diferente.

36
© Momentum Works
Perspectivas - o que vem a seguir e como nos mantemos relevantes?

Em meio à melancolia da inflação, aumento das taxas de juros e guerra, o setor de tecnologia precisa de boas notícias para animar os investidores e o
público. O lançamento do ChatGPT acendeu uma nova esperança, entusiasmo e um propósito para muitos praticantes de IA e tecnologia em geral.

O ganho de produtividade é evidente, e em aceleração - ou seja,a nova revolução industrial movida a IA provavelmente já está aqui. Em
cada uma das revoluções industriais anteriores, o aumento da produtividade substituiu empregos e indústrias, mas como resultado novas (e
mais) indústrias e funções foram criadas, emais importante, toda a humanidade vive uma vida melhor.

O mesmo pode ser esperado agora. Muitos empregos e até setores inteiros serão afetados - é importante quecada um de nós encontra maneiras
de ser sobrecarregado, em vez de se tornar obsoleto, por esse avanço. Em contraste com as revoluções industriais anteriores, agora temos a
ferramentas e informações para fazer a(s) escolha(s) certa(s).

A IA generativa se tornará uma moda passageira, como o Web3 parecia ter se transformado? Duvidamos - nossa conclusão para o Web3 no ano
passado foi: como apenas menos de 1% da população interage regularmente comWeb3, ampla adoção pode levar 5 anos, uma década ou até
mais. Em contraste,a adoção do ChatGPT e produtos relacionados é real e sem incentivos econômicos explícitos- começando com a Microsoft,
as grandes tecnologias estãoincorporando recursos de IA generativa em seus produtos usados por bilhões de pessoas. Os dados de uso reais
resultantes levarão a IA generativa a evoluir, continuamente e provavelmente em uma velocidade vertiginosa.

Em seu livro “Clique em atualizar” que resume a transformação cultural da Microsoft, o CEO Satya Nadella identificou três tendências futuras nas
quais a Microsoft estava apostando:realidade mista, inteligência artificial e computação quântica. Cada um levaanos, senão décadas de
desenvolvimento, antes de um avanço que seja bom o suficientepara impulsionar novas melhorias aos trancos e barrancos.

Essas três tendências e outros grandes avanços tecnológicos acabarão convergindo para elevar a humanidade a níveis não conhecidos hoje. Durante
o processo,questões legais, de governança, privacidade e igualdade surgirão e exigirão que diferentes partes interessadas trabalhem juntas
para corrigir.

37
© Momentum Works
 Sobre a Momentum Works

Uma empresa de risco com sede em Cingapura, a Momentum Works constrói, dimensiona e gerencia empreendimentos de tecnologia em todo o mundo emergente.

Também alavancamos nossoPercepções,comunidadeeexperiênciaparainformar,conectarehabilitaro ecossistema de tecnologia/nova economia.

Encontre mais relatórios da Momentum Works em:

Conectar Informar Habilitar
insights.momentum.asia

Inscreva-se no TheLowDown (TLD) para receber nossas atualizações:

thelowdown.momentum.asia

Comunidade Empreendimentos Experiência

Pedido antecipado Vendo o invisível - por trás da tecnologia chinesa

empreendimento global dos gigantes agora na Amazônia !
Percepções

© Momentum Works
 Mais informações e relatórios da Momentum Works

Macro e investimento Comércio eletrônico e entrega de comida y Fintech e bancos digitais Anatomia da empresa Estudos de caso e palestras

E muito mais em:

Insights.momentum.asia
Para insights consultivos/personalizados:
hello@mworks.asia

© Momentum Works
 Palestras Simulações

Informar, envolver e capacitar

equipes e organizações
Aproveitando os insights atuais e a comunidade
para entregar o mais prático/relevante
aprendizados através de um ambiente real/imersivo

experiência

oficinas Programas personalizados

Saiba mais em: momentum.academy

© Momentum Works
 Percepções Comunidade Experiência

Informações | Comunidade | Experiência

Informar, conectar e habilitar tecnologia e

Empreendimentos

nova economia em mercados emergentes

hello@mworks.asia

41