Data Science Academy lucianofrodrigues@bb.com.

br 5d308f145e4cdee3568b4584

www.datascienceacademy.com.br

Big Data Analytics com R e Microsoft Azure

Machine Learning

Base de Conhecimento
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

1 - Quais as versões recomendadas dos softwares Python, Java e Spark para esse curso?

R: Recomendamos a versão JDK 11, R versão 3.6.3 e RTools35 (Se usar o SO Windows):

1 - Java JDK 11
https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html

2 - R for Windows 3.6.3:

https://cran.r-project.org/bin/windows/base/old/3.6.3/R-3.6.3-win.exe

3 - RTools35.
https://cran.r-project.org/bin/windows/Rtools/Rtools35.exe

Recomendamos seguir essas versões para não ter problemas na utilização de alguns pacotes
em específicos, além de garantir a reprodutibilidades em nossos scripts e projetos.

2 - Link do serviço Azure ML (o mesmo utilizado no curso e que não precisa de cadastro na
plataforma).

R: Acesse por esse link:

https://studio.azureml.net/

3 - Erro de importação do arquivo por não ter definido o diretório de trabalho (Para conferir o
erro em detalhes e como tratar, basta analisar a imagem a seguir).

R:

Data Science Academy 2

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

4 - Erro na execução do pacote ggmap - Google now requires an API key.

See ?register_google for details

(Para conferir em detalhes como solucionar o erro, basta analisar a imagem a seguir).

5 - Erro in plot.new() - Figure margins too large (Para conferir em detalhes como solucionar o
erro, basta analisar a imagem a seguir).

R:

Data Science Academy 3

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

6 - Problema de Enconding UTF-8 - palavras com acentuações ficam desconfiguradas no

RStudio.

R: No RStudio vá até o menu superior e então clique em Tools >> Global Options >> Code >>
Saving

Altere >> "Default Text enconding" para: UTF-8

Clique em Apply > Ok

Data Science Academy 4

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

7 - Erro ao converter o arquivo Arquivo Prevendo Despesas Hospitalares RMD em PDF - LaTeX
falhou ao compilar PrevendoDespesasHospitalares.tex (Para conferir em detalhes como
solucionar o erro, basta analisar a imagem a seguir).

R:

Links úteis:
https://miktex.org/download
https://yihui.name/tinytex (se necessário)

8 - Erro ao instalar o pacote RMongoDB - Error in install_github("mongosoup/rmongodb",

force = TRUE).Could nod find function ("install_github")

R: O erro indica que não conseguiu encontrar a função install_github. Tenta instalar nessa
sequência:
install.packages("devtools")
library("devtools")
install_github("mongosoup/rmongodb", force = TRUE)
library(rmongodb)

Se não funcionar, tente assim:]

install.packages("devtools")
library("devtools")
install_github("Rmongo", "tc").

Data Science Academy 5

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

9 - Erro ao usar a função read.xlsx - Error in .jcall(cell, "I", "getCellType") :

method getCellType with signature ()I not found.

R: Provavelmente a versão usada da biblioteca está provocando incompatibilidades com outras

bibliotecas. Execute o comando a seguir para baixar uma versão mais estável da biblioteca e
realize os testes novamente.
!pip install matplotlib-3.3.3-cp37-cp37m-win_amd64.whl

9 - Erro na interação do Spark SQL com o MongoDB - dados =

spark.read.format("com.mongodb.spark.sql.DefaultSource").load()

R:Esse script em específico funciona apenas com a versão JDK 1.8. Muitos alunos relataram
problemas com a versão 11 do JDK.

Caso você obtenha erro ainda nesse comando, você pode substituí-lo por esse comando abaixo:

df3 <- read_excel("UrbanPop.xlsx", sheet = 1)

Lembre-se de que antes de executar o comando acima, é necessário executar o comando

library(readxl), para carregar novamente o pacote.

Ambos os pacotes têm funcionalidade similar. Você pode utilizar esse e dar prosseguimento no
curso.

10 - Erro ao baixar o arquivo TemperaturasGlobais.zip, referente ao Cap03 - exercício 02Big

Data na Prática1.R.

R: Faça o download do arquivo zip no link a seguir e descompacte na mesma pasta onde está
este script.

https://drive.google.com/open?id=1nSwP3Y0V7gncbnG_DccNhrTRxmUNqMqa

11 - Instalação dos pacotes Tidyr, Tibble e Rlang no Azure ML (caso tenha problemas para
instalar os pacotes no Azure, siga as instruções abaixo):

Data Science Academy 6

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

O problema que acontece é que o Azure espera versões específicas de tais pacotes. Abaixo,
você encontra um link que pode utilizar para baixar os três pacotes, nessas respectivas versões
e não ter problema para importá-los no Azure.

https://drive.google.com/file/d/1gInMxEjbnBI6t2VidQGPcKFAJfXXtiyJ/view

12 - Instalação dos Pacotes Psych E Mnormt no R 3.6 (caso tenha problemas para instalar os
pacotes no R, siga as instruções abaixo):

Data Science Academy 7

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

R:

Os dois pacotes foram atualizados no repositório Cran e ao baixá-los por meio do

install.packages, eles estão automaticamente padronizados para a versão 4.0. Uma dica para
instalar os pacotes é utilizar a versão anterior de cada pacote, baixá-lo e instalar manualmente
no RStudio. No link abaixo, você encontra as versões específicas para utilizar na versão 3.6 do R.

https://drive.google.com/file/d/19lv7jE3KNT8GFpQilwK32GzU5yqI9xDL/view?usp=sharing

Em seguida, com o RStudio aberto, clique no menu Tools > Install Package. Na opção Install
from, mude a opção para Package Archive File e depois clique no botão Browse e selecione
primeiro, o arquivo mnormt_1.5-7.zip e clique em Install e depois faça o procedimento
novamente com o arquivo psych_1.9.12.31.zip.

Data Science Academy 8

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

13 - Erro ao tentar executar o gráfico Volcano no RStudio - "WebGL is not supported by your
browser - visit https://get.webgl.org for more info" .

R: Caso o exemplo funcione no navegador e não funciona no RStudio, provavelmente aversão

que você está usando do RStudio está com problemas de compatibilidade com o WebGL. Caso
seja importante a reprodução desse laboratório no RStudio, experimenta testar instalar outra
versão do RStudio. Use o link a seguir para baixar outra versão:

https://rstudio.com/products/rstudio/older-versions/

14 - Integração R com MySQL, ao usar o comando ?src_mysql, retorna que a função está
deprecated.

R: Uma alternativa para garantir a reproducibilidade do script com suporte do pacote, é usar o
comando abaixo que apresenta comportamento similar ao comando anterior:
con2 <- DBI::dbConnect(MySQL(), user = "root", password = "dsa1234", dbname =
"titanicDB", host = "localhost")

15 - Erro conectar a segunda entrada do componente Evaluate Model do Azure ML, referente
ao capítulo 14 do curso - Error 0024: There is no label column in "Scored dataset to compare".

R: Pode remover esse último componente Evaluate Model. Você vai notar que na próxima aula,
onde o experimento é executado, o componente é removido e então, você conseguirá executar
o experimento sem erros.

16 - Erro na instalação do pacote dbplyr - retornado erro relacionado ao fato de que o pacote
foi alocado ao namespace do pacote dplyr.

R: Embora o carregamento do pacote seja feito apenas com o dplyr, o dbplyr precisa ser
instalado. Tente a instalação com um dos dois métodos:

Método 1:

install.packages("tidyverse")
# Alternatively, install just dbplyr:
install.packages("dbplyr")

Método 2:

# install.packages("devtools")
devtools::install_github("tidyverse/dbplyr")

Data Science Academy 9

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

17 - Erro ao executar o Big Data na Prática 3 - "Erro: objeto 'season' não encontrado
Run `rlang::last_error()` to see where the error occurred."

R:Para executar o Big Data na Prática 3, abra o RConsole e execute:

source(“nome_script.R”).

Para mais detalhes, acesse o item de aprendizagem com o nome Alerta para Usuários Windows.

18 - Pacote não está disponível na versão 3.6 do R, ao baixar diretamente do CRAN.

R: Esse comportamento tem se padronizado com alguns pacotes. Nesse caso, pode ser baixado
e instalado o pacote manualmente. Vá até o link do referido pacote e baixe a versão r-oldrel
desse pacote. Essa versão terá compatibilidade com a versão 3.6 do R. Depois vá até o RStudio
e no menu Tools, selecione o item Install Packages, escolha a opção Download Zip e selecione o
pacote que você baixou.

19 - Erro ao trabalhar com datas - as.Date('28 June, 2018', format='%d %B, %Y'), o o R está me
retornando NA.

R: Em geral esse erro acontece por causa da localidade que é configurada no RStudio e que está
diferente do que é esperado no tipo do dado.

Existe algumas formas de resolver esse erro:

l Troque June por Junho.
l Definir o locale default dos EUA e depois execute o comando novamente:
Sys.setlocale("LC_TIME","English").
l Definir o locale na chamada da função as.Date:
as.Date("28 June 2018", format = "%d %B %Y", locale="en_US.UTF-8").

20 - Erro ao usar o comando setwd(), por conta da utilização das barras - Erro: '\D' é uma
sequência de escape não reconhecida na cadeia de caracteres começando com ""C:\D".

R: No Windows, é possível usar a função com duas formas diferentes, em relação a utilização de
barras.

setwd("C:\\DSA_FCD\\BigDataRAzure\\Cap02")
ou
setwd("C:/DSA_FCD/BigDataRAzure/Cap02")

Data Science Academy 10

www.datascienceacademy.com.br
 Data Science Academy lucianofrodrigues@bb.com.br 5d308f145e4cdee3568b4584

Microsoft Power BI Para Data Science, Versão 2.0

21 - Erro ao instalar o pacote XML no R - package ‘XML’ is not available (for R version 3.6.3).

R: Instale usando o comando a seguir e realize os testes.

install.packages("XML", type = "binary")

Data Science Academy 11

www.datascienceacademy.com.br