Data Science & Big Data

Hands On - I
HDFS
 Hands On-HDFS
▪ Web HDFS
▪ Command Line
 Hands On-HDFS
▪ Documentation
– Versão 3.2.1
 Hands On-HDFS
▪ HDFS
– Commands
 Hands On-HDFS
▪ HDFS
– Commands
 Hands On-HDFS
▪ Listar o conteúdo no Linux
 Hands On-HDFS
▪ Listar o conteúdo no HDFS

▪ Mas por que não listou o conteúdo do

diretório?
 Hands On-HDFS
▪ Listar o conteúdo no HDFS
 Hands On-HDFS
▪ Troubleshoot do HDFS
 Hands On-HDFS
▪ Troubleshoot do HDFS
 Hands On-HDFS
▪ Troubleshoot do HDFS (Formatar o HDFS)

▪ OBS: Para formatar é necessário parar serviço do HDFS

 Hands On-HDFS
▪ Troubleshoot do HDFS (Limpar o /tmp) – Diretório hadoop-
hadoop
 Hands On-HDFS
▪ Criar diretório no Linux

▪ Criar diretório no HDFS

 Hands On-HDFS
▪ Criar diretório no HDFS
 Hands On-HDFS
▪ Copiar arquivo para o HDFS

▪ Criar um arquivo

▪ Copiar para o HDFS

▪ Ler o diretório
 Hands On-HDFS
▪ Copiar do HDFS para o S.O
 Hands On-HDFS
▪ Acessar o namenode pelo browser:
▪ http://localhost:9870
 Hands On-HDFS
▪ Arquivo onde o namenode armazena as informações do HDFS
 Hands On-HDFS
▪ Os arquivos edits* e fsimage* armazenam as informações de tudo
que é gerenciado pelo namenode como informações dos datanodes,
dos blocos , espaço utilizado e etc.
▪ Os metadados estão todos gravados no namenode.
 Hands On-HDFS
▪ Se o namenode não receber de tempos em tempos o relatório de
blocos do datanode o namenode irá desconsiderá-lo.
 Hands On-HDFS
▪ Informações sobre o startup
 Hands On-HDFS
▪ Utilities
– Browse the file system
 Hands On-HDFS
▪ Navegando pelo HDFS
 Hands On-HDFS
▪ Note que o HDFS não é um sistema de arquivo ideal para arquivos
pequenos. O ideal é ter poucos arquivo com tamanhos de terabytes.
 Hands On-HDFS
▪ Manipulando um arquivo grande no HDFS.
▪ Acesse o site: https://grouplens.org/ Nela há alguns datasets de
avaliações sobre filmes
 Hands On-HDFS
▪ Acesse a opção datasets
▪ Baixe o arquivo ml-25m.zip
▪ wget http://files.grouplens.org/datasets/movielens/ml-25m.zip
 Hands On-HDFS
▪ Copie o arquivo ml-25m.zip para o HDFS
 Hands On-HDFS
▪ Informações de armazenamento
 Hands On-HDFS
▪ Report de Armazenamento
 Hands On-HDFS
▪ Report de Armazenamento via linha de comando