Curso Big Data usando Hadoop

1. Home
2. Cursos BI, Big Data
3. Big Data usando Hadoop

Objetivo do Curso de Big Data usando Hadoop:

O que é Big data e Hadoop?

Hadoop é uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai sendo construído por uma comunidade de contribuidores e utilizando a linguagem de programação Java. O Yahoo! tem sido o maior contribuidor do projeto, utilizando essa plataforma intensivamente em seus negócios.

O framework do Apache Hadoop é composto dos módulos seguintes na versão 2.2.x:

Hadoop Common - Contém as bibliotecas e arquivos comuns e necessários para todos os módulos Hadoop.

Hadoop Distributed File System (HDFS) - Sistema de arquivos distribuído que armazena dados em máquinas dentro do cluster, sob demanda, permitindo uma largura de banda muito grande em todo o cluster.

Hadoop Yarn - Trata-se de uma plataforma de gerenciamento de recursos responsável pelo gerenciamento dos recursos computacionais em cluster, assim como pelo agendamento dos recursos.

Hadoop MapReduce - Modelo de programação para processamento em larga escala.

Todos os módulos do Hadoop são desenhados com a premissa fundamental de que falhas em hardware são comuns, sejam elas máquinas individuais ou um conjunto inteiro de máquinas em racks, e devem portanto ser automaticamente tratadas por software pelo framework.

Adicionalmente, os maiores fornecedores e integradores de plataformas de TI do mundo também disponibilizam Hadoop como solução de plataforma

No segundo semestre de 2014 a versão mais recente disponível era 2.5.1. Mesmo assim, a versão declarada como estável mais recente é 1.2.1, e é a versão recomendada por frameworks que se utilizam da plataforma como o Mahout versão 0.9 mesmo tendo suporte para as versões 2.x.x.

• Turnos

  NOTURNO

• Duração

  24 horas

• Formatos

  Presencial

  Online ao Vivo

• Apostila Digital

  Idioma: Português ou Inglês

  Sujeito a alteração sem aviso prévio

• Conteúdo Programático:

  Conceitual Big Data

  • O que é Big Data?
  • Os 4 V's principais do Big Data.
  • O Profissional Cientista de Dados / Data Scientist.
  • Data Lake.
  • IoT - Internet das Coisa e Big Data.
  • Ferramentas de Big Data.
  • Software Livre e Open Source

  
  

  Conceitual Apache Hadoop

  • Visão geral sobre Hadoop
  • Características do Hadoop
  • Sistema distribuído de arquivos.
  • Ecosistema Hadoop
  • Quem usa o Hadoop
  • Cases do uso Hadoop
  • Uso de Hadware comum
  • Distribuições do Hadoop

  
  

  Instalação do Apache Hadoop

  • Requisitos de Instalação
  • Adquirindo os pacotes de Instalação
  • Modo de Instalação ( SingleCluster, DistribuidMode )
  • Configuração do Ambiente de Rede
  • Configurando Yarn.
  • Criando diretórios físicos para o Filesystem
  • Formatação do FileSystem
  • Iniciaizando Serviços
  • Iniciando o cluster com seus nós
  • Testando Processos ativos

  
  

  HDFS

  • Conceitual HDFS
  • HDFS - Hadoop FileSystem
  • HDFS - MapReduce Data Flow
  • HDFS - Arquitetura
  • Comandos de manipulação do FileSystem
  • Copiando arquivos para o FileSystem
  • Listando arquivos no HDFS
  • Criando e Removendo Diretórios
  • Interface Web do HDFS

  
  

  MapReduce

  • Conceitual Map Reduce
  • MapReduce X Hadoop
  • MapReduce - Função Map
  • MapReduce - Função Reduce
  • Fluxo de Trabalho
  • Executando um MapReduce
  • MapReduce no cluster
  • Configurando a IDE Eclipse para MapReduce
  • Criando um novo MapReduce

  
  

  CDH - Cloudera Hadoop

  • Usando a Distribuição Cloudera
  • Componentes do CDH
  • Cloudera Hadoop X Apache Hadoop
  • Interface de gerenciamento Web ( Hue )

  
  

  Introdução a outras ferramentas de trabalho

  • Hortonworks
  • Apache Mahout
  • Hbase - Banco de dados distribuído orientado a coluna
  • Pig - Plataforma de alto nível para a criação de programas MapReduce
  • Hive - uma infraestrutura de data warehouse sobre o Hadoop
  • Apache Cassandra - Banco de dados distribuído altamente escalável de segunda geração
  • Apache Sqoop
  • Pentaho Data Integration e Hadoop

• Pré-Requisito:

  Lógica de programação

  Conhecimento básico de banco de dados