Curso Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)

Módulo 1 - Introdução

Definição

Histórico - Construção do Conceito

Módulo 2 - Data Lake

Arquitetura DataWare House tradicional

Arquitetura Big Data Ware House

Módulo 3 - IoT - Internet das Coisas e Big Data

Dispositivos ?vestíveis? (wearables)

Big Data: qual sua relação com a internet das coisas?

Módulo 4 - Ferramentas de Big Data

Primeira Versões

Módulo 5 - Software Livre e Open Source

Apache Hadoop Visão geral

História

Módulo 6 - Características do Hadoop

Escalável

Economico

Eficiente

Confiável

Módulo 7 - Ecossistema Hadoop

Ambari

HBase

Hive

Hive Data Warehouse Hadoop

Sqoop

Zookeeper        

Pig

Módulo 8 ? Distribuições

Casos de Uso Hadoop

Módulo 9 - Modo de Utilização

SingleMode

HDFS - Hadoop FileSystem

HDFS - MapReduce Data Flow   

HDFS - Arquitetura

HDFS - Arquitetura

Map Reduce

MapReduce X Hadoop  

YARN ? Yet Another Resource Negotiator

Fluxo entre Map, Reduce ? Shuffle e Sort

YARN ?Fluxo de execução do Job

MapReduce - Função Map

MapReduce - Função Reduce

MapReduce no cluster

Módulo 10 - HDP (Hortonworks Data Platform)

Dados no HDFS

Módulo 11 - Hive ? Introdução ao apache hive

Data Analytics Studio (DAS)

Criar tabelas

Analise de dados

O que é Hive Lateral View e Como Usá-la

Explorando o Tez

Módulo 12 - Spark  - analisando fator de risco

Introdução

Conceitos

Noções Básicas Do Apache Spark

Configurando serviços

Módulo 13 - Relatório De Dados Com Zepelim

Introdução

Apache Zeppelin

Criar Gráficos Usando O Zeppelin

Módulo 14 - Como Processar Dados Com Apache Pig

Introdução

O Que É Pig?     

Apache Pig - Operadores de diagnóstico

Aplicação Pipeline de Vendas ? usando Pig

Módulo 15 - O Que é Tez?

Processing task

Módulo 16 - DataFrame e conjunto de dados no Spark REPL

Introdução

Conceito

Implementação