Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)

Carga horária: 16 horas
Formato: online_ou_presencial
Investimento: R$ 1.590,00
Parcelamento: 12x de R$ 132,50

Sobre o curso

Domine a arte de processar grandes volumes de dados com nosso curso exclusivo "Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)". Em 24 horas focadas e práticas, você será imerso no universo do Big Data, aprendendo a manipular e analisar informações de forma eficiente e escalável utilizando uma das distribuições mais robustas do mercado: o HortonWorks (HDP). Este treinamento abrangente foi cuidadosamente elaborado para profissionais e estudantes das áreas de BI, Big Data e Data Science que buscam um diferencial competitivo. Seja você um analista de dados, cientista de dados, desenvolvedor ou arquiteto de dados, este curso é o passo decisivo para impulsionar sua carreira. Nossos instrutores, especialistas no assunto, guiarão você por conceitos fundamentais do Hadoop, MapReduce, HDFS, YARN e outros componentes essenciais do ecossistema HDP. Através de exemplos práticos e laboratórios interativos, você desenvolverá habilidades para configurar ambientes, gerenciar clusters, otimizar queries e solucionar desafios reais de processamento de dados massivos. Ao final do curso, você estará apto a projetar e implementar soluções de Big Data, extrair insights valiosos e tomar…

Objetivos

"Compreender os conceitos fundamentais do Big Data e o papel do ecossistema Hadoop.","Instalar e configurar um ambiente de desenvolvimento com Hortonworks Data Platform (HDP).","Dominar o Amazon S3 para armazenamento de dados e o HDFS para armazenamento distribuído e tolerância a falhas.","Utilizar YARN para gerenciamento de recursos e agendamento de tarefas em cluster Hadoop.","Aprender a processar e analisar dados em larga escala com ferramentas como Apache Hive, Pig e Spark no HDP.","Desenvolver e otimizar pipelines de ETL (Extração, Transformação e Carga) para Big Data.","Configurar e monitorar clusters HDP usando ferramentas como Apache Ambari."

Conteúdo programático

Módulo 1: Introdução ao Big Data e Hadoop - Entendendo o Big Data: Conceitos, V's do Big Data, Desafios e Oportunidades - O Ecossistema Hadoop: Visão Geral e Componentes Principais - Hortonworks Data Platform (HDP): Arquitetura e Vantagens - Cenários de Uso do Hadoop no Mercado Módulo 2: Configuração e Gerenciamento do HDP - Instalação e Configuração de um Ambiente HDP (Ambari) - Gerenciamento de Cluster com Apache Ambari - Conceitos de Máquinas Virtuais e Contêineres para HDP - Monitoramento e Resolução de Problemas no HDP Módulo 3: Armazenamento Distribuído com HDFS e S3 - Fundamentos do Hadoop Distributed File System (HDFS) - Arquitetura HDFS: NameNode, DataNode, Secondary NameNode - Operações Básicas no HDFS (comandos via CLI) - Replicação de Dados e Tolerância a Falhas - Integração e Uso do Amazon S3 como camada de armazenamento no ecossistema Hadoop - Melhores Práticas para Armazenamento de Dados em HDFS Módulo 4: Gerenciamento de Recursos com YARN - YARN: Yet Another Resource Negotiator - Arquitetura YARN: ResourceManager, NodeManager, ApplicationMaster - Gerenciando Recursos e Agendando Aplicações no YARN - Como o YARN Otimiza o Processamento de Big Data Módulo 5: Processamento de Dados com Apache Hive - Introdução ao Apache Hive: Data Warehouse para Hadoop - Hive Query Language (HQL): Consultas e Manipulação de Dados - Tipos de Tabelas no Hive (Managed, External) - Particionamento e Bucketing para Otimização de Consultas - Funções Definidas pelo Usuário (UDFs) em Hive Módulo 6: Scripting e ETL com Apache Pig - Introdução ao Apache Pig: Plataforma para Análise de D…

Público-alvo

Este curso é ideal para engenheiros de dados, cientistas de dados, analistas de BI, arquitetos de Big Data e desenvolvedores que buscam aprimorar suas habilidades no processamento de dados em larga escala. Profissionais com alguma experiência em programação (preferencialmente Python, Java ou Scala) e familiaridade com conceitos básicos de bancos de dados relacional e não-relacional serão particularmente beneficiados. É recomendado para aqueles que desejam trabalhar com plataformas on-premise ou híbridas para Big Data, utilizando uma das distribuições mais populares do Hadoop.

Pré-requisitos

"Conhecimento básico em sistemas operacionais Linux (comandos básicos de terminal).","Familiaridade com conceitos de bancos de dados (SQL é um diferencial).","Lógica de programação (conhecimento em Python, Java ou Scala é útil, mas não obrigatório).","Noções sobre conceitos de redes e hardware (para entender a arquitetura de cluster)."