Formação Data Science & Analytics (Cientista de Dados)

Conteúdo programático

• 1 - Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)
  Carga Horária: 24 horas

  Big Data

  • O que é Big Data?
  • Os 4 V's principais do Big Data.
  • O Profissional Cientista de Dados / Data Scientist.
  • Data Lake.
  • Ferramentas de Big Data.

  
  

  Apache Hadoop

  • Visão geral sobre Hadoop - Características do Hadoop - Sistema distribuído de arquivos.
  • Ecosistema Hadoop
  • Quem usa o Hadoop
  • Cases do uso Hadoop
  • Uso de Hadware comum
  • Distribuições do Hadoop

  
  

  HDFS

  • Conceitual HDFS
  • HDFS - Hadoop FileSystem
  • HDFS - MapReduce Data Flow
  • HDFS - Arquitetura
  • Comandos de manipulação do FileSystem
  • Copiando arquivos para o FileSystem
  • Listando arquivos no HDFS
  • Criando e Removendo Diretórios
  • Interface Web do HDFS

  
  

  MapReduce

  • Conceitual Map Reduce
  • MapReduce X Hadoop
  • MapReduce - Função Map
  • MapReduce - Função Reduce
  • Fluxo de Trabalho

  
  

  Introdução ao HDP

  • Arquitetura Sandbox HDP (HortonWorks Data Platform)
  • Conceitos da Plataforma de Dados Hortonworks (HDP).
  • Como processar dados com o Apache Hive
  • Usar o Ambari HDFS para armazenar arquivos de dados
  • Implementação de consultas do Hive para analisar, processar e filtrar dados.
  • O que é Hive Lateral View e como usa-la

  
  

  Carregando e consultando dados com o Hadoop

  • Acessar e analisar dados no sandbox usando asa ferramentas do HDP.

  
  

  Usando as Transações do ACID do Hive para Inserir, Atualizar e Excluir Dados

  • Reprocessamento de pipeline de dados.

  
  

  Consulta Interativa para o Hadoop com o Apache Hive no Apache Tez

  • Usar o Apache Hive e do Apache Tez

  
  

  Apache Spark

  • Aplicando MapReduce utilizando o Apache Spark.

  
  

  Relatório de dados com Apache Zepellin

  • Utilização do Apache Zeppelin

  
  

  Como processar dados com o Apache Pig

  • Implementação de scripts latin pig
  • processar, analisar e manipular os arquivos de dados estatísticos.

  
  

  Spark Streaming

  • Introducao
  • Conceito
  • DStream
  • SparkStreaming Jobs

  
  

  DataFrame e DataSet no Spark REPL

  • Introdução
  • Conceito
  • Configuracao de Ambiente
  • API Dataframe
  • API Dataset

• 2 - Python Foundation
  Carga Horária: 32 horas

  Python Essencial

  • Python - Visão geral
  • Python - Configuração do ambiente
  • Python - Sintaxe básica
  • Python - Tipos de variáveis
  • Python - Operadores básicos
  • Python - Tomada de Decisão
  • Python - Loops
  • Python - Números
  • Python - Strings
  • Python - Listas
  • Python - Tuplas
  • Python - Dicionário
  • Python - Data e hora

  Automação

  • Python - Funções
  • Python – Módulos
  • Python – Files I/O
  • Python - Exceções
  • Python - Classes / Objetos
  • Python - Expressões de Reg

  Desenvolvendo Interface com Python

  • Python - Programação GUI

  Web Scraping com Python

  • Extrair automaticamente grandes quantidades de informações de um site

  Introdução a Analise Exploratoria de Dados

  • O que é Numpy?
  • O que é Pandas?

  
  
  
  

• 3 - Python Aplicado a Big Data - Analisando Dados com Numpy e Pandas
  Carga Horária: 32 horas

  Bibliotecas Python para Análise de Dados  

  • Introducao ao Pandas  e Numpy Python libs

  • Operandocom Numpy e Pandas

  • MatPlotLib

  • Introdução ao Seaborn

  • DataFrames e Series e importar e exportar dados

  • Analise de Perfil de cliente com dados do Mercado de crédito 

  • Análise com Pivot Tables

  • Transformação de conjuntos de dados usando Group By Python + Group By com Base Filtrada

  • Date Time

  • Join - Merge no Python Usando Pandas

  • Conjuntos de dados e tratamento de dados ausentes

  • Analise Exploratoria de dados com dados de perfil de atletas

  • Analise Exploratoria de dados com fluxo de associados ao segmento financeiro

   

  Introdução ao StatesModel

  • Modelos lineares usando as bibliotecas statsmodels e scikit-learn Statsmodels para executar regressão linear em Python

  • Modelagem linear generalizada para adequação de modelos diferentes

  • Regressão Linear Múltipla em Python

   

  Introducao a Modelos de Machine Learning

  • Regressão Logística 

  • Compreendendo dados com visualização 

  • Arvore de decisão

  • Classificação Naive Bayes

  • Floresta Aleatoria

  • Regressao Linear

• 4 - Data Science - Aplicando Deep Learning
  Carga Horária: 32 horas

  Conteudo Programático

  • Ecossistema de Big Data
  • O que é Data Science
  • Competências do Profissional
  • Tecnologias Exponenciais
  • Data Science com Python
  • Bibliotecas Python para Análise de Dados  
  • Numpy & Pandas
  • Comandos para utilização de Numpy e Pandas Python

  • Visualização de Dados 
  • - MatPlotLib

   

  Introducao Análise de Dados Exploratória 

  • Compreendendo dados com estatística
  • Compreendendo dados com visualização
  • Preparando dados
  • Seleção de recursos de dados
  • Algoritmos de Classificação

   

  Algoritmos ML – Clustering

  • visão global
  • Baseado em densidade
  • Baseado em hierarquia
  • Particionamento
  • Grade
  • Medindo o desempenho do cluster

   

  Algoritmo K-Means

  • Introdução ao algoritmo K-Means
  • Trabalhando do algoritmo K-Means
  • Implementação em Python
  • Vantagens e desvantagens
  • Aplicações do algoritmo de agrupamento K-Means

   

  Support Vector Machine(SVM)

  • Introdução ao SVM
  • Trabalhando com SVM
  • Kernels SVM
  • Vantagens e desvantagens

   

  Algoritmo de deslocamento médio

  • Introducao ao Mean-Shift
  • Trabalhanco com o Mean-Shift
  • Implementacao em Python
  • Vantagesn e Desvantagens

   

  Agrupamento hierárquico

  • Introducao ao Clustering Hierarquico
  • Dendogramas

   

  Algoritmos ML - Algoritmo KNN

  • Introducao ao Knn
  • Implementando em Python
  • Vantagens e desvantagens

   

  Métricas de desempenho

  • Matrix Confusion
  • Auc (Area sob a Curva)
  • LogLoss
  • Metricas de desmpenho para problemas de regressão

   

  Fluxos de trabalho automáticos

  • Introducao
  • Desafios relacionadas ao Pipeline dos modelos ML
  • Modelagem ML e preparação dos dados

   

  Melhorando o desempenho dos modelos ML

  • Melhoria de performance com conjuntos
  • Metodos de aprendizagem cm conjuntos
  • Algoritmos de conjunto de boosting
  • Algoritmos de conjunto Voting
  • Performance com algoritmos Tuning 

   

  Predição

  • Criando modelo preditivo 

  Aprendizado de máquina v / s Deep Learning

  Convolutional Neural Network (CNN) 

  Inteligência Artificial

  • Introdução a IA
  • Criando um modelo IA

• 5 - Business Intelligence usando o Microsoft Power BI
  Carga Horária: 24 horas

  O que é o Power BI?

  O Power BI é um serviço de análise de negócios baseado em nuvem que fornece uma exibição única de seus dados de negócios mais críticos. Monitore a integridade de seus negócios usando um painel ativo, crie relatórios interativos completos com o Power BI Desktop e acesse seus dados em qualquer lugar com aplicativos Power BI para Celulares nativos. É fácil, rápido e gratuito.

  Power BI Desktop é um mashup de dados com recursos avançados e uma ferramenta de criação de relatórios. Combine os dados de bancos de dados diferentes, arquivos e serviços Web com ferramentas visuais que ajudam a compreender e corrigir automaticamente problemas na qualidade dos dados e de formatação.

  Módulo 1: Introdução às Soluções de BI de Autoatendimento Introduz inteligência de negócios (BI) e como autoatendimento com o BI.

  • Introdução à business intelligence 
  • Introdução à data analysis 
  • Introdução à visualização de dados 
  • Visão geral do self-service BI 
  • Considerações para o self-service BI 
  • Ferramentas da Microsoft para self-service BI
  • Laboratório: Explorando soluções Enterprise BI solution
  • Visualizar relatórios 
  • Criando Power BI report 
  • Criando Power BI dashboard

  Depois de concluir este módulo, os alunos serão capazes de:

  • Descrever as tendências em BI 
  • Descrever o processo de data analysis no Power BI. 
  • Use as principais visualizações no Power BI. 
  • Descrever a justificativa para self-service BI. 
  • Descrever considerações para self-service BI. 
  • Entenda como você pode usar produtos da Microsoft para implementar um BI solution  

  Módulo 2: Introdução ao Power BI. Este módulo apresenta a área de trabalho do Power BI e explora os recursos que permitem a criação e publicação rápidas de visualizações de dados sofisticadas.

  • Power BI 
  • O Power BI service 

  Laboratório: Criando um painel do Power BI

  Conectando-se aos dados do Power BI 

  Criar um painel do Power BI

   

  Depois de concluir este módulo, os alunos serão capazes de:

  Desenvolva relatórios usando o aplicativo Power BI Desktop. 

  Use itens de relatório para criar painéis no portal do Power BI. 

  Compreender os componentes do serviço do Power BI, incluindo licenciamento e gerenciamento de inquilino.

   

  Módulo 3: No final deste módulo, os alunos serão capazes de explicar as vantagens de usar o Power BI. 

  • Usando o Excel como uma fonte de dados para o Power BI 
  • O modelo de dados do Power BI 
  • Usando bancos de dados como fonte de dados para o Power BI 
  • O serviço do Power BI

  Laboratório: Importando dados para o Power BI

  Importando arquivos do Excel para o Power BI 

  Visualizando relatórios de arquivos do Excel
  
  

  Depois de concluir este módulo, os alunos serão capazes de:

  • Descrever o modelo de dados e saber como otimizar os dados dentro do modelo. 
  • Conectar-se a arquivos do Excel e importe dados 
  • Usar bancos de dados locais e em nuvem do Microsoft SQL Server como fonte de dados, junto com o conector de dados de script R
  • Aproveitar os recursos do Power BI Service usando Perguntas e respostas para fazer perguntas na linguagem de consulta natural e criar pacotes e grupos de conteúdo.

  Módulo 4: Moldando e Combinando dados com Power BI desktop você pode moldar e combinar dados com ferramentas poderosas e em buil-in.

  Este módulo apresenta as ferramentas disponíveis para preparar seus dados e transformá-los em um formulário pronto para geração de relatórios.

  • Consultas da área de trabalho do Power BI 
  • Moldando dados 
  • Combinando dados

  Laboratório: modelando e combinando dados

  • Dados de BI de potência de forma 
  • Combine dados do Power BI

  Depois de concluir este módulo, os alunos serão capazes de:

  • Executar uma série de habilidades de edição de consultas no Power BI 
  • Dados de forma, usando formatação e transformações. 
  • Combine dados juntos de tabelas no seu conjunto de dados.

  Módulo 5: Modelando dados Este módulo descreve como modelar e aprimorar dados. 

  • Relacionamentos
  • Consultas DAX 
  • Cálculos e medidas 

  Laboratório: Modelando Dados

  • Criar relacionamentos 
  • Cálculos 

  Depois de concluir este módulo, os alunos serão capazes de: 

  • Descrever relações entre tabelas de dados. 
  • Entenda a sintaxe do DAX e use as funções do DAX para aprimorar seu conjunto de dados. 
  • Criar colunas calculadas, tabelas e medidas calculadas.

  Módulo 6: Visualização interativa de dados Este módulo descreve como criar e gerenciar visualizações interativas de dados.

  • Criando relatórios do Power BI 
  • Gerenciando uma solução de Power BI

   Laboratório: Criando um relatório do Power BI

  • Conectando-se aos dados do Power BI 
  • Criando relatórios do Power BI 
  • Criando um Dashboard do Power BI 

  Depois de concluir este módulo, os alunos serão capazes de:

  • Use a área de trabalho do Power Bi para criar visualizações interativas de dados. 
  • Gerenciar uma solução de BI de energia. 

  Módulo 7: Conectividade Direta Este módulo descreve várias opções de conectividade usando o Power BI.

  • Cloud data 
  • Conectando Analysis services 

  Laboratório: Conectividade Direta

  • Conectividade direta do desktop do Power BI 
  • Conectividade direta do serviço do Power BI 

  Depois de concluir este módulo, os alunos serão capazes de:

  • Usar a conectividade direta do Power BI para acessar dados no data Warehouse SQL do Azure, além de fontes de dados grandes, como o Hadoop.
  • Usar o Power BI com dados do SQL Server Analysis Services, incluindo os modems do Analysis Services em execução no modo multidimensional.

  Módulo 8: O desenvolvedor API  Este módulo descreve a API do desenvolvedor no Power BI.

  • A API do desenvolvedor 
  • Visuais personalizados 

  Laboratório: usando a API do desenvolvedor

  • Usando views personalizadas 

  Depois de concluir este módulo, os alunos serão capazes de: 

  • Descrever a API do desenvolvedor.
  • Descreva como os desenvolvedores podem usar esta API para criar aplicativos
  • Descreva o processo de registro para novos aplicativos.
  • Liste as etapas para criar visualizações personalizadas.
  • Importe visuais personalizados para o Power BI para uso em relatórios do Power BI.

  Módulo 9: Power BI Mobile

  Os aplicativos móveis do Power BI permitem que você acesse e use as informações do Power BI em um dispositivo móvel, incluindo iOS (iPad, iPhone, iPod Touch, Apple Watch), telefone ou tablet Android e dispositivo Windows 10. Isso significa que, potencialmente, os relatórios do Power BI e os painéis do Power BI criados no Power BI Desktop e o serviço do Power BI podem ser usados em qualquer lugar e a qualquer hora. Os relatórios e painéis do Power BI são projetados para funcionar em um dispositivo móvel sem modificação. No entanto, você também pode criar relatórios otimizados específicos e layouts de relatório para exibição em dispositivos móveis. Os aplicativos móveis do Power BI oferecem suporte ao compartilhamento e anotação de painéis e você pode usar dados do Power BI em dispositivos móveis mesmo quando não está conectado a uma rede. Os alertas e notificações do Power BI também funcionam em todo o serviço do Power BI, incluindo em dispositivos móveis. Os desenvolvedores também podem usar a funcionalidade do Power BI para adicionar visualizações e relatórios a aplicativos da web ou móveis usando o Power BI Embedded, junto com visualizações personalizadas.

  • Aplicativos móveis Power BI
  • Usando o aplicativo móvel Power BI
  • Power BI Embedded
  • Depois de concluir este módulo, os alunos serão capazes de:

  • Crie painéis e relatórios para dispositivos móveis.
  • Use o aplicativo Power BI Mobile.
  • Use o Power BI Embedded para adicionar visualizações e relatórios a aplicativos da web ou móveis.