Formação Cientista de Dados com Big Data - Data Science & Analytics

Conteúdo programático

• 1 - Business Intelligence usando o Microsoft Power BI - Analyzing Data with Power BI - MS - PL-300 (Power BI)
  Carga Horária: 24 horas

  Módulo 1: Introdução ao Microsoft Data Analytics

   

  Este módulo explora as diferentes funções no espaço de dados, descreve os importantes papéis e responsabilidades de um analista de dados e descreve os landspaces do portfólio do Power BI;

   

  Lições: Data Analytics e Microsoft Introdução ao Power BI;

   

  Laboratório: Guia de introdução;

   

  Depois de completar este módulo, os você estarão aptos a:;;

   

  Explorar as diferentes funções em dados;

  Identificar as tarefas realizadas por um analista de dados;

  Descrever o cenário de produtos e serviços do Power BI;

  Usar o serviço Power BI

   

  Módulo 2: Preparação de dados no Power BI

   

  Este módulo descreve a identificação e a recuperação de dados de várias fontes de dados. Você também aprenderá as opções de conectividade e armazenamento de dados e entenderá a diferença e as implicações de desempenho de se conectar diretamente aos dados em vez de importá-los.

   

  Lições

  ·         Obter dados de várias fontes

  ·         Otimizar o desempenho

  ·         Resolver erros de dados

   

  Laboratório: Preparação de dados no Power BI Desktop

  ·         Preparar dados

   

  Depois de completar este módulo, os você estará apto a:  

   

  ·         Identificar e recuperar dados de diferentes fontes de dados

  ·         Compreender os métodos de conexão e suas implicações de desempenho

  ·         Otimizar o desempenho de questionário

  ·         Corrigir erros de importação de dados

   

  Módulo 3: Limpar, transformar e carregar dados no Power BI

   

  Este módulo ensina o processo de criação de perfil e compreensão da condição dos dados. Eles aprenderão a identificar anomalias, olhar o tamanho e a forma de seus dados e executar as devidas etapas de limpeza e transformação de dados para preparar os dados para o carregamento no modelo.

   

  Lições

  ·         Modelagem de dados

  ·         Aprimorar a estrutura de dados

  ·         Criação de perfil de dados

  Laboratório: Transformação e carregamento de dados

  ·         Carregamento de dados

  Depois de completar este módulo, os estudantes estarão aptos a:

  ·         Aplicar transformações de formato de dados

  ·         Aprimorar a estrutura dos dados

  ·         Identificar e examinar os dados

  
  

  Módulo 4: Criar um modelo de dados no Power BI 

  
  

  Este módulo ensina os conceitos fundamentais de criação e desenvolvimento de um modelo de dados para desempenho e escalabilidade adequados. Este módulo também ajudará você a entender e solucionar muitos dos problemas comuns de modelagem de dados, incluindo relacionamentos, segurança e desempenho.

   

  Lições  

   

  ·         Introdução à modelagem de dados

  ·         Trabalhando com tabelas

  ·         Dimensões e hierarquias

   

  Laboratório: Modelagem de dados no Power BI Desktop

   

  ·         Criar relações de modelo

  ·         Configurar tabelas

  ·         Analisar a interface do modelo

  ·         Criar medidas rápidas

   

  Laboratório: Modelagem avançada de dados no Power BI Desktop

   

  ·         Configurar relações muitos para muitos

  ·         Aplicar a segurança no nível da linha

   

  Depois de completar este módulo, os você estarão aptos a:

   

  ·         Compreender os fundamentos modelagem de dados

  ·         Definir relações e sua cardinalidade

  ·         Implementar dimensões e hierarquias

  ·         Criar histogramas e classificações

   

  Módulo 5: Criar medidas usando DAX no Power BI

   

  Este módulo apresenta o mundo do DAX e seu verdadeiro poder para aprimorar um modelo. Você aprenderá sobre agregações e os conceitos de medidas, colunas e tabelas calculadas e funções de Time Intelligence para resolver problemas de cálculo e análise de dados.

   

  Lições

   

  ·         Introdução ao DAX

  ·         Contexto de DAX

  ·         Funções DAX avançadas

   

  Laboratório: Introdução ao DAX no Power BI Desktop

  ·         Criar tabelas calculadas

  ·         Criar colunas calculadas

  ·         Criar medidas

   

  Laboratório: Funções DAX avançadas no Power BI Desktop

  ·         Usar a função CALCULATE() para manipular o contexto do filtro

  ·         Usar as funções de Time Intelligence

   

  Depois de completar este módulo, os você estarão aptos a:

  ·         Compreender o DAX

  ·         Usar DAX para fórmulas e expressões simples

  ·         Criar tabelas e medidas calculadas

  ·         Construir medidas simples

  ·         Trabalhar com Time Intelligence e indicadores de desempenho

   

  Módulo 6: Otimizando o desempenho do modelo

   

  Neste módulo, você conhecerá as etapas, processos, conceitos e práticas recomendadas de modelagem de dados necessárias para otimizar um modelo de dados para desempenho em nível corporativo.

  
  

  Lições 

  
  

  ·         Otimizar o modelo para desempenho

  ·         Otimizar modelos DirectQuery

  ·         Criar e gerenciar agregações

   

  Depois de completar este módulo, os vocês estarão aptos a:

   

  ·         Entender a importância das variáveis

  ·         Aprimorar o modelo de dados

  ·         Otimizar o modelo de armazenamento

  ·         Implementar agregações

            

  Módulo 7: Criando relatórios

   

  Este módulo apresenta os conceitos e princípios básicos de desenvolvimento e criação de um relatório, incluindo a seleção de elementos visuais corretos, o design de um layout de página e a aplicação de funcionalidades básicas, porém essenciais. O tópico importante de design para acessibilidade também é abordado.

   

  Lições

  ·         Criar um relatório

  ·         Aprimorar o relatório

   

  Laboratório: Criando um relatório no Power BI

  ·         Criar uma conexão online no Power BI Desktop

  ·         Criar um relatório

  ·         Configurar campos visuais e propriedades de formato

   

  Laboratório: Aprimorando relatórios do Power BI com interação e formatação

  ·         Criar e configurar segmentadores de sincronização

  ·         Criar uma página detalhada Aplicar formatação condicional

  ·         Criar e usar marcadores

   

  Depois de completar este módulo, os você estarão aptos a:

  ·         Criar um layout de página de relatório

  ·         Selecionar e adicionar visualizações eficazes

  ·         Adicionar funcionalidades básicas de relatório

  ·         Adicionar navegação de relatórios e interações

  ·         Melhorar o desempenho do relatório

  ·         Projetar soluções de acessibilidade

  
  

  Módulo 8: Criando painéis

  
  

  Neste módulo você aprenderá a contar uma história envolvente através do uso de painéis e das diferentes ferramentas de navegação disponíveis para fornecer navegação. Você conhecerá os recursos e funcionalidades e como melhorar os painéis para usabilidade e insights.

   

  Lições   

  
  

  ·         Criar um painel

  ·         Painéis em tempo real

  ·         Aprimorar um painel

   

  Laboratório: Criando um relatório no Power BI Desktop - Parte 1 

  
  

  ·         Criar um painel

  ·         Anexar estilos visuais ao painel

  ·         Configurar um alerta de bloco de painel

  ·         Usar perguntas e respostas para criar um painel

   

  Depois de completar este módulo, os estudantes estarão aptos a: 

  
  

  ·         Criar um painel

  ·         Compreender os painéis em tempo real

  ·         Melhorar a usabilidade do painel

   

  Módulo 9: Criar relatórios paginados no Power BI 

   

  Este módulo irá ensiná-lo sobre relatórios paginados, inclusive o que são e como se encaixam no Power BI. Em seguida, você aprenderá a construir e publicar um relatório.

   

  Lições 

  ·         Visão geral do relatório paginado

  ·         Criar relatórios paginados

   

  Laboratório: Criando um relatório paginado

  ·         Usar o Power BI Report Builder

  ·         Criar um layout de relatório de várias páginas

  ·         Definir uma fonte de dados

  ·         Definir um conjunto de dados

  ·         Criar um parâmetro de relatório

  ·         Exportar um relatório para PDF

   

  Depois de completar este módulo, os vocês estarão aptos a: 

  
  

  ·         Explicar os relatórios paginados

  ·         Criar um relatório paginado

  ·         Criar e configurar uma fonte de dados e um conjunto de dados

  ·         Trabalhar com gráficos e tabelas

  ·         Publicar um relatório

   

  Módulo 10: Realizar análises avançadas

   

  Este módulo capacita o estudante a aplicar recursos adicionais para aprimorar o relatório e obter insights analíticos com base nos dados, provendo-o com as etapas que permitem utilizar o relatório na análise de dados propriamente dita. Você também realizará análises avançadas por meio de elementos visuais de IA no relatório para obter insights de dados ainda mais profundos e significativos.

   

  Lições 

  
  

  ·         Análise avançada

  ·         Insights de dados por meio de recursos visuais de IA

   

  Laboratório: Análise de dados no Power BI Desktop

  ·         Criar gráficos de dispersão animados

  ·         Usar elementos visuais para prever valores

  ·         Trabalho com elemento visual Arvore Analítica

  ·         Trabalhar com o elemento visual de influenciadores-chave

   

  Depois de completar este módulo, os você estarão aptos a:

  ·         Explorar resumos estatísticos

  ·         Usar o recurso Analyze

  ·         Identificar exceções em dados

  ·         Realizar análises de série temporal

  ·         Usar elementos visuais de IA

  ·         Use o elemento visual personalizado Análise Avançada

   

  Módulo 11: Criar e gerenciar espaços de trabalho

   

  Este módulo descreverá os espaços de trabalho, incluindo como criá-los e gerenciá-los. Você também aprenderá a compartilhar conteúdo, incluindo relatórios e painéis, e aprenderá a distribuir um aplicativo.

   

  Lições

   

  ·         Criando espaços de trabalho

  ·         Compartilhando e gerenciando ativos

   

  Laboratório: Publicando e compartilhando conteúdo do Power BI

   

  ·         Mapear fundamentos de segurança para funções de conjunto de dados

  ·         Compartilhar um painel

  ·         Publicar um aplicativo

   

  Depois de completar este módulo, os vocês estarão aptos a:

  ·         Criar e gerenciar um espaço de trabalho

  ·         Compreender a colaboração no espaço de trabalho

  ·         Monitorar o uso e o desempenho do espaço de trabalho

  ·         Distribuir um aplicativo

   

  Módulo 12: Gerenciar conjuntos de dados no Power BI

   

  Neste módulo, você aprenderá os conceitos de gerenciamento de ativos do Power BI, incluindo conjuntos de dados e espaços de trabalho. Você também aprenderá a publicar, atualizar e proteger os conjuntos de dados no serviço Power BI.

   

  Lições

  ·         Parâmetros

  ·         Conjuntos de dados

   

  Depois de completar este módulo, os vocês estarão aptos a:

   

  ·         Criar e trabalhar com parâmetros

  ·         Gerenciar conjuntos de dados

  ·         Configurar a atualização do conjunto de dados

  ·         Diagnosticar problemas de conectividade de gateway

   

  Módulo 13: Segurança em nível de linha

  Este módulo ensina as etapas para implementar e configurar a segurança no Power BI para proteção de ativos do Power BI.

   

  Lições

  ·         Segurança do Power BI

   

  Depois de completar este módulo, os você estarão aptos a:

   

  ·         Compreender os aspectos da segurança do Power BI

  ·         Configurar funções de segurança em nível de linha e afiliações de grupos

• 2 - Programando usando Python
  Carga Horária: 32 horas

  Módulo 1 - Python - Visão geral

  Operadores Básicos Python

  Sintaxe Básica Python

  Tipos de variáveis

  Tipos de dados padrão

  Python Strings

  Atualizando strings

  Operador de formatação de string

  Citações Triplas

   

  Módulo 2 - Listas (Lists) de Python

  Excluir elementos da lista

  Operações básicas da lista

  Indexação, fatia(slice) e matrizes (arrays)

  Funções e métodos padrão de lists

   

  Módulo 3 - Tuplas (Tuples) Python

  Excluir elementos da tupla        

  Operações básicas de tuplas

  Indexação, fatia (slice) e arrays

  Funções e métodos padrão de TUPLES

   

  Módulo 4 - Dicionário Python

  Acessando valores no dicionário

  Atualizando dicionário

  Excluir elementos do dicionário

  Propriedades das chaves de dicionário

  Funções internas e métodos de um dicionário

   

  Módulo 5 - Tomada de decisão (if...else)

  O que é a declaração if ... else em Python?

  Módulo 6 ? Loops

  For Loop
  

  A função range ()

  Loop while

   

  Módulo 7 - Date & Time

  O que é Tick?

  O que é o TimeTuple?

  O módulo do calendar

   

  Módulo 8 - Função (Function)

  Definindo uma Função

  Chamando uma função

  Passagem por referência e valor

  Argumentos de Função

  Argumentos de palavras-chave

  Argumentos padrão

  Argumentos de tamanho variável

  Funções anônimas

  Declaração return

  Escopo das Variáveis

   

  Módulo 9 - Files I/O (Manipulação de arquivos)

  Abrindo e fechando arquivos    

  A função open

  O arquivo Object Attributes

  O método close ()

  Lendo e gravando arquivos        

  O método write ()

  O método read ()

  Posições de arquivo

  Renomeando e excluindo arquivos

  Métodos

  rename ()

  remove ()

  mkdir ()

  getcwd ()

  rmdir ()

   

  Módulo 10 ? Módulos

  declaração de importação

  declaração from ... import

  declaração from ... import *

  Executando módulos como scripts

   

  Módulo 11 - Orientação a Objetos com Python

  Classe e Objeto

  Instanciar o que é isso?

  O que é uma classe?

  No contexto Python

  Visão geral da terminologia POO

  Criando Classes

  Criando objetos de instância (Instance Objects)

  Acessando atributos

  Atributos de classe incorporados

  Herança de Classe (Class Inheritance)

   

  Módulo 12 - Expressões Regulares (python regex)

  Importância das Expressões Regulares

  O que são Expressões Regulares e como são usadas?

   métodos de Expressões Regulares

  re.findall(padrão, string)

  re.compile(padrão, string)

   

  Módulo 13 - Python webScraping

  Webscraping usandoPython e Beautiful Soup

  O que é webscraping?

  Primeiros passos para se construir uma aplicação Webscraping

  WebScraping é realmente necessário?

  Utilizando urllib e requests

  Manipulando o HTML

  Definição dos métodos find() / find_all()

  Tratamento de exceções (Handling Exception)

  WebScraping App

  Inspecionando/mapeando o website

  Introdução ao Pandas - criando um dataframe

• 3 - Análise de dados com Python Aplicado a Big Data
  Carga Horária: 24 horas

  Introdução ao Matplotlib

  • Tipos de plotagem

  Seaborn Data Visualization

  • Heat Map (Visualização com mapa de calor)
    • Criando um mapa de calor
    • Mapa de cores sequencial (Sequential colormaps)
    • Seaborn heatmap colorbar

  Numpy

  • NumPy Matriz (Array)
    • Operações de Matrizes
    • Multiplicação de duas matrizes
    • Acessando elementos de uma matriz: colunas e linhas
    • Fatiamento (slicing) de uma matriz np

  Pandas

  • Explorando Dados com Dataframes

    • Ler arquivo Excel
    • Importar arquivo CSV
    • Ler arquivo de texto
    • Aplicar uma função a colunas/linhas
    • Classificar valores/classificar por coluna
    • Contagem de valores únicos
    • Gerar arquivo Excel
    • Gerar arquivo CSV
    • Gerar arquivo HTML

  • Pivot Table em Pandas

    • Acessar os dados
    • "Pivotando" os dados
    • Colunas e valores
    • Filtros avançados
    • GroupBy

  Aprofundando Data Analysis

  • Análise da Distribuição
  • Análise de Variáveis Categóricas
  • Munging de dados com Python: Usando Pandas
    • Analisando grandes volumes de dados
    • Lendo o arquivo
    • Utilizando o Pandas
    • Formatando o resultado
    • Matriz de Correlação
      • Qual é o coeficiente de correlação?
      • Traçando a matriz de correlação
      • Interpretando a matriz de correlação
      • Adicionando título e rótulos ao gráfico
      • Classificando a matriz de correlação
      • Seleção de pares de correlação negativa

  Introdução ao Machine Learning

  • Como iniciar um projeto de aprendizado de máquina em Python

• 4 - Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)
  Carga Horária: 24 horas

  Módulo 1 - Introdução

  Definição

  Histórico - Construção do Conceito

   

  Módulo 2 - Data Lake

  Arquitetura DataWare House tradicional

  Arquitetura Big Data Ware House

   

  Módulo 3 - IoT - Internet das Coisas e Big Data

  Dispositivos ?vestíveis? (wearables)

  Big Data: qual sua relação com a internet das coisas?

   

  Módulo 4 - Ferramentas de Big Data

  Primeira Versões

   

  Módulo 5 - Software Livre e Open Source

  Apache Hadoop Visão geral

  História

   

  Módulo 6 - Características do Hadoop

  Escalável

  Economico

  Eficiente

  Confiável

   

  Módulo 7 - Ecossistema Hadoop

  Ambari

  HBase

  Hive

  Hive Data Warehouse Hadoop

  Sqoop

  Zookeeper        

  Pig

   

  Módulo 8 ? Distribuições

  Casos de Uso Hadoop

   

  Módulo 9 - Modo de Utilização

  SingleMode

  HDFS - Hadoop FileSystem

  HDFS - MapReduce Data Flow   

  HDFS - Arquitetura

  HDFS - Arquitetura

  Map Reduce

  MapReduce X Hadoop  

  YARN ? Yet Another Resource Negotiator

  Fluxo entre Map, Reduce ? Shuffle e Sort

  YARN ?Fluxo de execução do Job

  MapReduce - Função Map

  MapReduce - Função Reduce

  MapReduce no cluster

   

  Módulo 10 - HDP (Hortonworks Data Platform)

  Dados no HDFS

   

  Módulo 11 - Hive ? Introdução ao apache hive

  Data Analytics Studio (DAS)

  Criar tabelas

  Analise de dados

  O que é Hive Lateral View e Como Usá-la

  Explorando o Tez

   

  Módulo 12 - Spark  - analisando fator de risco

  Introdução

  Conceitos

  Noções Básicas Do Apache Spark

  Configurando serviços

   

  Módulo 13 - Relatório De Dados Com Zepelim

  Introdução

  Apache Zeppelin

  Criar Gráficos Usando O Zeppelin

   

  Módulo 14 - Como Processar Dados Com Apache Pig

  Introdução

  O Que É Pig?     

  Apache Pig - Operadores de diagnóstico

  Aplicação Pipeline de Vendas ? usando Pig

   

  Módulo 15 - O Que é Tez?

  Processing task

   

  Módulo 16 - DataFrame e conjunto de dados no Spark REPL

  Introdução

  Conceito

  Implementação