Formação Data Science & Analytics (Cientista de Dados)

Conteúdo programático

• 1 - Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)
  Carga Horária: 24 horas

  Módulo 1 - Introdução

  Definição

  Histórico - Construção do Conceito

   

  Módulo 2 - Data Lake

  Arquitetura DataWare House tradicional

  Arquitetura Big Data Ware House

   

  Módulo 3 - IoT - Internet das Coisas e Big Data

  Dispositivos ?vestíveis? (wearables)

  Big Data: qual sua relação com a internet das coisas?

   

  Módulo 4 - Ferramentas de Big Data

  Primeira Versões

   

  Módulo 5 - Software Livre e Open Source

  Apache Hadoop Visão geral

  História

   

  Módulo 6 - Características do Hadoop

  Escalável

  Economico

  Eficiente

  Confiável

   

  Módulo 7 - Ecossistema Hadoop

  Ambari

  HBase

  Hive

  Hive Data Warehouse Hadoop

  Sqoop

  Zookeeper        

  Pig

   

  Módulo 8 ? Distribuições

  Casos de Uso Hadoop

   

  Módulo 9 - Modo de Utilização

  SingleMode

  HDFS - Hadoop FileSystem

  HDFS - MapReduce Data Flow   

  HDFS - Arquitetura

  HDFS - Arquitetura

  Map Reduce

  MapReduce X Hadoop  

  YARN ? Yet Another Resource Negotiator

  Fluxo entre Map, Reduce ? Shuffle e Sort

  YARN ?Fluxo de execução do Job

  MapReduce - Função Map

  MapReduce - Função Reduce

  MapReduce no cluster

   

  Módulo 10 - HDP (Hortonworks Data Platform)

  Dados no HDFS

   

  Módulo 11 - Hive ? Introdução ao apache hive

  Data Analytics Studio (DAS)

  Criar tabelas

  Analise de dados

  O que é Hive Lateral View e Como Usá-la

  Explorando o Tez

   

  Módulo 12 - Spark  - analisando fator de risco

  Introdução

  Conceitos

  Noções Básicas Do Apache Spark

  Configurando serviços

   

  Módulo 13 - Relatório De Dados Com Zepelim

  Introdução

  Apache Zeppelin

  Criar Gráficos Usando O Zeppelin

   

  Módulo 14 - Como Processar Dados Com Apache Pig

  Introdução

  O Que É Pig?     

  Apache Pig - Operadores de diagnóstico

  Aplicação Pipeline de Vendas ? usando Pig

   

  Módulo 15 - O Que é Tez?

  Processing task

   

  Módulo 16 - DataFrame e conjunto de dados no Spark REPL

  Introdução

  Conceito

  Implementação

   

• 2 - Python Foundation
  Carga Horária: 32 horas

  Módulo 1 - Python - Visão geral

  Operadores Básicos Python

  Sintaxe Básica Python

  Tipos de variáveis

  Tipos de dados padrão

  Python Strings

  Atualizando strings

  Operador de formatação de string

  Citações Triplas

   

  Módulo 2 - Listas (Lists) de Python

  Excluir elementos da lista

  Operações básicas da lista

  Indexação, fatia(slice) e matrizes (arrays)

  Funções e métodos padrão de lists

   

  Módulo 3 - Tuplas (Tuples) Python

  Excluir elementos da tupla        

  Operações básicas de tuplas

  Indexação, fatia (slice) e arrays

  Funções e métodos padrão de TUPLES

   

  Módulo 4 - Dicionário Python

  Acessando valores no dicionário

  Atualizando dicionário

  Excluir elementos do dicionário

  Propriedades das chaves de dicionário

  Funções internas e métodos de um dicionário

   

  Módulo 5 - Tomada de decisão (if...else)

  O que é a declaração if ... else em Python?

  Módulo 6 ? Loops

  For Loop
  

  A função range ()

  Loop while

   

  Módulo 7 - Date & Time

  O que é Tick?

  O que é o TimeTuple?

  O módulo do calendar

   

  Módulo 8 - Função (Function)

  Definindo uma Função

  Chamando uma função

  Passagem por referência e valor

  Argumentos de Função

  Argumentos de palavras-chave

  Argumentos padrão

  Argumentos de tamanho variável

  Funções anônimas

  Declaração return

  Escopo das Variáveis

   

  Módulo 9 - Files I/O (Manipulação de arquivos)

  Abrindo e fechando arquivos    

  A função open

  O arquivo Object Attributes

  O método close ()

  Lendo e gravando arquivos        

  O método write ()

  O método read ()

  Posições de arquivo

  Renomeando e excluindo arquivos

  Métodos

  rename ()

  remove ()

  mkdir ()

  getcwd ()

  rmdir ()

   

  Módulo 10 ? Módulos

  declaração de importação

  declaração from ... import

  declaração from ... import *

  Executando módulos como scripts

   

  Módulo 11 - Orientação a Objetos com Python

  Classe e Objeto

  Instanciar o que é isso?

  O que é uma classe?

  No contexto Python

  Visão geral da terminologia POO

  Criando Classes

  Criando objetos de instância (Instance Objects)

  Acessando atributos

  Atributos de classe incorporados

  Herança de Classe (Class Inheritance)

   

  Módulo 12 - Expressões Regulares (python regex)

  Importância das Expressões Regulares

  O que são Expressões Regulares e como são usadas?

   métodos de Expressões Regulares

  re.findall(padrão, string)

  re.compile(padrão, string)

   

  Módulo 13 - Python webScraping

  Webscraping usandoPython e Beautiful Soup

  O que é webscraping?

  Primeiros passos para se construir uma aplicação Webscraping

  WebScraping é realmente necessário?

  Utilizando urllib e requests

  Manipulando o HTML

  Definição dos métodos find() / find_all()

  Tratamento de exceções (Handling Exception)

  WebScraping App

  Inspecionando/mapeando o website

  Introdução ao Pandas - criando um dataframe

• 3 - Python Aplicado a Big Data - Analisando Dados com Numpy e Pandas
  Carga Horária: 32 horas

  Introdução ao Matplotlib
  Tipos de plotagem
  Seaborn Data Visualization
  Heat Map (Visualização com mapa de calor)
  Criando um mapa de calor
  Mapa de cores sequencial (Sequential colormaps)
  Seaborn heatmap colorbar
  Numpy
  NumPy Matriz(Array)
  Operações de Matrizes
  Multiplicação de duas matrizes
  Acessando elementos de uma matriz: colunas e linhas
  Fatiamento (slicing) de uma matriz np
  Pandas
  Explorando Dados com Dataframes
  Ler arquivo Excel
  Importar arquivo CSV
  Ler arquivo de texto
  Aplicar uma função a colunas / linhas
  Classificar valores / classificar por coluna
  Contagem de valores únicos
  Gerar arquivo Excel
  Gerar arquivo CSV
  Gerar arquivo HTML
  Pivot Table em Pandas
  Acessar os dados
  “Pivotando” os dados
  Colunas e valores
  Filtros avançados
  GropuBy
  
  Aprofundando Data Analysis
  Análise da Distribuição
  Análise de Variáveis Categóricas
  Munging de dados com Python: Usando Pandas
  Analisando grande volumes de dados
  Lendo o arquivo
  Utilizando o Pandas
  Formatando o resultado
  Matriz de Correlação
  Qual é o coeficiente de correlação?
  Traçando a matriz de correlação
  Interpretando a matriz de correlação
  Adicionando título e rótulos ao gráfico
  Classificando a matriz de correlação
  Seleção de pares de correlação negativa
  Introduçao ao Machine Learning
  Como iniciar um projeto de aprendizado de máquina em Python
  

• 4 - Data Science - Aplicando Deep Learning
  Carga Horária: 32 horas

  Conteudo Programático

  • Ecossistema de Big Data
  • O que é Data Science
  • Competências do Profissional
  • Tecnologias Exponenciais
  • Data Science com Python
  • Bibliotecas Python para Análise de Dados  
  • Numpy & Pandas
  • Comandos para utilização de Numpy e Pandas Python

  • Visualização de Dados 
  • - MatPlotLib

   

  Introducao Análise de Dados Exploratória 

  • Compreendendo dados com estatística
  • Compreendendo dados com visualização
  • Preparando dados
  • Seleção de recursos de dados
  • Algoritmos de Classificação

   

  Algoritmos ML – Clustering

  • visão global
  • Baseado em densidade
  • Baseado em hierarquia
  • Particionamento
  • Grade
  • Medindo o desempenho do cluster

   

  Algoritmo K-Means

  • Introdução ao algoritmo K-Means
  • Trabalhando do algoritmo K-Means
  • Implementação em Python
  • Vantagens e desvantagens
  • Aplicações do algoritmo de agrupamento K-Means

   

  Support Vector Machine(SVM)

  • Introdução ao SVM
  • Trabalhando com SVM
  • Kernels SVM
  • Vantagens e desvantagens

   

  Algoritmo de deslocamento médio

  • Introducao ao Mean-Shift
  • Trabalhanco com o Mean-Shift
  • Implementacao em Python
  • Vantagesn e Desvantagens

   

  Agrupamento hierárquico

  • Introducao ao Clustering Hierarquico
  • Dendogramas

   

  Algoritmos ML - Algoritmo KNN

  • Introducao ao Knn
  • Implementando em Python
  • Vantagens e desvantagens

   

  Métricas de desempenho

  • Matrix Confusion
  • Auc (Area sob a Curva)
  • LogLoss
  • Metricas de desmpenho para problemas de regressão

   

  Fluxos de trabalho automáticos

  • Introducao
  • Desafios relacionadas ao Pipeline dos modelos ML
  • Modelagem ML e preparação dos dados

   

  Melhorando o desempenho dos modelos ML

  • Melhoria de performance com conjuntos
  • Metodos de aprendizagem cm conjuntos
  • Algoritmos de conjunto de boosting
  • Algoritmos de conjunto Voting
  • Performance com algoritmos Tuning 

   

  Predição

  • Criando modelo preditivo 

  Aprendizado de máquina v / s Deep Learning

  Convolutional Neural Network (CNN) 

  Inteligência Artificial

  • Introdução a IA
  • Criando um modelo IA

• 5 - Business Intelligence usando o Microsoft Power BI - MS - Data Analyst Associate (Power BI)
  Carga Horária: 24 horas

  O que é o Power BI?

  O Power BI é um serviço de análise de negócios baseado em nuvem que fornece uma exibição única de seus dados de negócios mais críticos. Monitore a integridade de seus negócios usando um painel ativo, crie relatórios interativos completos com o Power BI Desktop e acesse seus dados em qualquer lugar com aplicativos Power BI para Celulares nativos. É fácil, rápido e gratuito.

  Power BI Desktop é um mashup de dados com recursos avançados e uma ferramenta de criação de relatórios. Combine os dados de bancos de dados diferentes, arquivos e serviços Web com ferramentas visuais que ajudam a compreender e corrigir automaticamente problemas na qualidade dos dados e de formatação.

  Módulo 1: Introdução às Soluções de BI de Autoatendimento Introduz inteligência de negócios (BI) e como autoatendimento com o BI.

  • Introdução à business intelligence 
  • Introdução à data analysis 
  • Introdução à visualização de dados 
  • Visão geral do self-service BI 
  • Considerações para o self-service BI 
  • Ferramentas da Microsoft para self-service BI
  • Laboratório: Explorando soluções Enterprise BI solution
  • Visualizar relatórios 
  • Criando Power BI report 
  • Criando Power BI dashboard

  Depois de concluir este módulo, os alunos serão capazes de:

  • Descrever as tendências em BI 
  • Descrever o processo de data analysis no Power BI. 
  • Use as principais visualizações no Power BI. 
  • Descrever a justificativa para self-service BI. 
  • Descrever considerações para self-service BI. 
  • Entenda como você pode usar produtos da Microsoft para implementar um BI solution  

  Módulo 2: Introdução ao Power BI. Este módulo apresenta a área de trabalho do Power BI e explora os recursos que permitem a criação e publicação rápidas de visualizações de dados sofisticadas.

  • Power BI 
  • O Power BI service 

  Laboratório: Criando um painel do Power BI

  Conectando-se aos dados do Power BI 

  Criar um painel do Power BI

   

  Depois de concluir este módulo, os alunos serão capazes de:

  Desenvolva relatórios usando o aplicativo Power BI Desktop. 

  Use itens de relatório para criar painéis no portal do Power BI. 

  Compreender os componentes do serviço do Power BI, incluindo licenciamento e gerenciamento de inquilino.

   

  Módulo 3: No final deste módulo, os alunos serão capazes de explicar as vantagens de usar o Power BI. 

  • Usando o Excel como uma fonte de dados para o Power BI 
  • O modelo de dados do Power BI 
  • Usando bancos de dados como fonte de dados para o Power BI 
  • O serviço do Power BI

  Laboratório: Importando dados para o Power BI

  Importando arquivos do Excel para o Power BI 

  Visualizando relatórios de arquivos do Excel
  
  

  Depois de concluir este módulo, os alunos serão capazes de:

  • Descrever o modelo de dados e saber como otimizar os dados dentro do modelo. 
  • Conectar-se a arquivos do Excel e importe dados 
  • Usar bancos de dados locais e em nuvem do Microsoft SQL Server como fonte de dados, junto com o conector de dados de script R
  • Aproveitar os recursos do Power BI Service usando Perguntas e respostas para fazer perguntas na linguagem de consulta natural e criar pacotes e grupos de conteúdo.

  Módulo 4: Moldando e Combinando dados com Power BI desktop você pode moldar e combinar dados com ferramentas poderosas e em buil-in.

  Este módulo apresenta as ferramentas disponíveis para preparar seus dados e transformá-los em um formulário pronto para geração de relatórios.

  • Consultas da área de trabalho do Power BI 
  • Moldando dados 
  • Combinando dados

  Laboratório: modelando e combinando dados

  • Dados de BI de potência de forma 
  • Combine dados do Power BI

  Depois de concluir este módulo, os alunos serão capazes de:

  • Executar uma série de habilidades de edição de consultas no Power BI 
  • Dados de forma, usando formatação e transformações. 
  • Combine dados juntos de tabelas no seu conjunto de dados.

  Módulo 5: Modelando dados Este módulo descreve como modelar e aprimorar dados. 

  • Relacionamentos
  • Consultas DAX 
  • Cálculos e medidas 

  Laboratório: Modelando Dados

  • Criar relacionamentos 
  • Cálculos 

  Depois de concluir este módulo, os alunos serão capazes de: 

  • Descrever relações entre tabelas de dados. 
  • Entenda a sintaxe do DAX e use as funções do DAX para aprimorar seu conjunto de dados. 
  • Criar colunas calculadas, tabelas e medidas calculadas.

  Módulo 6: Visualização interativa de dados Este módulo descreve como criar e gerenciar visualizações interativas de dados.

  • Criando relatórios do Power BI 
  • Gerenciando uma solução de Power BI

   Laboratório: Criando um relatório do Power BI

  • Conectando-se aos dados do Power BI 
  • Criando relatórios do Power BI 
  • Criando um Dashboard do Power BI 

  Depois de concluir este módulo, os alunos serão capazes de:

  • Use a área de trabalho do Power Bi para criar visualizações interativas de dados. 
  • Gerenciar uma solução de BI de energia. 

  Módulo 7: Conectividade Direta Este módulo descreve várias opções de conectividade usando o Power BI.

  • Cloud data 
  • Conectando Analysis services 

  Laboratório: Conectividade Direta

  • Conectividade direta do desktop do Power BI 
  • Conectividade direta do serviço do Power BI 

  Depois de concluir este módulo, os alunos serão capazes de:

  • Usar a conectividade direta do Power BI para acessar dados no data Warehouse SQL do Azure, além de fontes de dados grandes, como o Hadoop.
  • Usar o Power BI com dados do SQL Server Analysis Services, incluindo os modems do Analysis Services em execução no modo multidimensional.

  Módulo 8: O desenvolvedor API  Este módulo descreve a API do desenvolvedor no Power BI.

  • A API do desenvolvedor 
  • Visuais personalizados 

  Laboratório: usando a API do desenvolvedor

  • Usando views personalizadas 

  Depois de concluir este módulo, os alunos serão capazes de: 

  • Descrever a API do desenvolvedor.
  • Descreva como os desenvolvedores podem usar esta API para criar aplicativos
  • Descreva o processo de registro para novos aplicativos.
  • Liste as etapas para criar visualizações personalizadas.
  • Importe visuais personalizados para o Power BI para uso em relatórios do Power BI.

  Módulo 9: Power BI Mobile

  Os aplicativos móveis do Power BI permitem que você acesse e use as informações do Power BI em um dispositivo móvel, incluindo iOS (iPad, iPhone, iPod Touch, Apple Watch), telefone ou tablet Android e dispositivo Windows 10. Isso significa que, potencialmente, os relatórios do Power BI e os painéis do Power BI criados no Power BI Desktop e o serviço do Power BI podem ser usados em qualquer lugar e a qualquer hora. Os relatórios e painéis do Power BI são projetados para funcionar em um dispositivo móvel sem modificação. No entanto, você também pode criar relatórios otimizados específicos e layouts de relatório para exibição em dispositivos móveis. Os aplicativos móveis do Power BI oferecem suporte ao compartilhamento e anotação de painéis e você pode usar dados do Power BI em dispositivos móveis mesmo quando não está conectado a uma rede. Os alertas e notificações do Power BI também funcionam em todo o serviço do Power BI, incluindo em dispositivos móveis. Os desenvolvedores também podem usar a funcionalidade do Power BI para adicionar visualizações e relatórios a aplicativos da web ou móveis usando o Power BI Embedded, junto com visualizações personalizadas.

  • Aplicativos móveis Power BI
  • Usando o aplicativo móvel Power BI
  • Power BI Embedded
  • Depois de concluir este módulo, os alunos serão capazes de:

  • Crie painéis e relatórios para dispositivos móveis.
  • Use o aplicativo Power BI Mobile.
  • Use o Power BI Embedded para adicionar visualizações e relatórios a aplicativos da web ou móveis.