Big Data XYZ

Bem-vindo ao Big Data XYZ! Este repositório contém tudo o que você precisa para configurar, desenvolver e implementar um ambiente de Big Data XYZ.

Sumário

• Big Data XYZ
  • Sumário
  • Requisitos
  • Instalação
    • Pré-requisitos
    • Passo a Passo de Instalação
  • Configuração do Kubernetes
    • k3d/k3s
    • Kubectl
  • Desenvolvimento com VSCode
    • Extensões Recomendadas
    • Debugando Aplicações
  • Integração e Entrega Contínua (CI/CD)
    • Configuração do Git
    • Pipeline de CI/CD
  • Estrutura do Projeto
  • Uso
  • Contribuição
  • Licença

Requisitos

Para utilizar este projeto, você precisará dos seguintes componentes:

• Sistema Operacional compatível com Docker
  • Windows
    • Windows 10/11
    • WSL2
    • Windows Terminal
  • Linux
    • Ubuntu ou similar
• Git
• Docker
• k3d/k3s
• Kubectl
• VSCode

Instalação

Pré-requisitos

Antes de iniciar a instalação, certifique-se de ter os seguintes pré-requisitos instalados:

• Instalação do WSL2 (Somente Windows)
• Instalação do Windows Terminal (Somente Windows)
• Instalação do Git

Passo a Passo de Instalação

1. Clone o repositório:

   git clone https://github.com/murilorodelli/dataops.git
   cd dataops

2. Configure o ambiente:

   ./scripts/bootstrap.sh

3. Encerre a sessão:

   Saia do seu terminal e sessão atuais e faça login novamente:

   • Para WSL (Subsistema Windows para Linux):

     • Feche a janela do terminal atual.
     • Abra uma nova janela do terminal.

   • Para Ubuntu nativo:

     • Saia da sua sessão atual:
       • Clique no menu do sistema (canto superior direito) e selecione 'Sair'.
     • Faça login novamente com suas credenciais de usuário.

4. Instale aplicativos essenciais:

   ./scripts/setup/brew-pkgs.sh

Configuração do Kubernetes

k3d/k3s

k3d/k3s é uma ferramenta que facilita a execução de Kubernetes localmente.

1. Inicie o k3d/k3s:

   k3d/k3s start

2. Verifique a instalação:

   kubectl get nodes

Kubectl

Kubectl é uma ferramenta de linha de comando para gerenciar clusters Kubernetes.

1. Verifique a instalação do kubectl:

   kubectl version --client

Desenvolvimento com VSCode

Extensões Recomendadas

Para uma melhor experiência de desenvolvimento com Kubernetes, instale as seguintes extensões no VSCode:

• Kubernetes
• Docker
• Python
• GitLens

Debugando Aplicações

Para debugar suas aplicações dentro do Kubernetes, siga os passos:

1. Configure o launch.json no VSCode para sua aplicação Python.
2. Utilize a extensão do Kubernetes para depurar diretamente no cluster.

Integração e Entrega Contínua (CI/CD)

Configuração do Git

1. Inicialize um repositório Git:

   git init

2. Adicione o repositório remoto:

   git remote add origin https://github.com/seu-usuario/projeto-big-data.git

3. Configure o arquivo .gitignore para ignorar arquivos desnecessários.

Pipeline de CI/CD

1. Crie um arquivo Jenkinsfile ou configure o GitHub Actions para o pipeline CI/CD.
2. Defina os estágios de build, teste e deploy.

Estrutura do Projeto

projeto-big-data/
├── data/
├── docs/
├── scripts/
│   ├── setup.sh
│   ├── start-hadoop.sh
│   ├── start-spark.sh
├── src/
│   ├── hadoop/
│   ├── spark/
│   ├── k8s/
├── tests/
├── .vscode/
│   ├── launch.json
│   ├── settings.json
├── .github/
│   ├── workflows/
│       ├── ci.yml
├── .env.example
├── README.md
├── requirements.txt
└── .gitignore

Uso

• Iniciar Kubernetes:

  k3d/k3s start

• Verificar status do cluster:

  kubectl get nodes

• Executar testes:

  pytest

Contribuição

Contribuições são bem-vindas! Por favor, veja o arquivo CONTRIBUTING.md para mais detalhes.

Licença

Este projeto está licenciado sob a Licença MIT. Veja o arquivo LICENSE para mais detalhes.