RoadmapExperimentacaoContinua

Sumário

ATENÇÃO mudamos para https://gitlab.com/lappis-unb/experimentacao-continua

1. Roadmap do DevOps para experimentação contínua
2. Estudo teste A/B
3. Comentários sobre a leitura dos papers

---

1. Roadmap do DevOps para experimentação contínua

• 1.1 Investigar ferramenta para realizar teste estatístico

  • Issue: Finalizar instalação do Rancher 2 com Kubernetes
    • Descrição: Finalizar a instalação do rancher 2 e a migração dos serviços para o novo ambiente.
    • https://gitlab.com/lappis-unb/experimentacao-continua/issues/1
  • Issue: Estudar funcionamento do Kubernetes com foco em Testes A/B
    • Descrição: Estudar o que o Kubernetes fornece para a estruturação e utilização dos Testes A/B diretamente na infra.
    • https://gitlab.com/lappis-unb/experimentacao-continua/issues/2
  • Issue: Estudar outras possibilidades além do Kubernetes e compará-las
    • Descrição: Pesquisar e estudar outras possibilidades além do Kubenetes + Rancher 2 que facilitam a aplicação da Experimentação Contínua.
    • Não é necessário uma issue explicita aqui, isso será feito de maneira natural ao longo das outras issues.
  • Issue: Analisar casos de Experimentação Contínua e como estão sendo aplicados
    • Descrição: Pesquisar casos onde a experimentação contínua foi aplicada e entender como foi utilizada e a suas consequências.
    • https://gitlab.com/lappis-unb/experimentacao-continua/issues/3

• 1.2 Organizar repositório para Experimentação Contínua (definir GitLab ou GitHub)

  • Issue: Estudar o pipeline de desenvolvimento do repositório do Promova
    • Descrição: Entender como está funcionando o pipeline do projeto do Promova para uma possível adaptação.
    • Não precisamos de issue aqui, isso é parte das outras issues relacionadas ao pipeline, estudar é um pré-requisito para o trabalho.
  • Issue: Definir junto com o time a automatização do pipeline para Experimentação Contínua
    • Descrição: Após o estudo das ferramentas, definir uma possível atualização do pipeline para suporte da experimentação contínua juntamente com o time.
    • https://gitlab.com/lappis-unb/experimentacao-continua/issues/4
  • Issue: Modificar pipeline para se adaptar à Experimentação Contínua
    • Descrição: Adaptar o pipeline para suporte das ferramentas que serão utilizadas na fase da experimentação contínua.
    • idem ao item acima

• 2 Investigar como redirecionar o usuário para as diferentes versões? Numa mesma URL.

  • Issue: Estudar ferramenta PlanOut com base no redirecionamento dos usuários.
    • Descrição: Estudar a partir da sua documentação como é feito o redirecionamento dos usuários para uma feature com diferentes características em uma mesma URL.
    • idem item abaixo
  • Issue: Testar aplicação PlanOut em ambiente de homologação.
    • Descrição: Realizar um teste do redirecionamento em um ambiente controlado de homologação e analisar se realmente suprirá nossa necessidade.
    • https://gitlab.com/lappis-unb/experimentacao-continua/issues/5
  • Issue: Análisar se integração Kubernetes + Rancher 2 possibilita o redirecionamento de usuário
    • Descrição: Pesquisar e estudar se a ferramenta do Rancher 2 + Kubernetes consegue nos auxiliar no redirecionamento dos usuários em uma mesma URL. Investigar se haverá a necessidade de uma altereação do Pipeline.
    • isso será resolvido durante os testes e estudos do planout, já temos issues acima cobrindo essa necessidade

• 3 Investigar como aletatorizar a amostra de usuários (sessão ativa na internet, com o planout isto já tá resolvido, ele faz esse balenceamento).

  • https://gitlab.com/lappis-unb/experimentacao-continua/issues/5

• 4 Como coletar os dados de usuários acessando versão X e versão Y, diferenciar os acessos de cada versao para possibilitar análise de cada subgrupo (planout toma conta disso).

  • https://gitlab.com/lappis-unb/experimentacao-continua/issues/5

• 5 Estudo de ferramentas de coleta de métricas (Prometheus? Piwik, Awstats, Nagios, Icinga, Zabbix .... )

  • (isto será feito após fechar as seguintes questões: rancher2 e test ab)
  • https://gitlab.com/lappis-unb/experimentacao-continua/issues/6

• 6 Alteração do Pipeline default do Lappis para se adaptar aos diferentes deploys

  • (Após o final do ciclo, decidir se haverá a necessidade de instalação de uma nova ferramenta, a qual faça uma mínima alteração no ciclo de vida do pipeline)
  • isso será um passo natural pois iremos aplicar e testar EC em todas as frentes onde for possível

• 7.1 Investigar infra MinC para deploy das diferentes versões

  • https://gitlab.com/lappis-unb/experimentacao-continua/issues/7

• 7.2 Onde/Como realizar deploy(lappis, minc?)?

  • primeiro passo é deploy na nossa infra, a issue acima já cuida do lado do minc

• 7.3 Processo de homologacao de de issue (início do pipeline)

  • https://gitlab.com/lappis-unb/experimentacao-continua/issues/8

• Material de estudo (estatistica descritiva, experimento controlado, continuous devel/experimentation, )

  • (movido para: https://gitlab.com/lappis-unb/experimentacao-continua/wikis/PapersReview)

2. Estudo teste A/B

(movido para: https://gitlab.com/lappis-unb/experimentacao-continua/wikis/TestAB)

3. Comentários sobre a leitura dos papers

(movido para: https://gitlab.com/lappis-unb/experimentacao-continua/wikis/PapersReview)