Os principais conceitos do Airflow que serão explicados neste artigo serão: DAGs, operators, sensors e hooks. O que vou explicar será sobre como eles se encaixam no Airflow e como utilizá-los no seu dia a dia, até mesmo vamos construir nossa primeira DAG. Eu vou tentar ensinar a partir dos partes ao invés de destrinchar … Continue lendo Apache Airflow 02 – Conceitos principais
Como tudo (re)começou
Opa, pessoal, este blog vai servir para mim como um journal/diário[1] de conhecimento, eu já utilizo o Evernote para o pessoal então este blog vai ser para compartilhar e trocar umas ideias sobre as coisas profissionais que irei escrever. Para quem não me conhece: hoje em dia (06/06/2020) eu sou Engenheiro de Dados na Prediktive … Continue lendo Como tudo (re)começou
Day #108 – 25/03/2023
Hoje eu enfrentei o pior desafio: A falta de conhecimento das ferramentas que to usando kkkk. Eu to escrevendo testes de integração pro meu backend (eu não tenho muita lógica no meu código então ainda não teve necessidade de fazer algo unitário). E bicho, eu to usando o framework actix-web e a linguagem rust pela … Continue lendo Day #108 – 25/03/2023
Day #107 – 08/05/2023
Hoje eu dei uma revisitada nos meus casos de uso, pra ver se eu conseguia terminar de codar o back de um deles: “enviar uma avaliação”. Como é um caso de uso, ele só fica completo quando todas as validações estiverem bonitinhas, (exceto a parte de autenticação). Também fiz algo besta que foi implementar em … Continue lendo Day #107 – 08/05/2023
Day #106 – 30/04/2023
Hoje eu fui aprender um pouco mais sobre URL dispatch https://actix.rs/docs/url-dispatch/, eu fiquei incomodado com a repetição de prefixos que eu fiquei fazendo nas minhas rotas, como por exemplo: todos estes “/caldinhos” tava me incomodando bastante, até pq é passível de erro da minha parte e eu poderia acabar tendo testes falhando simplesmente porque tinha … Continue lendo Day #106 – 30/04/2023
Day #105 – 27/04/2023
Hoje eu apanhei para um negócio bem simples: colocar uma trait Identifiable [https://docs.diesel.rs/1.4.x/diesel/associations/trait.Identifiable.html] nos meus modelos. O que acontecia é o seguinte: eu uso o diesel CLI para gerar o arquivo db_models.rs, que lê minhas migrations e escreve num arquivo structs representando minhas tabelas do banco: até então, tranquilo. Mas quando eu coloquei a trait … Continue lendo Day #105 – 27/04/2023
Day #104 – 18/04/2023
Hoje eu comecei o dia finalizando a implementação do repositório do modelo PlaceSuggestion. E hoje eu tive o primeiro commit de um refactor meu, como eu adicionei o modelo do usuário e troquei o nome de um campo do modelo PendingReview, eu tive de mudar o código em 2 lugares por conta disto. Isso é … Continue lendo Day #104 – 18/04/2023
Day #103 – 10/04/2023
Pra vocês verem, demorei muito pra codar algo novamente kkkkk. Mas hoje eu trabalhei na implementação do repo CRUD da tabela user e nas rotas pra ela também. Uma coisa legal que tenho feito é sempre tentar deixar meu código buildando corretamente ao final do dia. Hoje eu apanhei um pouco para criar minha primeira … Continue lendo Day #103 – 10/04/2023
day #102 – 04/04/2023
Hoje eu criei o modelo no banco dos usuários: como dar pra ver, o modelo é bem simples. Não vou me estender muito nele pra não deixar de lançar o projeto por causa dessa mudança. Por conta disso, eu tive de repensar como todos os modelos do meu banco se relacionavam, principalmente porque parti do … Continue lendo day #102 – 04/04/2023
Day #101 – 26/03/2023
Hoje codei mais coisas que eu conseguia fazer rápido e tentei muito fazer lançar um postgres antes dos testes mas não deu certo ainda 😕. Eu to somente fazendo testes de integração no projeto, pois a lógica toda do negócio tá na modelagem dos dados e não nas funções do backend (pelo menos até então). … Continue lendo Day #101 – 26/03/2023
Day #100 – 24/03/2023
Este é o primeiro post no meu diário de desenvolvimento do projeto do caldinho’s. Quem me conhece sabe que eu sou viciado em caldinho de feijão; E eu sempre pensei que seria massa criar um site onde eu pudesse guardar as informações sobre os melhores caldinhos das cidades onde eu vivo: Recife e João Pessoa. … Continue lendo Day #100 – 24/03/2023
Como começar em engenharia de dados
Opa pessoa, eu sou engenheiro de dados e me chamo Felipe Bormann (vocês pode checar mais sobre mim na página About). # TODO: Adicionar link para página about e atualizar a página about com alguns links meus. O objetivo deste post são alguns: Mostrar meu ponto de vista sobre o que um engenheiro de dados … Continue lendo Como começar em engenharia de dados