Os principais conceitos do Airflow que serão explicados neste artigo serão: DAGs, operators, sensors e hooks. O que vou explicar será sobre como eles se encaixam no Airflow e como utilizá-los no seu dia a dia, até mesmo vamos construir nossa primeira DAG. Eu vou tentar ensinar a partir dos partes ao invés de destrinchar … Continue lendo Apache Airflow 02 – Conceitos principais
Como tudo (re)começou
Opa, pessoal, este blog vai servir para mim como um journal/diário[1] de conhecimento, eu já utilizo o Evernote para o pessoal então este blog vai ser para compartilhar e trocar umas ideias sobre as coisas profissionais que irei escrever. Para quem não me conhece: hoje em dia (06/06/2020) eu sou Engenheiro de Dados na Prediktive … Continue lendo Como tudo (re)começou
Day #100 – 24/03/2023
Este é o primeiro post no meu diário de desenvolvimento do projeto do caldinho’s. Quem me conhece sabe que eu sou viciado em caldinho de feijão; E eu sempre pensei que seria massa criar um site onde eu pudesse guardar as informações sobre os melhores caldinhos das cidades onde eu vivo: Recife e João Pessoa. … Continue lendo Day #100 – 24/03/2023
Como começar em engenharia de dados
Opa pessoa, eu sou engenheiro de dados e me chamo Felipe Bormann (vocês pode checar mais sobre mim na página About). # TODO: Adicionar link para página about e atualizar a página about com alguns links meus. O objetivo deste post são alguns: Mostrar meu ponto de vista sobre o que um engenheiro de dados … Continue lendo Como começar em engenharia de dados
Como otimizar algumas tarefas simples do Git
Se você trabalha com T.I., provavelmente utiliza versionamento de código[1] (eu espero kkk), e o mais famoso de todos e com maior qualidade é o git [2]. Mas existem algumas situações comuns que muitos novatos e até uma galera que utiliza há muito tempo acabar perdendo tempo porque não utiliza as facilidades contidas nele, hoje … Continue lendo Como otimizar algumas tarefas simples do Git
Melhores práticas utilizando BigQuery
Este post é um texto bem pequeno sobre como eu trabalho com Google Cloud BigQuery no dia a dia, vai servir para quem trabalha com ele também e que acha que não conhece as features legais que ele tem. Preview Para mim uma das ferramentas mais legais do BigQuery é a função "preview". Ao utilizar … Continue lendo Melhores práticas utilizando BigQuery
Bibliotecas aleatórias #01: PyJanitor
Em bibliotecas aleatórias o objetivo é explorar uma pequena lib (geralmente em Python mas podem ter outras que são só CLIs, etc) e ver o que ela faz, quais suas vantagens e como criar um pequeno código com ela para algum problema que você tenha. Objetivo O objetivo do pyjanitor é criar uma API de … Continue lendo Bibliotecas aleatórias #01: PyJanitor
Apache Airflow 01 – O que é, casos de uso e comentários aleatórios
Apache Airflow é um orquestrador de fluxos, ou seja, com ele você é capaz de decidir em qual momento e em quais condições algum programa seu irá rodar. Este artigo é voltado para quem não sabe nada sobre o airflow, os próximos artigos já espero que a pessoa tenha alguma experiência ou contato com ele. … Continue lendo Apache Airflow 01 – O que é, casos de uso e comentários aleatórios
Chatices do Django Rest Framework – Autenticação
Hoje eu vou falar sobre um problema bem simples, a autenticação. Que é basicamente a função de identificar um usuário. Em Django Rest Framework(DRF), é possível fazer isto de forma bem tranquila, só é preciso utilizar uma das possíveis formas de autenticação descritas na documentação. No projeto que participo, tentei utilizar o DRF para autenticação de usuários … Continue lendo Chatices do Django Rest Framework – Autenticação
Why is Kafka such a big thing for those that enjoy Big Data
[This is a free translation of a text published here in Portuguese] Who is curious about Big Data and data management in general always try to be ahead of new solutions in this world like CosmosDB , ElasticSearch, among others. In this post, the focus is on one of these new solutions, Apache Kafka. Kafka - What is … Continue lendo Why is Kafka such a big thing for those that enjoy Big Data
Felipe Bormann 