CREATING A MICRODATA EXTRACTION PIPELINE IN POWER QUERY

🇺🇸 Over the past few days, I’ve been experimenting with different ways to capture and enrich public data directly inside Power BI. For this exercise, I worked with the 2022 IBGE Names Database — a dataset that’s publicly available, but only in a limited and aggregated form.

🎲 Instead of relying on the official dashboard, I decided to reconstruct the microdata myself.

Using only Power Query (M), I built a complete data pipeline that included:
· Dynamic REST API requests to the IBGE service
· Automated pagination to fetch every available page
· JSON normalization and expansion
· Merging geographic attributes from the IBGE DTB dataset
· A custom function for classifying names by gender and age range

In the end, Power Query handled the entire ETL process:
extract → transform → enrich → load.

A great reminder of how far M can go when you treat Power BI not just as a visualization tool, but as a data engineering environment.

────────────────────────────────────────

🇧🇷 Nos últimos dias, tenho explorado diferentes maneiras de capturar e enriquecer dados públicos diretamente no Power BI. Para este exercício, trabalhei com a Base de Nomes do IBGE (Censo 2022) — um conjunto de dados disponível online, porém em formato bastante limitado e agregado.

🎲 Em vez de depender do dashboard oficial, decidi reconstruir os microdados pela minha conta.

Usando apenas Power Query (M), desenvolvi um pipeline completo que envolveu:
· Requisições dinâmicas à API REST do IBGE
· Paginação automática para buscar todas as páginas de resultados
· Normalização e expansão de JSON
· Junção de atributos geográficos da base DTB do IBGE
· Uma função personalizada para classificar nomes por gênero e faixa etária

No fim, o Power Query assumiu todo o processo de ETL:
extrair → transformar → enriquecer → carregar.

Um ótimo lembrete de até onde podemos ir com M quando tratamos o Power BI não apenas como uma ferramenta de visualização, mas como um verdadeiro ambiente de engenharia de dados.

#PowerBI #PowerQuery #M #API #JSON #DataEngineering #DataPipeline #IBGE