Wiki — Pipelines Fabric
Documentação da metodologia de pipelines de dados em Microsoft Fabric e dos case studies implementados.
Princípios: Thin Pipelines, Fat Notebooks — Princípios Arquitecturais
Metodologia
Padrões genéricos aplicáveis a qualquer pipeline Fabric, derivados das implementações concretas.
| Secção | Conteúdo |
|---|---|
| Princípios Arquitecturais Thin Pipelines / Fat Notebooks, Delta Lake, Metadata-Driven, Observabilidade | |
| Visão Geral | Arquitectura Medallion, quando usar cada camada |
| Camada Bronze | Ingestão de dados externos, consume-and-delete, upload por chunks |
| Camada Silver | Normalização, cast functions, colunas de auditoria, error handling |
| Camada Gold | Consolidação, delete+append, mapeamentos, enriquecimento |
Gapminder
Indicadores económicos e sociais mundiais. Ingestão via REST API pública, ~3.7M registos, semantic model refresh Power BI no final.
| Secção | |
|---|---|
| Overview | Arquitectura, notebooks, tempos de execução |
| Fontes de Dados | Gapminder REST API, endpoints, catálogo de indicadores |
| Bronze | Pull via API, batches de 100 indicadores, tabelas Bronze |
| Silver | Sufixos K/M/B, filtro 1800–2100, V-Order, dim_geo |
| Gold | year_rank_index, dim_date, semantic model refresh |