Weź dane za bary! [Grudniowe Wyzwanie Big Data #3]

Akademia Big Data: https://akademia-bigdata.pl/
Subskrybuj kanał!
Lecimy z trzecim zadaniem w ramach Grudniowego Wyzwania Big Data! (December Big Data Challenge).

POLECENIE:
**Podstawowe polecenie**: Przed nami być może najtrudniejsze zadanie. Mamy już dane surowe, które są uporządkowane i dostarczone w formie, jaką chcemy uzyskać. Teraz Twoim zadaniem jest poddać te dane modyfikacji, transformacji i uzyskać finalny kształt. Chodzi o to, żebyśmy mogli na końcu uzyskać z nich informacje. Całość zapisz do osobnych plików typu parquet w wybranym przez Ciebie miejscu. Przykładowe rzeczy, które można uzyskać:

1. Zbiór najważniejszych danych dla wszystkich miast w ramach jednego zbioru.
2. Zbiór z rankingiem miast z najwyższą temperaturą, najwyższą wilgotnością itd.
3. Zestawienie średnich temperatur dla danego miasta (może też byc przygotowany mechanizm dla średnich temperatur dla danego miesiąca w konkretnym miescie)

**Data zakończenia**: 22.12.2024

*Proponowane narzędzia:* Apache Spark (język obojętny)

**Dodatkowo dla ambitnych**: Cokolwiek przyjdzie Ci do głowy. Pomyśl jakie dane chcesz mieć finalnie i… działaj!

**Input (zasoby)**: paczka z przykładowymi plikami wejściowymi typu Parquet.

**Uzasadnienie (co ćwiczymy i dlaczego)**:

1. Transform to drugi etap architektury ETL. Wewnątrz niego łączymy zbiory, filtrujemy, przetwarzamy, wyciągamy statystyki. I właśnie nad tym etapem pracujemy w tym zadaniu.
2. Pracujemy tutaj nad umiejętnościami budowania operacji logicznych w sparku.
3. Dodatkowo pracujemy nad umiejętnością spojrzenia częściowo “z lotu ptaka”, aby określić czego dokładnie potrzebujemy i gdzie to ma się znaleźć.