Data Engineer
Miejsce pracy
Warszawa/Praca zdalna
Twoje obowiązki:
- Integracja danych z wielu źródeł (Oracle, MS SQL Server, PostgreSQL, HDFS, Pliki płaskie, Dane strumieniowe)
- Projektowanie i wdrażanie złożonych procesów ETL\ELT
- Projektowanie struktur bazodanowych zgodnie z wymaganiami biznesowymi
- Operacjonalizacja procesów ETL w trybach batch i online
- Optymalizacja procesów, wyszukiwanie wąskich gardeł, dbanie o zależności, kontrola wydajności.
- Zbieranie wymagań
- Przeprowadzanie testów ilościowych i wydajnościowych
- Dbanie o dobre praktyki tworzenia kodu
Poszukiwane kompetencje:
- Bardzo dobra znajomość SQL
- Bardzo dobra znajomość T-SQL
- Znajomość środowiska MS SQL Server w tym SSIS
- Znajomość koncepcji hurtowni danych
- Przynajmniej 2 lata doświadczenia w pracy jako ETL Developer/Programista DWH
- Podstawowa znajomość Python w przetwarzaniu danych.
Mile widziane:
- Znajomość PySpark
- Znajomość Azure w szczególności ADLS i ADF
- Umiejętność optymalizacji zapytań SQL pod kątem wykorzystania w Spark
- Znajomość bash/zsh
- Podstawowa znajomość Power BI.
Oferujemy:
- Nowoczesny stack technologiczny i otwartość na wdrażanie nowych rozwiązań
- Udział w zróżnicowanych i zaawansowanych technologicznie projektach
- Prywatna opieka medyczna i karta sportowa
- Elastyczny czas pracy i możliwość 100% pracy zdalnej
- Spotkania integracyjne oraz niezapomniane imprezy firmowe
- Brak dress code’u
Data ostatniej modyfikacji poniedziałek, 14 października 2024