Data Engineer (wszystkie płcie)

Stworzysz podstawę danych, na której niezawodnie mogą pracować aplikacje biznesowe, analizy i AI. Różne systemy źródłowe mają własne formaty, uprawnienia i rodzaje błędów. Będziesz tworzyć zrozumiałe przepływy danych, w których pochodzenie, jakość i odpowiedzialności pozostają przejrzyste.

API dostarcza zmiany z opóźnieniem, import zawiera błędne rekordy, a kolejny przebieg powtarza już przyjęte dane. Zdefiniujesz klucze biznesowe, reguły duplikatów i obsługę błędów. Jawnie uwzględniane są strefy czasowe, usuwanie danych i zmiany schematu. Odbiorcy otrzymują przejrzyste informacje o pochodzeniu, jakości i aktualności. Po nieudanym przebiegu musi być jasne, co wolno przetworzyć ponownie.

• Pobieranie danych z API, baz danych i plików oraz tworzenie odpornych pipeline'ów batchowych lub opartych na zdarzeniach.
• Ustalanie modeli danych, transformacji i kontroli jakości wspólnie z osobami merytorycznymi.
• Zapewnianie powtarzalności, przetwarzania przyrostowego i ponownego uruchomienia po błędach; uwzględnianie duplikatów i spóźnionych danych.
• Projektowanie koncepcji dostępu, monitoringu i dokumentacji tak, aby przepływy danych pozostawały weryfikowalne także w eksploatacji.
• Wdrażanie przetwarzania przyrostowego i ponownych uruchomień bez podwójnych operacji biznesowych.
• Uzgadnianie kontraktów danych i reguł jakości dotyczących pól obowiązkowych, odniesienia czasowego i kluczy biznesowych.

Najważniejsze jest możliwe do wykazania doświadczenie istotne dla tej roli. Może wynikać z odpowiedniego wykształcenia zawodowego, studiów, praktyki zawodowej lub solidnego przebranżowienia. Konkretny zakres odpowiedzialności uzgodnimy odpowiednio do Twojej wiedzy.

• Biegła znajomość SQL i doświadczenie z Pythonem lub porównywalnym językiem do przetwarzania danych.
• Rozumienie modelowania danych, interfejsów i automatycznego przetwarzania.
• Umiejętność systematycznego analizowania błędów danych i porównywania definicji biznesowych z modelami technicznymi.

Ta wiedza jest pomocna, ale nie musisz mieć jej całej jednocześnie. Opisz w aplikacji, w jakich obszarach masz już praktyczne doświadczenie i które tematy chcesz pogłębiać.

• Doświadczenie ze streamingiem, hurtowniami danych lub architekturami lakehouse.
• Znajomość orkiestracji, katalogów danych lub data lineage.

Sukces oznacza mniej niezauważonych błędów danych i solidną podstawę dla kolejnych aplikacji. Dostarczysz nie tylko pipeline, lecz także kontrole, odpowiedzialności i przejrzystą drogę usuwania błędów.

W tej roli możliwa jest praca w Kolonii lub zdalnie. Przed rozpoczęciem wspólnie uzgodnimy konkretną formę współpracy, wymagania projektowe i ewentualne niezbędne spotkania u klientów.

W tej roli przewidziana jest umowa o pracę na pełny lub niepełny etat. Zadania, wymiar czasu pracy, termin rozpoczęcia i wynagrodzenie uzgodnimy odpowiednio do roli i Twojej wiedzy.

Pokaż nam w aplikacji, jakie doświadczenia lub zainteresowania wnosisz do tej roli. CV oraz odpowiednie przykłady projektów, świadectwa lub próbki pracy pomagają nam w ocenie merytorycznej. Nie przesyłaj poufnych danych klientów, danych dostępowych ani chronionego kodu źródłowego.

Podaj preferowany model pracy, możliwy termin rozpoczęcia oraz informację, czy chcesz pracować na pełny czy niepełny etat.

W razie pytań dotyczących roli skontaktuj się z naszym zespołem rekrutacji pod adresem hr@otoko.com. Dołączenie do bazy kandydatów jest dobrowolne i odbywa się wyłącznie za osobną zgodą; nie stanowi warunku rozpatrzenia aplikacji.