Big Data Engineer (m/w/d), Apache, Python, AWS

  • Vollzeit
  • Bern
  • Veröffentlicht vor 5 Tagen

Stellenbeschreibung

  • Zusammenführen und Bereitstellen von strukturierten und unstrukturierten Datenbeständen mit unterschiedlichen Datentypen und Formaten für das Erstellen von operativen sowie explorativen Datenanalysen unter Berücksichtigung der Datensensitivität
  • Integration von Quellsystemen in die Data-Analytics-Plattform
  • Konzipieren, implementieren und überwachen von Datenpipelines sowohl für real-time Anforderungen als auch bei batchweiser Verarbeitung – Konzipieren und entwickeln von skalierbaren, fehlerresistenten und performanten DataspeicherlösungenÜberführung von Datenaufbereitungsschritten der Data Analysten und Data Scientisten in ETL-Prozesse im Falle einer Operationalisierung
  • Entwickeln, implementieren und warten von Schnittstellen zu Datenbanken und anderen Applikationen
  • Erstellen von Daten-, Funktions- und/oder Objektmodellen sowie deren Dokumentation
  • Unterstützen im Bereich Data Governance und Security durch Designvorschläge zum Zugriffs- und Berechtigungskonzept, Auditing und Monitoring
  • Optimieren der Datenverarbeitungspipelines hinsichtlich Performance, Zuverlässigkeit und Ressourceneffizienz – Verwalten und pflegen der verschiedenen Datenrepositories inklusive Dokumentation, Berechtigungsverwaltung, Monitoring und Logging
  • Analysieren von Störungen und Fehlerzuständen, ableiten und überwachen von Massnahmen zu deren Behebung
  • Sicherstellen des erarbeiteten Know-hows durch Dokumentation und Übergabe per Ende des Auftrags
  • Selbstständige und eigenverantwortliche Mitarbeit innerhalb eines Scrum-Teams

 

  • Technologien: Apache Spark, Apache Nifi, S3 Object Stores, Postgres DB, HVR (von Vorteil), Teradata (von Vorteil)
  • Programmiersprachen: Python, SQL
  • Datenformate: Avro, Parquet, JSON, XML, CSV
  • Kenntnisse von Data Lake Engines (z. B. Dremio, Hive, Presto), von Workflow Managern (z. B. Apache Airflow) sind von Vorteil
  • Erfahrungen mit agilen Projektumfeld (mind. 6 Monate)
  • Erfahrungen Data & Analytics (mind. 2 Jahre)
  • Erfahrungen mit Datenpipelines (mind. 2 Jahre)
  • Erfahrung mit Python (mind. 5 Jahre)
  • Erfahrungen im Technologiestack (mind. 1 Jahr)
  • Hochschul- oder Fachhochschulabschluss
  • Sprachen: Deutsch / Englisch

 

Kontakt:
GULP Schweizer AG
Herr Nico Neudert
Email: [email protected]
Tel: +41 44 511 86 86

Tagged as: IT/IT-Dienstleistung, Technologie

Um sich für diese Stelle zu bewerben, besuchen Sie bitte die Seite gulp.persy.jobs.

Arbeitsort