Наш клієнт — швейцарська міжнародна компанія у сфері сільськогосподарської науки та технологій, постачальник насіння та добрив разом із своїми технологіями. Вони шукають старшого інженера з програмного забезпечення даних, який доєднається до команди з впровадження системи Big Data на основі Cloudera в AWS.

Співробітник працюватиме з безсерверним дата лейком на базі AWS, який завантажує дані з численних баз, зберігає їх в AWS S3, обробляє їх за допомогою AWS Glue, щоб забезпечити SQL-подібний доступ (Athena, Snowflake), а потім агрегує/обчислює дані за допомогою AWS EMR для низхідних аплікацій через AWS AppSync API.

Чим ви будете займатися у цій ролі

Проєктування та впровадження рішень на базі Big Data для збору, зберігання та обробки великих обсягів даних у хмарі
Використання AWS S3 для зберігання даних, AWS Glue для організації даних і доступу до них, а також інтеграція з іншими хмарними сервісами
Розробка та оптимізація програмного забезпечення на Apache Spark та PySpark для обробки даних
Створення та оптимізація безсерверних рішень з використанням AWS Lambda
Налаштування та управління оркестрацією робочих процесів за допомогою Apache Airflow
Співпраця з іншими командами для забезпечення інтеграції систем та автоматизації процесів збору та обробки даних
Створення та налаштування API для доступу до оброблених даних через AWS AppSync
Розробка високопродуктивних рішень для обробки великих даних з використанням найкращих практик у галузі
Підтримка, тестування та моніторинг надійності та ефективності даних у системах Big Data
Виконання налаштувань безпеки та захисту даних на всіх етапах обробки та зберігання
Аналіз та оптимізація витрат на ресурси AWS для підвищення ефективності
Документування технічних рішень і процесів для команди

Навички

Комерційний досвід роботи з Big Data не менше 4 років
Знання та досвід роботи з AWS, зокрема S3, Glue, EMR, Lambda, Athena та AppSync
Досвід роботи з Apache Spark та PySpark для обробки великих обсягів даних
Досвід роботи з Apache Airflow для автоматизації робочих процесів
Сильні навички програмування на Python для обробки даних і побудови рішень
Розуміння принципів проектування та оптимізації масштабованих та надійних рішень для Big Data
Вміння працювати з SQL-подібними системами, такими як Athena або Snowflake
Володіння англійською мовою на рівні B2+
Вміння вирішувати складні проблеми та оптимізувати існуючі процеси
Розуміння безпеки даних, включаючи принципи шифрування, контролю доступу та захисту персональних даних
Знання принципів роботи безсерверних архітектур і досвід їх впровадження
Навички з тестування і підтримки високонавантажених систем

Буде перевагою

Досвід роботи з Cloudera або іншими Big Data платформами
Знання принципів Data Lake та їх реалізації у хмарних середовищах
Досвід оптимізації витрат у хмарних рішеннях AWS
Досвід з іншими інструментами обробки даних, такими як Kafka, Presto, або інших рішень для реального часу
Досвід роботи з системами типу Snowflake для аналітики та обробки даних

Що ми пропонуємо

Відпустку та лікарняні дні (в тому числі без медичної довідки)
Широку лінійку страхових програм Добровільного Медичного Страхування (ДМС) із забезпеченням як медичного лікувавання, так і різних профілактичних опцій (включно із спортивними активностями)
Оформлення медичного страхування для членів родини за корпоративними тарифами
Підтримку від компанії під час знакових життєвих подій (народження або всиновлення дитини, шлюб та інше)
Підтримку психологічного комфорту: знижки на послуги спеціалістів з ментального здоров'я або коучів, тематичні тренінги
E-kids - безкоштовну програму навчання для дітей EPAM-ерів мовам програмування
Приємні корпоративні подарунки

ЕРАМ прагне надавати своїй глобальній команді з понад 60,000+ професіоналів у більш ніж 45 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги – джерело успіху ЕРАМ, тож ми цінуємо співпрацю, намагаємось завжди розуміти бізнес наших клієнтів та прагнемо до найвищих стандартів якості. Незалежно від місця, де ви знаходитесь, ви долучитесь до відданої, розмаїтої спільноти, яка допоможе вам реалізувати свій потенціал якомога повніше.