Data Platform Engineer

شرح موقعیت

طراحی، پیاده‌سازی و نگه‌داری زیرساخت پردازش جریانی داده مبتنی بر Apache Flink و Apache Spark طراحی و پیاده‌سازی پایپ‌لاین‌های داده (ETL/ELT) از سامانه‌های عملیاتی تا پایگاه‌های داده تحلیلی و تحویل آن‌ها به تیم‌های مصرف‌کننده داده طراحی، توسعه و نگه‌داری APIهای داده‌محور (ترجیحاً RESTful) برای ارائه سرویس به تیم‌های محصول، مهندسی، تحلیل و دیتا ساینس پیاده‌سازی مکانیزم‌های امنیتی و کنترلی برای APIها (احراز هویت، سطح دسترسی، مدیریت نسخه، مدیریت خطا) استقرار و نگه‌داری سرویس‌های داده‌ای بر بستر Linux و Docker طراحی و تنظیم مکانیزم‌های Load Balancing و High Availability برای سرویس‌های داده‌ای و پایگاه‌های داده کار با ابزارهای داشبورد و BI مانند Metabase و Apache Superset برای ساخت پیشخوان‌ها، گزارش‌ها و KPIهای سازمانی طراحی و بهینه‌سازی ساختار جداول و کوئری‌ها در RDBMSها (PostgreSQL، MSSQL) و پایگاه‌های تحلیلی (ClickHouse، Doris) پیاده‌سازی و مدیریت سامانه‌های جمع‌آوری و ارسال لاگ با استفاده از Fluentd، Vector یا ابزارهای مشابه طراحی، راه‌اندازی و نگه‌داری صف‌ها و پلتفرم‌های استریم مانند Apache Kafka و RabbitMQ مانیتورینگ سلامت سرویس‌های داده‌ای، تنظیم Alertها و مشارکت در مدیریت رخدادها (Incident Management) عیب‌یابی و بهینه‌سازی کارایی سرویس‌ها، پایگاه‌های داده و پایپ‌لاین‌های داده همکاری نزدیک با تیم‌های مختلف برای تحلیل نیازمندی‌های داده‌ای و تبدیل آن‌ها به راه‌حل‌های فنی قابل پیاده‌سازی مستندسازی معماری سیستم‌ها، ساختار داده‌ها، پایپ‌لاین‌ها، APIها و فرآیندهای عملیاتی مشارکت در بهبود مستمر زیرساخت داده، اتوماسیون فرآیندها و بهبود کیفیت و قابلیت اطمینان سرویس‌ها داشتن مهارت‌های زیر مزیت محسوب می‌شود: تجربه عملی در طراحی و راه‌اندازی CI/CD برای پروژه‌های داده با استفاده از ابزارهایی مانند GitLab CI، GitHub Actions، Jenkins یا معادل تجربه عملی در راه‌اندازی و مدیریت Kubernetes شامل طراحی Deployment، StatefulSet، Service، Ingress، ConfigMap و Secret آشنایی با مفاهیم Auto-scaling، Rolling Update و Self-healing در محیط‌های ارکستریشن کانتینر آشنایی با معماری Data Lake و Data Warehouse و مفاهیم Data Governance، Data Quality و Data Lineage آشنایی با پیاده‌سازی Best Practiceهای امنیتی در حوزه داده، شامل کنترل دسترسی، رمزنگاری، Masking داده و Auditing