شرح موقعیت
ما به دنبال یک مهندس داده (Data Engineer) هستیم که در طراحی، توسعه و نگهداری زیرساختها و جریانهای دادهای (Data Pipelines) تجربه داشته باشد و بتواند در توسعه و تکامل پلتفرم داده سازمان نقش مؤثری ایفا کند. فردی که به دنبال او هستیم، علاوه بر مهارتهای فنی Data Engineering، دید خوبی نسبت به زیرساخت، DevOps و فناوریهای جدید حوزه Data & AI دارد و از یادگیری و تجربه ابزارهای جدید استقبال میکند. برای ما صرفاً تعداد سالهای سابقه تعیینکننده نیست. اگر تجربه عملی خوبی در حل مسائل مهندسی داده دارید، از مبانی فنی قوی برخوردارید و توانایی یادگیری سریع فناوریها و ابزارهای جدید را در خود میبینید، از دریافت رزومه شما استقبال میکنیم. مسئولیتها طراحی، توسعه و نگهداری Data Pipelineهای قابل اعتماد و مقیاسپذیر پیادهسازی فرآیندهای ETL/ELT و انتقال و تبدیل داده میان منابع مختلف کار با انواع پایگاههای داده و Data Storeهای رابطهای و غیررابطهای مشارکت در طراحی و توسعه Data Warehouse / Data Lake و معماری پلتفرم داده توسعه ابزارها و سرویسهای پردازش داده با Python کار با دادههای Batch و Streaming و ابزارهای مرتبط مانیتورینگ، عیبیابی و بهبود Performance و Reliability جریانهای داده همکاری در Containerization، CI/CD و استقرار سرویسها و اجزای پلتفرم داده همکاری با سایر اعضای تیم داده برای تبدیل داده خام به داده قابل اعتماد و قابل استفاده برای تحلیل و تصمیمگیری استفاده از سرویسها و ابزارهای AI/LLM در موارد کاربردی مرتبط با داده ** مهارتهای مورد انتظار تسلط مناسب به Python و SQL تجربه عملی در طراحی و توسعه ETL/ELT و Data Pipeline تجربه کار با ابزارهای Data Orchestration و درک مناسب از مفاهیم Scheduling، Dependency Management، Retry، Monitoring و Observability(با Dagster ، Airflow یا ابزارهای مشابه) آشنایی خوب با مفاهیم Data Modeling، Data Warehouse و Data Architecture تجربه کار با پایگاههای داده رابطهای مانند MySQL، PostgreSQL یا Oracle تجربه عملی با Elasticsearch، شامل Indexing، Query DSL، Aggregation و Performance Optimization تجربه کار با ClickHouse یا تجربه مناسب با پایگاههای داده تحلیلی مشابه آشنایی مناسب با Linux و Docker آشنایی با Git، CI/CD و مفاهیم DevOps توانایی Troubleshooting و تحلیل مشکلات Performance و Reliability درک مناسب از طراحی سیستمهای مقیاسپذیر و پردازش حجم بالای داده توانایی حل مسئله، یادگیری فناوریهای جدید و همکاری مؤثر با سایر اعضای تیمهای فنی و کسب و کار *** امتیاز محسوب میشود تجربه عملی و عمیقتر در ClickHouse، به خصوص در زمینه Schema Design، Partitioning، Query Optimization و Performance Tuning تجربه عملی با Dagster تجربه طراحی یا توسعه Data Lake / Lakehouse تجربه پیادهسازی Data/AI Pipeline در محیط Production آشنایی با ابزارهایی مانند dbt، Iceberg یا ابزارهای مشابه آشنایی عملی با Machine Learning / AI تجربه استفاده از LLM APIها، RAG، Vector Database یا AI Services تجربه کار با معماریهای Batch و Streaming و فناوریهایی مانند Kafka تجربه کار با Kubernetes تجربه فعالیت در محیطهای Telecom یا ICT مدرک کارشناسی یا بالاتر در مهندسی کامپیوتر و علوم کامپیوتر
نیازمندیها
- Data engineer
- Python
- NoSQL
- SQL