Market Data Engineer

شرح موقعیت

ما به دنبال یک Data Engineer دقیق، تحلیل‌گر و مسئولیت‌پذیر هستیم که مسئولیت دریافت، پردازش، پاک‌سازی، اعتبارسنجی، ذخیره‌سازی و نگهداری داده‌های مالی و Market Data شرکت را بر عهده بگیرد. داده‌های مورد استفاده شرکت شامل Tick Data، OHLC، Candle Data، Bid/Ask، Spread و داده‌های تایم‌فریم‌های مختلف است و کیفیت و صحت این داده‌ها مستقیماً بر نتایج Backtest، Optimization و تحقیقات Quantitative تأثیر می‌گذارد. فرد موردنظر باید بتواند علاوه بر مدیریت Database، مشکلات موجود در داده را شناسایی، ریشه‌یابی و برطرف کرده و Pipeline های قابل اتکا برای پردازش و به‌روزرسانی داده ایجاد کند. مسئولیت‌های اصلی 1. مدیریت Market Data دریافت و مدیریت داده‌های مالی از منابع مختلف مدیریت داده‌های Tick و OHLC مدیریت داده‌های Bid / Ask ایجاد و نگهداری داده‌های تایم‌فریم‌های مختلف یکپارچه‌سازی داده‌های منابع مختلف مدیریت Historical Data و داده‌های جدید 2. Data Cleaning & Validation شناسایی و اصلاح مواردی مانند: Missing Candles Duplicate Records Invalid OHLC Timestamp Errors Outlier Prices Gap های غیرطبیعی مشکلات Bid/Ask اختلاف بین Data Sourceهای مختلف و ایجاد فرآیندهای خودکار برای کنترل کیفیت داده. 3. Time Series & Time Management فرد باید درک بسیار خوبی از: Timestamp Timezone UTC Server Time Daylight Saving Time (DST) Candle Alignment Resampling Market Session داشته باشد. توانایی بررسی اختلاف زمانی بین منابع مختلف داده یک مزیت بسیار مهم محسوب می‌شود. 4. Database Management طراحی ساختار مناسب Database برای Market Data طراحی Table و Schema مدیریت حجم بالای داده Backup و Data Recovery افزایش سرعت Read/Write جلوگیری از Duplicate Data مدیریت Data Version 5. Python & Data Processing استفاده از Python برای: Data Processing Data Cleaning Data Validation Automation Data Comparison Report Generation کتابخانه‌های مورد انتظار: pandas NumPy datetime / pytz / zoneinfo 6. Data Quality Monitoring ایجاد سیستم‌هایی برای تشخیص خودکار: Missing Data Duplicate Data Time Errors Price Anomalies Invalid Candles Unexpected Gaps Source Mismatch و تولید گزارش از وضعیت .Dataset 7. همکاری با تیم Quant و Trading همکاری مستقیم با تیم‌های: Strategy Development Backtesting برای اطمینان از اینکه داده مورد استفاده در تحقیقات و تست استراتژی صحیح، Consistent و قابل اعتماد است. مهارت‌های ضروری Python — Advanced/Intermediate pandas NumPy Data Processing File Processing Automation Time Series ETL Data Cleaning Data Validation Pipeline Design Problem Solving توانایی پیدا کردن Root Cause یک مشکل در داده. مهارت‌های مهم و امتیازی موارد زیر مزیت محسوب می‌شوند: تجربه با Financial / Market Data تجربه با Forex Data تجربه با Tick Data آشنایی با MetaTrader 4/5 تجربه با Dukascopy، Swissquote یا سایر Data Providerها Git تجربه کار با دیتاست‌های حجیم ویژگی‌های فردی مورد انتظار این قسمت برای این موقعیت خیلی مهم است. دقت بالا در Market Data یک اشتباه کوچک می‌تواند نتیجه چند سال Backtest را تغییر دهد. مسئولیت‌پذیری اطمینان از صحت داده باید جزو مسئولیت مستقیم فرد باشد، نه اینکه فقط دستور بگیرد و فایل تولید کند. مستندسازی تمام فرآیندهای Data باید مستند باشند تا سیستم به دانش یک نفر وابسته نباشد. Automation Mindset اگر کاری مرتب تکرار می‌شود، انتظار می‌رود فرد به جای انجام دستی، برای آن Automation ایجاد کند.