مهندس بيانات أول

الوصف الوظيفي

تبحث الجهة عن مهندس بيانات كبير يتمتع بمهارات عالية ويتمتع بخبرة مهنية تتراوح لتصميم وبناء وصيانة خطوط أنابيب بيانات قابلة للتطوير وأنظمة معالجة تدعم التحليلات ومنتجات البيانات وقدرات الذكاء الاصطناعي/التعلم الآلي. سيكون لدى المرشح المثالي خبرة عملية قوية مع خطوط أنابيب ETL/ELT و Python و SQL و Apache Airflow و Apache Spark و Redis، إلى جانب القدرة على تطوير مسارات عمل موثوقة وقابلة للصيانة لمجموعات البيانات الكبيرة والمعقدة والمتنامية باستمرار. ستتعاون مع فرق المنتجات وذكاء الأعمال وعلوم البيانات والهندسة لتقديم مجموعات بيانات جاهزة للإنتاج وحلول بيانات عالية الأداء. المسؤوليات • تصميم وتطوير وصيانة خطوط أنابيب ETL/ELT قابلة للتطوير لاستيعاب البيانات وتحويلها والتحقق من صحتها وتسليمها. • إنشاء وجدولة وتنسيق عمليات سير عمل البيانات على مستوى الإنتاج باستخدام Apache Airflow. • تطوير وظائف معالجة البيانات الموزعة باستخدام Apache Spark. • كتابة كود Python الفعال والقابل لإعادة الاستخدام والقابل للصيانة لمعالجة البيانات والأتمتة وتطوير خطوط الأنابيب. • تطوير وتحسين استعلامات SQL المعقدة لتحويل البيانات وتحليلها والتحقق من الجودة. • تصميم خطوط أنابيب قادرة على معالجة مجموعات البيانات المنظمة وشبه المنظمة وغير المنظمة واسعة النطاق. • تنفيذ Redis للتخزين المؤقت، والوصول إلى البيانات عالية الأداء، ومتطلبات التطبيقات كثيفة البيانات عناصر. • دمج البيانات من واجهات برمجة التطبيقات (APIs)، وقواعد البيانات العلائقية، والملفات، وموفري الجهات الخارجية، والمصادر الداخلية والخارجية الأخرى. • تنفيذ التحقق من صحة البيانات، والرصد، والتسجيل، ومعالجة الأخطاء، والتنبيه، وإمكانية ملاحظة خط الأنابيب. • تحسين أداء خطوط الأنابيب، وتخزين البيانات، ووقت المعالجة، وتكاليف البنية التحتية. • تطوير أطر استيعاب البيانات وتحويلها القابلة لإعادة الاستخدام بدلاً من البرامج النصية لمرة واحدة. • استكشاف أخطاء فشل خطوط الأنابيب واختناقات الأداء ومشكلات جودة البيانات لضمان حلها في الوقت المناسب. • التعاون مع فرق ذكاء الأعمال والمنتج وعلوم البيانات والهندسة لتقديم مجموعات بيانات موثوقة وجاهزة للإنتاج. • إنشاء والحفاظ على معايير هندسة البيانات، والوثائق الفنية، وأفضل ممارسات التطوير

المتطلبات

• درجة البكالوريوس في علوم الكمبيوتر، هندسة البرمجيات، علوم البيانات، أو مجال ذي صلة
• من الخبرة المهنية في هندسة البيانات أو دور وثيق الصلة
• خبرة عملية قوية في تصميم وتنفيذ خطوط أنابيب ETL/ELT على مستوى الإنتاج
• إتقان قوي للغة Python لمعالجة البيانات، والأتمتة، وسير عمل هندسة البيانات
• مهارات SQL المتقدمة وفهم قوي لقواعد البيانات العلائقية
• خبرة عملية في الإنتاج مع Apache Airflow لتنسيق سير العمل
• خبرة عملية مع Apache Spark ومعالجة البيانات الموزعة
• فهم قوي لنمذجة البيانات، وأنماط التحول، وبنية خطوط البيانات
• تجربة مع Redis واستراتيجيات التخزين المؤقت وأنماط الوصول إلى البيانات عالية الأداء
• خبرة في معالجة مجموعات البيانات الكبيرة وتحسين أداء خطوط الأنابيب والاستعلام
• الإلمام بنظام التشغيل Linux و Git و Docker/containers وممارسات هندسة البرمجيات الحديثة
• مهارات تحليلية قوية، واستكشاف الأخطاء وإصلاحها، والتواصل، والتعاون متعدد الوظائف
• المؤهل المفضل
• تجربة مع منصات البيانات السحابية وخدمات تخزين الكائنات مثل AWS أو Azure أو GCP
• خبرة في العمل مع PostgreSQL أو مستودعات البيانات أو قواعد البيانات التحليلية
• الإلمام بـ DuckDB أو Apache Sedona أو Trino أو Presto أو التقنيات التحليلية المشابهة
• الإلمام بخطوط أنابيب CI/CD وممارسات البنية التحتية والتعليمات البرمجية
• خبرة في دعم منتجات البيانات أو منصات التحليلات أو خطوط أنابيب AI/ML

المهارات