مهندس بيانات كبير

الوصف الوظيفي

ستكون مسؤولاً عن تصميم وتطوير حلول بيانات كبيرة قابلة للتوسع تدعم التحليلات المتقدمة داخل المؤسسة. ستعمل على مجموعات بيانات ضخمة وتستخدم تقنيات حديثة لضمان معالجة فعّالة وموثوقة. تصميم وبناء وصيانة خطوط بيانات قابلة للتوسع باستخدام Apache Spark، Hadoop وKafka. التعاون مع علماء البيانات والمحللين وفرق تكنولوجيا المعلومات لتحديد المتطلبات وتقديم حلول تلبي احتياجات الأعمال. ضمان جودة البيانات وسلامتها من خلال تطبيق عمليات تحقق واختبار قوية. تحسين حلول تخزين البيانات للأداء وتقليل التكلفة في بيئات السحابة والمحلية. مراقبة وت troubleshoot سير عمل معالجة البيانات لضمان تسليم البيانات في الوقت المناسب. توثيق بنى البيانات والعمليات وسير العمل لتبادل المعرفة والامتثال. متابعة أحدث الاتجاهات وأفضل الممارسات في تقنيات ومنهجيات البيانات الكبيرة

المتطلبات

• خبرة في منصات السحابة
• الخبرة في أطر تعلم الآلة والخوارزميات تُعد ميزة إضافية
• معرفة بأفضل ممارسات حوكمة البيانات وأمنها
• إكسل
• بايثون
• جافا
• سحابة AWS
• سحابة أزور
• جوجل كلاود
• دوكر
• درجة البكالوريوس في علوم الحاسوب أو تقنية المعلومات أو مجال ذي صلة
• خبرة كمهندس بيانات كبير أو في دور هندسة بيانات مماثل
• إتقان تقنيات البيانات الكبيرة مثل Apache Spark، Hadoop، Apache Kafka
• مهارات برمجة قوية بلغة Java أو Scala أو Python
• معرفة بأطر معالجة البيانات وأدوات ETL
• عقلية تحليلية وقدرات حل مشاكل ممتازة
• مهارات تواصل قوية للتعاون مع أصحاب المصلحة الفنيين وغير الفنيين
• نهج عمل ذاتي ومحفز مع القدرة على إدارة مهام متعددة ومواعيد نهائية
• إلمام بتقنيات الحاويات وأدوات التنسيق مثل Docker وKubernetes

المهارات