مهندس بيانات L1

الوصف الوظيفي

نحن نبحث عن مهندس بيانات L1 متحمس وقوي تقنيًا للانضمام إلى فريق البيانات والتحليلات المتنامي لدينا. في هذا الدور، ستكون مسؤولاً عن تصميم وبناء وصيانة بنية البيانات والبنية التحتية التي تدعم استراتيجية البيانات الخاصة بمؤسستنا. ستعمل بشكل عملي على تطوير واختبار ونشر حلول البيانات الموثوقة - مما يضمن أن تكون خطوط الأنابيب قابلة للتطوير وفعالة ومتوافقة مع متطلبات العمل. هذه فرصة مثالية لمتخصص البيانات الذي يتوق إلى تعميق خبرته في منصات البيانات السحابية الأصلية، لا سيما ضمن النظام البيئي Microsoft Azure و Databricks، والذي يزدهر في بيئة تعاونية سريعة الخطى. المسؤوليات الرئيسية • تصميم وتطوير وصيانة خطوط أنابيب بيانات قابلة للتطوير وسير عمل ETL/ELT لدعم ذكاء الأعمال وحالات استخدام التحليلات. • بناء وتحسين عمليات استيعاب البيانات باستخدام Azure Data Factory و Databricks، مما يضمن جودة البيانات واتساقها عبر جميع طبقات النظام الأساسي للبيانات. • تحويل مجموعات البيانات الكبيرة ومعالجتها باستخدام PySpark و Python، وتطبيق أفضل الممارسات فيما يتعلق بالأداء وقابلية الصيانة. • كتابة وتحسين استعلامات SQL المعقدة لدعم التقارير التحليلية ومتطلبات التحقق من صحة البيانات. • التعاون مع مهندسي البيانات وكبار المهندسين لتنفيذ وصيانة نماذج البيانات المتوافقة مع المعايير التنظيمية. • شاشة، استكشاف الأخطاء وإصلاحها وحل حالات فشل خطوط الأنابيب ومشكلات جودة البيانات، وتطبيق تحليل السبب الجذري لمنع التكرار. • المساهمة في توثيق خطوط أنابيب البيانات وقواميس البيانات والمعايير الهندسية. • دعم الفريق في استكشاف وتقييم الأدوات والأساليب الجديدة للتحسين المستمر للبنية التحتية للبيانات

المتطلبات

• 3+ سنوات من الخبرة المهنية في هندسة البيانات أو دور وثيق الصلة
• كفاءة قوية في لغة بايثون لمعالجة البيانات، والتحويل، ومهام الأتمتة
• التدريب العملي على الخبرة مع Pandas لمعالجة البيانات و PySpark لمعالجة البيانات الموزعة
• تجربة بناء وإدارة خطوط أنابيب البيانات باستخدام Azure Data Factory
• معرفة عملية بـ Azure الجهة Analytics، وخاصة تكامل Spark Pool
• مهارات SQL الصلبة، بما في ذلك كتابة الاستعلام، والتحسين، وضبط الأداء
• فهم مفاهيم إدارة البيانات والأمن ضمن منصة البيانات السحابية
• من الجميل أن يكون لديك
• تجربة مع مشاريع ترحيل SQL Server، بما في ذلك تحويل المخطط وحركة البيانات
• التعرض لـ Terraform لتوفير البنية التحتية لـ Azure وإدارتها
• الإلمام بممارسات CI/CD المطبقة على سير عمل هندسة البيانات
• تجربة مع مفاهيم الجهة تقاسم أو الجهة ليكهاوس
• متطلبات الشهادة
• البيانات بنية وقدرات منصة Lakehouse Platform
• سير عمل ETL و ELT باستخدام Spark SQL و PySpark
• معالجة البيانات المتزايدة والتدفق المنظم
• تطوير خطوط الإنتاج وتنسيقها
• إدارة البيانات وأمنها داخل بيئة Databricks

المهارات