مهندس بيانات أول

الوصف الوظيفي

• تصميم وتطوير وصيانة خطوط أنابيب بيانات قابلة للتطوير لجمع مجموعات البيانات الكبيرة وتخزينها ومعالجتها بكفاءة.

• تطوير وتصميم أفضل الممارسات حول جمع البيانات والحفاظ على تنسيق تدفقات البيانات، للدفعات، والبيانات في الوقت الفعلي تقريبًا.

• المشاركة في تقييم ونشر أدوات البيانات الضخمة ذات الصلة بالتطوير.

• القدرة على تحديد الأنظمة الأساسية والتقنيات والمنهجية المختلفة المستخدمة في منصات البيانات الضخمة، وإظهار أنظمة مختلفة في المؤسسة.

• تحسين وضبط أنظمة البيانات لتحقيق الأداء والموثوقية.

• تطوير وتنفيذ نماذج ومخططات البيانات لدعم ذكاء الأعمال واحتياجات التحليلات.

• مراقبة خطوط البيانات واستكشاف الأخطاء وإصلاحها لضمان التشغيل السلس والفعال.

• البقاء على اطلاع بأحدث التطورات في هندسة البيانات ودمجها في البنية التحتية للبيانات لدينا.

• توثيق بنيات هندسة البيانات واتباع أفضل الممارسات

المتطلبات

• خبرة في تنفيذ حلول تخزين بيانات قابلة للتطوير وموثوقة وفعالة باستخدام PostgreSQL و الجهة
• خبرة في تعزيز أداء تطبيقات البيانات الضخمة، بما في ذلك تحسين عمليات النظام
• درجة البكالوريوس أو الماجستير في علوم الكمبيوتر أو علوم البيانات أو مجال ذي صلة
• أكثر من 5 سنوات من الخبرة كمهندس بيانات أو دور مماثل
• مهارات برمجة قوية في Python
• خبرة في إدارة نظام UNIX باستخدام سطر الأوامر
• خبرة في أطر معالجة البيانات مثل Airflow و Airbyte و DBT و Hadoop و Spark و Hive و Kafka
• والكفاءة في SQL و expe. rience مع قواعد البيانات العلائقية
• المعرفة بنمذجة البيانات وعمليات ETL وحلول تخزين البيانات
• معرفة هيكلة البيانات في مخططات مختلفة مناسبة لبحيرة البيانات أو المستودعات أو الأسواق

المهارات