مهندس تقييم الذكاء الاصطناعي

الوصف الوظيفي

دور مهندس تقييم الذكاء الاصطناعي في السعودية يركز على تصميم وبناء بنية التقييم والاختبار والرصد لضمان أداء الوكلاء الذكائيين بصورة موثوقة وآمنة وفعّالة. يطور أنظمة اختبار تلقائية للتفكير المعقد، المحادثات متعددة الجولات، وتفاعلات الوكلاء مع APIs وقواعد البيانات وتنفيذ الشيفرة. يعمل عبر هندسة الذكاء الاصطناعي، اختبار البرمجيات، والبنية التحتية لإنشاء خطوط تقييم قابلة للتوسع تتجاوز اختبارات QA التقليدية. ينشئ اختبارات انحدار قوية، طرق تقييم إحصائية، وسيناريوهات عدائية لتحديد نقاط الضعف قبل النشر. يدير بنية تقييم من الصفر في بيئة عمل عن بُعد موزعة عالمياً، ويساهم مباشرة في موثوقية وأمان وتحسين الأنظمة الذكائية المتقدمة

المتطلبات

• إتقان تصميم وبناء وصيانة خطوط اختبار CI/CD تلقائية
• إتقان تطوير مجموعات بيانات ذهبية للانحدار والحالات القصوى
• إتقان تنفيذ فحوصات تقييم سريعة وفعّالة من حيث التكلفة
• إتقان إنشاء مجموعات اختبار شاملة للمحادثات متعددة الجولات
• إتقان تصميم سيناريوهات اختبار عدائية
• إتقان بناء أطر تقييم إحصائية
• إتقان دمج تدفقات التقييم مع GitHub Actions أو أنظمة CI مماثلة
• إتقان تطبيق حلول رصد وتتبع مثل OpenTelemetry أو LangSmith أو Arize Phoenix أو W&B Weave
• إتقان تحسين كفاءة التقييم وتقليل تكلفة استدعاءات LLM
• إتقان التحقق من المخرجات المهيكلة مثل JSON schemas وOpenAPI
• إتقان محاسبة
• إتقان جيت

المهارات