مهندس تقييم الذكاء الاصطناعي

الوصف الوظيفي

تم إدراج هذا المنصب نيابة عن شركة شريكة، والتي تدير جميع الطلبات والخطوات التالية. يبحث شريكنا عن مهندس تقييم الذكاء الاصطناعي مقره في المملكة العربية السعودية. باعتبارك مهندس تقييم الذكاء الاصطناعي المؤسس، ستقوم بتصميم وبناء البنية التحتية للتقييم والاختبار والملاحظة التي تضمن أداء عملاء الذكاء الاصطناعي على مستوى الإنتاج بشكل موثوق وآمن وفعال. ستقوم بتطوير أنظمة اختبار آلية للاستدلال المعقد، والمحادثات متعددة المنعطفات، وتفاعلات الوكلاء التي تتضمن واجهات برمجة التطبيقات، وقواعد البيانات، وتنفيذ التعليمات البرمجية. من خلال العمل عبر هندسة الذكاء الاصطناعي واختبار البرمجيات والبنية التحتية، ستنشئ مسارات تقييم قابلة للتطوير تتجاوز ضمان الجودة التقليدي والاختبار الفوري اليدوي. ستقوم بإنشاء اختبار انحدار قوي وطرق تقييم إحصائي وسيناريوهات الخصومة لتحديد نقاط الضعف قبل النشر. هذه فرصة لتولي ملكية بنية التقييم من الألف إلى الياء أثناء العمل باستخدام تقنيات الذكاء الاصطناعي الحديثة في بيئة بعيدة تمامًا وموزعة عالميًا. سيساهم عملك بشكل مباشر في الموثوقية والأمن والتحسين المستمر لأنظمة الذكاء الاصطناعي المتقدمة. ### المسؤوليات تصميم وبناء وصيانة خطوط أنابيب اختبار CI / CD الآلية للتحقق من صحة سلوك وكيل الذكاء الاصطناعي قبل النشر وطوال دورة حياة التطوير. تطوير وصيانة مجموعات البيانات الذهبية التي تحتوي على regres المطالبات وحالات الحافة والسيناريوهات الاصطناعية لقياس دقة الوكيل وسلامته وأدائه ووقت الاستجابة. تنفيذ فحوصات تقييم حتمية سريعة وفعالة من حيث التكلفة قبل تقديم مناهج LLM-as-a-قاضي، بما في ذلك التحقق من صحة مخطط JSON، والتعبيرات العادية، والتحقق من حالة API، وتضمين التشابه. إنشاء مجموعات اختبار شاملة لمحادثات الوكيل متعددة المنعطفات، وتقييم الاحتفاظ بالسياق، واتساق الحالة، وسلوك التفكير، والضمانات ضد حلقات استدعاء الأدوات اللانهائية. تصميم وتنفيذ سيناريوهات اختبار الخصومة لتقييم المرونة ضد الحقن الفوري، والمدخلات المشوهة، واستجابات الأدوات غير المتوقعة، ونقاط الضعف الأمنية المحتملة الأخرى. بناء أطر تقييم إحصائية لقياس سلوك الذكاء الاصطناعي غير الحتمي باستخدام معدلات النجاح عبر عمليات تشغيل متعددة، وفترات الثقة، ومقاييس الموثوقية الكمية الأخرى. دمج سير عمل التقييم في إجراءات GitHub أو أنظمة CI المماثلة باستخدام التنفيذ على مستوى SDK وممارسات الاختبار الآلي. تنفيذ حلول المراقبة والتتبع باستخدام أدوات مثل OpenTelemetry، أو LangSmith، أو Arize Phoenix، أو W&B Weave، أو الأنظمة الأساسية المكافئة لمراقبة تنفيذ الوكيل وتشخيص حالات الفشل. تحسين كفاءة التقييم والتكلفة من خلال التخزين المؤقت، والاستهزاء، وغيرها من التقنيات التي تقلل من استدعاءات LLM API غير الضرورية. التحقق من صحة المخرجات المنظمة، بما في ذلك ملفات JSON chemas، ومواصفات OpenAPI، وحمولات استدعاء الوظائف، لضمان تفاعل الوكلاء بشكل موثوق مع الأنظمة الخارجية. تقييم وتحسين أداء الوكيل تحت الحمل، مع مراعاة أوقات الاستجابة المتغيرة وسلوك نقطة النهاية غير الحتمية. تصميم وامتلاك بنية التقييم بشكل مستقل، وإنشاء أفضل الممارسات، ومعايير الاختبار، والعمليات القابلة للتطوير لضمان الجودة المستمر. ## المتطلبات إتقان قوي للغة Python أو TypeScript، خاصة لاختبار واجهة برمجة التطبيقات (API)، والتنفيذ بدون رأس، والبرمجة غير المتزامنة، وأنظمة الاختبار الآلية. خبرة عملية في بناء خطوط تقييم LLM أو أطر اختبار الذكاء الاصطناعي أو أنظمة الاختبار الإحصائية القادرة على قياس الأداء عبر عمليات التشغيل المتكررة. خبرة في دمج الاختبارات الآلية في بيئات CI/CD، وخاصة إجراءات GitHub أو الأنظمة الأساسية المماثلة، مع التنفيذ على مستوى SDK. خبرة قوية في التحقق من صحة البيانات والمخرجات المنظمة، بما في ذلك مخطط JSON، ومواصفات OpenAPI، وحمولات استدعاء الوظائف. الإلمام بأدوات المراقبة والتتبع مثل OpenTelemetry أو LangSmith أو Arize Phoenix أو W&B Weave أو حلول التسجيل المخصصة. القدرة على تصميم وتنفيذ وصيانة بنية التقييم بشكل مستقل من الصفر، مع شعور قوي بالملكية والحكم الفني. لغة إنجليزية ممتازة كتابةً وتحدثاً، مع القدرة على التواصل النتائج الفنية واضحة في فريق موزع. توافر التداخل مع ساعات العمل بالتوقيت المركزي للولايات المتحدة لمدة ثلاث ساعات على الأقل كل يوم. تجربة مع صناديق حماية تنفيذ التعليمات البرمجية أو أطر عمل وكيل الذكاء الاصطناعي مثل LangChain أو LlamaIndex أو AutoGen أو CrewAI. فهم قوي لتضمين النماذج وقواعد بيانات المتجهات وتطبيقاتها في تقييم الذكاء الاصطناعي والاختبار القائم على التشابه. خبرة في اختبار الحمل لنقاط النهاية غير المحددة وتقييم سلوك النظام في ظل أعباء عمل مختلفة. نهج استباقي وتحليلي لحل المشكلات، مع القدرة على العمل بشكل مستقل، والتكيف مع التقنيات المتطورة، والتحسين المستمر لمنهجيات الاختبار. ## الفوائد العمل عن بعد: اعمل من أي مكان باستخدام اتصال إنترنت موثوق، مع المرونة في اختيار المنطقة الزمنية و. ساعات العمل المفضلة لديك. جدول زمني مرن: قم بتنظيم يوم عملك وفقًا لإنتاجيتك مع الحفاظ على التداخل المطلوب مع التوقيت المركزي للولايات المتحدة. التطوير المهني: يمكنك الوصول إلى التدريب المدفوع والفرص الأخرى لتوسيع خبرتك الفنية ودعم نمو حياتك المهنية. التكنولوجيا الحديثة: العمل باستخدام أدوات الذكاء الاصطناعي وأطر العمل والممارسات الهندسية المعاصرة في بيئة تقدر الابتكار والتحسين المستمر. فرص المشروع المتسقة: استفد من التدفق المستمر للمنتجات الجذابة والصعبة أعمال تطوير uct. تقدير الأداء: يمكن مكافأة الأداء القوي والتفاني من خلال زيادات سنوية في الأجور. التعويض القابل للتفاوض: سيتم تحديد السعر المبدئي للساعة بناءً على مهاراتك وخبرتك ومؤهلاتك. ترتيب المقاول المستقل: يعتمد التعويض على ساعات العمل، مع سداد الدفعات شهريًا عبر التحويل البنكي. بيئة عمل مرنة: استمتع بالاستقلالية في العمل في بيئة تدعم تركيزك واستقلاليتك وتطويرك المهني. كيفية عمل الجهة: نحن نستخدم عملية مطابقة مدعومة بالذكاء الاصطناعي لضمان مراجعة طلبك بسرعة وموضوعية وعادلة وفقًا للمتطلبات الأساسية للوظيفة. يقوم نظامنا بتحديد المرشحين الأفضل، ومن ثم تتم مشاركة هذه القائمة المختصرة مباشرةً مع شركة التوظيف. تتم إدارة القرار النهائي والخطوات التالية (المقابلات والتقييمات) من قبل فريقهم الداخلي. نحن نقدر اهتمامك ونتمنى لك الأفضل! [لماذا التقديم من خلال الجهة؟]( إشعار خصوصية البيانات: من خلال تقديم طلبك، فإنك تقر بأن الجهة سوف يقوم بمعالجة بياناتك الشخصية لتقييم ترشيحك ومشاركة المعلومات ذات الصلة مع صاحب العمل. تعتمد هذه المعالجة على المصلحة المشروعة وإجراءات ما قبل التعاقد بموجب قوانين حماية البيانات المعمول بها (بما في ذلك اللائحة العامة لحماية البيانات). يجوز لك ممارسة حقوقك (الوصول، التصحيح، المحو، الاعتراض) في أي وقت. لي-CL1

المتطلبات

• ## المتطلبات * إتقان قوي للغة Python أو TypeScript، خاصة لاختبار واجهة برمجة التطبيقات (API)، والتنفيذ بدون رأس، والبرمجة غير المتزامنة، وأنظمة الاختبار الآلية. خبرة عملية في بناء خطوط تقييم LLM، أو أطر اختبار الذكاء الاصطناعي، أو أنظمة الاختبار الإحصائية القادرة على قياس الأداء عبر عمليات التشغيل المتكررة. خبرة في دمج الاختبارات الآلية في بيئات CI/CD، وخاصة إجراءات GitHub أو الأنظمة الأساسية المماثلة، مع التنفيذ على مستوى SDK. القدرة على تصميم وتنفيذ وصيانة هيكلية التقييم بشكل مستقل من الصفر، مع شعور قوي بالملكية والحكم الفني. لغة إنجليزية ممتازة كتابةً وتحدثًا، مع القدرة على توصيل النتائج التقنية بوضوح في فريق موزع. التوفر للتداخل مع ساعات العمل بالتوقيت المركزي الأمريكي لمدة ثلاث ساعات على الأقل كل يوم. تجربة مع صناديق حماية تنفيذ التعليمات البرمجية أو أطر عمل وكيل الذكاء الاصطناعي مثل LangChain أو LlamaIndex أو AutoGen أو CrewAI. خبرة في اختبار الحمل لنقاط النهاية غير المحددة وتقييم سلوك النظام في ظل أعباء عمل مختلفة. نهج استباقي وتحليلي لحل المشكلات، مع القدرة على العمل بشكل مستقل، والتكيف مع التقنيات المتطورة، والتحسين المستمر لمنهجيات الاختبار. ## الفوائد * **العمل عن بعد بالكامل:** العمل من أي مكان باستخدام اتصال موثوق بالإنترنت، مع المرونة في اختيار المنطقة الزمنية المفضلة لديك ومواعيد العمل. جدول زمني مرن:** قم بتنظيم يوم عملك وفقًا لإنتاجيتك مع الحفاظ على التداخل المطلوب مع التوقيت المركزي للولايات المتحدة. التعويض القابل للتفاوض: ** سيتم تحديد سعر الساعة المبدئي الخاص بك بناءً على مهاراتك وخبرتك ومؤهلاتك

المهارات