نحن نبحث عن مهندس ضمان جودة أول لتولي مسؤولية الجودة عبر منتجاتنا التي تعتمد على الذكاء الاصطناعي. ستقوم باختبار الميزات المدعومة بنماذج اللغة الكبيرة (LLM) من البداية إلى النهاية، وبناء مجموعات اختبار وتقييم مؤتمتة، والمساعدة في ضمان أن كل إصدار دقيق وآمن وموثوق.
المسؤوليات
- تحديد استراتيجيات وخطط الاختبار لميزات الذكاء الاصطناعي عبر الويب، وواجهة برمجة التطبيقات (API)، والخلفية (Backend)
- تقييم مخرجات النموذج من حيث الدقة، والاتساق، والهلوسة، والتحيز، والسلامة
- بناء مجموعات بيانات التقييم، بما في ذلك الحالات الحدية والمطالبات العدائية / الفريق الأحمر (Red-team)
- تطوير وصيانة اختبارات الواجهة، وواجهة برمجة التطبيقات، والاختبارات التراجعية المؤتمتة المدمجة في مسار CI/CD
- إجراء اختبارات تراجعية على تغييرات النموذج، والمطالبات، والتكوينات
- اختبار الأداء، وزمن الوصول، ومعالجة الأخطاء، وسلوكيات الطوارئ
- الإبلاغ عن العيوب بوضوح وتقديم موافقة جاهزية الإصدار
- اختبار المخرجات غير الحتمية باستخدام مقاييس التقييم، وLLM-as-judge، والتقييم البشري، وعتبات النجاح/الفشل المحددة
- إجراء اختبارات أمان الذكاء الاصطناعي، بما في ذلك حقن المطالبات، وكسر الحماية (Jailbreaks)، وتسرب البيانات الشخصية (PII) عبر روبوتات الدردشة، وRAG، والوكلاء
- العمل مع مهندسي تعلم الآلة ومديري المنتجات لتحديد مقاييس الجودة ومعايير القبول
- مراقبة جودة الإنتاج وانحراف النموذج بعد الإصدار حيثما أمكن
المتطلبات
خبرة 7 سنوات أو أكثر في ضمان الجودة / اختبار البرمجيات، مع خلفية قوية في أتمتة الاختبارات.
- خبرة مثبتة في اختبار منتجات الذكاء الاصطناعي/تعلم الآلة أو المنتجات القائمة على نماذج اللغة الكبيرة (روبوتات الدردشة، RAG، الوكلاء، إلخ)
- خبرة عملية في البرمجة النصية بلغة Python و/أو TypeScript/JavaScript
- خبرة عملية في إطار عمل واحد على الأقل لأتمتة واجهة المستخدم (Playwright, Cypress, Selenium) وإطار عمل اختبار مثل Pytest
- اختبار واجهة برمجة التطبيقات باستخدام Postman أو REST Assured أو ما شابه
- خبرة في أدوات تقييم نماذج اللغة الكبيرة (LLM)
- مسار CI/CD والتحكم في الإصدارات: GitHub Actions أو GitLab CI أو Jenkins؛ Git
- إدارة الاختبارات وتتبعها: Jira أو TestRail أو Zephyr
- إجادة ممتازة للغة الإنجليزية كتابةً وإعداد تقارير أخطاء واضحة
يفضل وجود
- اختبار الأداء/التحميل (k6, JMeter, Locust)
- فهم هندسة المطالبات (Prompt Engineering)، والتضمينات (Embeddings)، وقواعد البيانات المتجهة
- خبرة في سلامة الذكاء الاصطناعي، أو الفريق الأحمر، أو اختبار سياسات المحتوى
- خبرة في السحابة (AWS أو GCP أو Azure) وDocker
We are looking for a Senior QA Engineer to own quality across our AI products. You will test LLM-powered features end to end, build automated test and evaluation suites, and help ensure every release is accurate, safe, and reliable.
Responsibilities
- Define test strategies and plans for AI features across web, API, and backend
- Evaluate model outputs for accuracy, consistency, hallucinations, bias, and safety
- Build evaluation datasets, including edge cases and adversarial / red-team prompts
- Develop and maintain automated UI, API, and regression tests integrated into CI/CD
- Run regression testing on model, prompt, and configuration changes
- Test performance, latency, error handling, and fallback behavior
- Report defects clearly and provide release-readiness sign-off
- Test non-deterministic outputs using scoring rubrics, LLM-as-judge, human evaluation, and defined pass/fail thresholds
- Perform AI security testing, including prompt injection, jailbreaks, and PII / data leakage across chatbots, RAG, and agents
- Work with ML engineers and product managers to define quality metrics and acceptance criteria
- Where applicable, monitor production quality and model drift after release
Requirements
7+ years of experience in QA / software testing, with strong test automation background.
- Proven experience testing AI/ML or LLM-based products (chatbots, RAG, agents, etc.)
- Hands-on scripting experience in Python and/or TypeScript/JavaScript
- Hands-on with at least one UI automation framework (Playwright, Cypress, Selenium) and a test framework such as Pytest
- API testing with Postman, REST Assured, or similar
- Experience with LLM evaluation tools
- CI/CD and version control: GitHub Actions, GitLab CI or Jenkins; Git
- Test management and tracking: Jira, TestRail, or Zephyr
- Excellent written English and clear bug reporting
Nice to Have
- Performance/load testing (k6, JMeter, Locust)
- Understanding of prompt engineering, embeddings, and vector databases
- Experience with AI safety, red-teaming, or content policy testing
- Cloud experience (AWS, GCP, or Azure) and Docker