وصف الوظيفة
يرجى تقديم سيرتك الذاتية باللغة الإنجليزية وتحديد مستوى طلاقتك في اللغة الإنجليزية.
تربط Mindrift المتخصصين بفرص AI قائمة على المشاريع لشركات التقنية الرائدة، مع التركيز على الاختبار والتقييم وتحسين أنظمة AI.
المشاركة قائمة على المشروع وليست توظيفًا دائمًا.
ما تتضمنه هذه الفرصة نحن نبني مجموعة بيانات لتقييم وكلاء ترميز AI - مدى نجاح النموذج في التعامل مع مهام المطورين الواقعية.
ستنشئ مهامًا وتقييمات صعبة ضمن بيئات محاكاة واقعية: بناء بيئات مطور واقعية - شركة افتراضية بها قاعدة كود وبنية تحتية وسياق (تذاكر، مستندات، محادثات) تشكل تاريخ تطوير ذو مصداقية تصميم مهام من حالات وسيطة لهذه البيئات - صياغة المطالب، وتحديد ما يعني "الحل"، وضمان أن المهمة قابلة للحل بواسطة وكيل AI كتابة اختبارات تتحقق من حلول الوكيل - تقبل جميع النهج الصحيحة وترفض غير الصحيحة، لا تكون صارمة جدًا ولا متساهلة جدًا التكرار في المهام والاختبارات بناءً على تعليقات QA - مراجعة حلول الوكلاء، تحليل الإخفاقات، وتحسينها حتى يصبح التقييم عادلاً ومتينًا ما ليس هذا ليس تسمية بيانات ليس هندسة المطالبات ليس كتابة رمز من الصفر - الوكيل يكتب معظم الرمز؛ أنت توجه وتقيم ما نبحث عنه 5+ سنوات في تطوير البرمجيات المكدس الأساسي: بايثون (FastAPI)، جافا سكريبت/تايب سكريبت (React)، Docker، Postgres، Kafka، Redis خبرة في كتابة الاختبارات (أداء، تكامل) الكفاءة الإنجليزية - B2+ لماذا هذا صعب النماذج الحدوديّة جيدة في الترميز بالفعل.
إنشاء مهمة تتحدى النماذج الأفضل بشكل حقيقي أمر غير بسيط.
تحتاج إلى فهم عميق لمكان فشل النماذج وما هي السيناريوهات التي تكشف الفرق بين حل جيد وآخر سيئ.
لدى المهام العديد من الحلول الصحيحة - كتابة اختبارات تقبل جميع الحلول الصحيحة وترفض الصحيحة منها أصعب مما يبدو.
كيف يعمل النظام التقديم → اجتياز الكفاءة(الكفاءات) → الانضمام إلى مشروع → إتمام المهام → الدفع التعويض حتى 50 دولارًا/ساعة مكافئ، حسب المستوى والوتيرة.
تُقدَّر المهام بحوالي ~20 ساعة لكل منها؛ تحدد أنت جدولك الزمني.
Job description
Please submit your CV in English and indicate your level of English proficiency.
Mindrift connects specialists with project-based AI opportunities for leading tech companies, focused on testing, evaluating, and improving AI systems.
Participation is project-based, not permanent employment.
What this opportunity involves We're building a dataset to evaluate AI coding agents - how well a model handles real-world developer tasks.
You'll create challenging tasks and evaluation criteria within realistic simulated environments: Build realistic developer environments - a virtual company with codebase, infrastructure, and context (tickets, docs, conversations) that forms a believable development history Design tasks from intermediate states of these environments - craft the prompt, define what "solved" means, and ensure the task is solvable by an AI agent Write tests that verify agent solutions - accept all valid approaches and reject incorrect ones, neither too strict nor too lenient Iterate on tasks and tests based on QA feedback - review agent solutions, analyze failures, and refine until the evaluation is fair and robust What this is NOT Not data labeling Not prompt engineering Not writing code from scratch - the agent writes most of the code; you guide and evaluate What we look for 5+ years in software development Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis Experience writing tests (functional, integration) English proficiency - B2+ Why this is hard Frontier models are already good at coding.
Creating a task that genuinely challenges the best models is non-trivial.
You need to deeply understand where models fail and what scenarios reveal the difference between a good and a bad solution.
Tasks have many valid solutions - writing tests that accept all correct solutions and reject incorrect ones is harder than it sounds.
How it works Apply → Pass qualification(s) → Join a project → Complete tasks → Get paid Compensation Up to $50/hr equivalent , depending on level and pace.
Tasks are estimated at ~20 hours each; you set your own schedule.