الوصف الوظيفي
المسمى الوظيفي: مطور منصة البيانات الضخمةالموقع: قطرالصناعة: التكنولوجيا / هندسة البيانات / التحول الرقمينوع التوظيف: دوام كاململخص الوظيفة:
نحن نبحث عن مطور منصة بيانات ضخمة ماهر ومتحمس يتمتع بخبرة تتراوح بين 4 إلى 6 سنوات في تصميم وتطوير وصيانة منصات البيانات القابلة للتوسع وأنظمة المعالجة الموزعة. يجب أن يمتلك المرشح المثالي خبرة قوية في تقنيات البيانات الضخمة، وبيئات السحابة، وتطوير خطوط أنابيب البيانات، مع القدرة على العمل على حلول بيانات ذات حجم كبير وأداء عالٍ.
سيكون المرشح مسؤولاً عن بناء بنيات بيانات قوية، ودمج مصادر بيانات متعددة، وتحسين أطر المعالجة، ودعم متطلبات التقارير والتحليلات عبر أنظمة المؤسسة.
المسؤوليات الرئيسية:
- تصميم وتطوير وصيانة منصات البيانات الضخمة القابلة للتوسع وأنظمة معالجة البيانات الموزعة.
- بناء وتحسين خطوط أنابيب ETL/ELT للبيانات المهيكلة وغير المهيكلة.
- تطوير حلول استيعاب البيانات وتدفقها باستخدام تقنيات مثل Hadoop وSpark وKafka.
- العمل مع قواعد بيانات SQL وNoSQL لتخزين البيانات واسترجاعها وتحليلها.
- تطوير خدمات الخلفية (Backend) وواجهات برمجة التطبيقات باستخدام Python وJava.
- دمج البيانات من تنسيقات متعددة بما في ذلك JSON وCSV وXML.
- تصميم وصيانة واجهات برمجة تطبيقات REST والبنيات القائمة على الخدمات المصغرة (Microservices).
- مراقبة وتحسين سير عمل البيانات، وأداء النظام، وقابلية توسع المنصة.
- التعاون مع محللي البيانات وعلماء البيانات وأصحاب المصلحة في الأعمال لدعم متطلبات التقارير ولوحات المعلومات.
- تنفيذ خطوط أنابيب الأتمتة للنشر والمراقبة والكفاءة التشغيلية.
- ضمان الحفاظ على معايير جودة البيانات ونزاهتها وأمنها وحوكمتها.
- دعم البنية التحتية القائمة على السحابة وبيئات الحوسبة الموزعة.
- استكشاف الأخطاء وإصلاحها وحل المشكلات المتعلقة بالمنصة والتكامل والأداء.
المؤهلات المطلوبة:
- درجة البكالوريوس في:
- علوم الحاسب
- هندسة البرمجيات
- الرياضيات
- الفيزياء
- علم البيانات
- أو مجال ذي صلة
- 4–6 سنوات من الخبرة العملية في تطوير منصات البيانات الضخمة أو هندسة البيانات.
المهارات التقنية المطلوبة: لغات البرمجة:
تقنيات البيانات الضخمة:
- Hadoop
- Apache Spark
- Apache Kafka
قواعد البيانات:
- قواعد بيانات SQL
- قواعد بيانات NoSQL
تنسيقات البيانات:
مهارات تقنية أخرى:
- واجهات برمجة تطبيقات REST
- بنية الخدمات المصغرة
- المنصات السحابية
- الأنظمة الموزعة
- خطوط أنابيب الأتمتة
- دعم التقارير ولوحات المعلومات
المهارات المفضلة:
- خبرة في منصات البيانات الضخمة الأصلية على السحابة (Cloud-native).
- معرفة بممارسات CI/CD وDevOps.
- الإلمام بتقنيات الحاويات (Containerization) مثل Docker أو Kubernetes.
- الاطلاع على معايير حوكمة البيانات والأمن.
- قدرات تحليلية قوية ومهارات حل المشكلات.
المستندات / معايير التقييم:
يجب أن يكون المرشحون مستعدين لتقديم:
- سيرة ذاتية محدثة
- نماذج برمجية أو أدلة على مشاريع سابقة
- أمثلة على تنفيذ منصات البيانات
- خبرة في تطوير خطوط أنابيب البيانات (ETL)
- التعرض لمشاريع التقارير/لوحات المعلومات
المهارات الشخصية:
- مهارات تواصل وتعاون قوية
- القدرة على العمل في بيئات سريعة الخطى
- عقلية تحليلية وقدرة على حل المشكلات
- الاهتمام بالتفاصيل ونهج يركز على الجودة
- القدرة على العمل بشكل مستقل وداخل فرق متعددة الوظائف
Job description
Job Title: Big Data Platform Developer
Location: Qatar
Industry: Technology / Data Engineering / Digital Transformation
Employment Type: Full-Time
Job Summary:
We are seeking a skilled and motivated Big Data Platform Developer with 4–6 years of experience in designing, developing, and maintaining scalable data platforms and distributed processing systems. The ideal candidate should have strong expertise in big data technologies, cloud environments, and data pipeline development, with the ability to work on high-volume, high-performance data solutions.
The candidate will be responsible for building robust data architectures, integrating multiple data sources, optimizing processing frameworks, and supporting reporting and analytics requirements across enterprise systems.
Key Responsibilities:
- Design, develop, and maintain scalable big data platforms and distributed data processing systems.
- Build and optimize ETL/ELT pipelines for structured and unstructured data.
- Develop data ingestion and streaming solutions using technologies such as Hadoop, Spark, and Kafka.
- Work with SQL and NoSQL databases for data storage, retrieval, and analytics.
- Develop backend services and APIs using Python and Java.
- Integrate data from multiple formats including JSON, CSV, and XML.
- Design and maintain REST APIs and microservices-based architectures.
- Monitor and optimize data workflows, system performance, and platform scalability.
- Collaborate with data analysts, data scientists, and business stakeholders to support reporting and dashboard requirements.
- Implement automation pipelines for deployment, monitoring, and operational efficiency.
- Ensure data quality, integrity, security, and governance standards are maintained.
- Support cloud-based infrastructure and distributed computing environments.
- Troubleshoot and resolve platform, integration, and performance-related issues.
Required Qualifications:
- Bachelor’s degree in:
- Computer Science
- Software Engineering
- Mathematics
- Physics
- Data Science
- or related field
- 4–6 years of hands-on experience in big data platform development or data engineering.
Required Technical Skills: Programming Languages:
Big Data Technologies:
- Hadoop
- Apache Spark
- Apache Kafka
Databases:
- SQL Databases
- NoSQL Databases
Data Formats:
Other Technical Skills:
- REST APIs
- Microservices Architecture
- Cloud Platforms
- Distributed Systems
- Automation Pipelines
- Reporting & Dashboard Support
Preferred Skills:
- Experience with cloud-native big data platforms.
- Knowledge of CI/CD and DevOps practices.
- Familiarity with containerization technologies such as Docker or Kubernetes.
- Exposure to data governance and security standards.
- Strong analytical and problem-solving abilities.
Documents / Evaluation Criteria:
Candidates should be prepared to provide:
- Updated CV/Resume
- Code samples or project evidence
- Examples of data platform implementations
- ETL/Data pipeline development experience
- Reporting/dashboard project exposure
Soft Skills:
- Strong communication and collaboration skills
- Ability to work in fast-paced environments
- Problem-solving and analytical mindset
- Attention to detail and quality-focused approach
- Ability to work independently and within cross-functional teams