Sarvam 30B

Sarvam-M (يشير الحرف "M" إلى Mistral) هو نموذج استدلال هجين يحتوي على 24 مليار مُعامل، طورته Sarvam AI اعتمادًا على Mistral Small 24B، الذي يُطرح بموجب ترخيص Apache 2.0. أزال الفريق مُشفّر الرؤية من Mistral Small الأصلي لإنشاء نموذج أساس نصي فقط، ثم طبّق خط أنابيب صارمًا للتدريب اللاحق من ثلاث مراحل: الضبط الدقيق الخاضع للإشراف (SFT)، والتعلّم المعزز بالمكافآت القابلة للتحقق (RLVR)، وتحسين الاستدلال. والنتيجة نموذج يحقق تحسنًا بنسبة +20% في معايير اللغات الهندية، و+21.6% في الرياضيات، و+17.6% في البرمجة، وتحسنًا لافتًا بنسبة +86% في GSM-8K للغات الهندية المكتوبة بالأحرف اللاتينية مقارنةً بـ Mistral Small الأساسي، متفوقًا على Llama-4 Scout في معظم المعايير، ومنافسًا لـ Llama-3.3 70B الأكبر بكثير.

بدأت مرحلة SFT بـ 11.5 مليون مطالبة جُمعت باللغتين الإنجليزية والهندية. وبعد إزالة التكرار، بقيت 7 ملايين مطالبة، رُشحت لاحقًا إلى 5.2 مليون مطالبة باللغة الإنجليزية. صنّف Llama 3.3 70B كل مطالبة من حيث الجودة والصعوبة، ثم جرى تمثيلها باستخدام gte-Qwen2-7B وتجميعها في 100,000 عنقود عبر FAISS لإزالة التكرار الدلالي داخل كل عنقود. وتكوّنت مجموعة التدريب النهائية المنقحة من 3.7 مليون عينة عالية الجودة. وقُيّمت إكمالات المطالبات بواسطة "مقيّم للقيمة الحقيقية" مخصص — وهو Llama 3.3 70B مضبوط دقيقًا ويستخدم تقييمًا موزونًا بالاحتمالات عبر الأرقام من 0 إلى 9، محققًا دقة تتجاوز 85% في جميع اللغات الهندية الـ11 المدعومة. وولّد Deepseek R1 الإكمالات الهندية الأعلى جودة، بمتوسط تقييم يزيد على 8 من أصل 9.

كان تدريب الطابع محورًا مقصودًا. فقد وُسِم نحو 0.5% من الإكمالات بسبب انحياز سياسي، وأُعيد توليدها باستخدام Perplexity R1 1776 لإزالة الميل. كما أُعيد توليد 5% إضافية خصيصًا لتعزيز الصلة الثقافية الهندية، مما أنتج استجابات تعكس السياق المحلي والتعابير والقيم المحلية. وأُجري SFT نفسه على مرحلتين: تدريب لمدة حقبتين في وضع عدم التفكير، تلاه تدريب لمدة حقبتين في وضع التفكير، مع تطبيق دمج نماذج Slerp بين المرحلتين لمزج القدرات بسلاسة.

استخدمت مرحلة RLVR خوارزمية GRPO عبر ستة مناهج متميزة للمهام: GSM8K متعدد اللغات (الاستدلال الرياضي عبر اللغات)، وMATH (رياضيات بمستوى المسابقات)، وBig Math (مجموعة رياضيات موسعة)، وExtended IFEval (اتباع التعليمات)، وفهم الشيفرة عبر Synthetic-1، وتوليد الشيفرة عبر PrimeIntellect. واستهدف منهج سابع جودة الترجمة باستخدام chrF++ كإشارة للمكافأة. عُيّنت عينات المطالبات لاستهداف معدل اجتياز يقارب 20%، للحفاظ على إشارة تعلم مفيدة. واستخدمت مهام الشيفرة مكافآت جزئية — وهي نسبة حالات الاختبار التي جرى اجتيازها، إضافةً إلى مكافأة عند الإكمال الكامل — بينما استخدمت الترجمة مكافأة نسبية تقارن درجات chrF++ بخط أساس. وضُبطت معدلات التعلم على 3e-7 لمعظم المهام، وخُفّضت إلى 2e-7 لمهام الاستدلال الأصعب.

كان تحسين الاستدلال حاسمًا للنشر الإنتاجي. فقد طبّق الفريق تكميم FP8 عبر TensorRT-LLM، مشيرًا إلى أن اختيار مجموعة بيانات المعايرة يؤثر بدرجة كبيرة في جودة النموذج المكمّم. ونُفّذ فك ترميز Lookahead لتحسين معدل المعالجة بنحو الضعف تقريبًا. ويتوفر إعدادان للنشر: إعداد عالي التزامن يحقق نحو 100 رمز في الثانية، وإعداد منخفض التزامن يحقق قرابة 300 رمز في الثانية للتطبيقات الحساسة لزمن الاستجابة.

يدعم النموذج 11 لغة هندية رئيسية — الهندية (28% من بيانات التدريب)، والبنغالية، والغوجاراتية، والكانادا، والمالايالامية، والماراثية، والأوريا، والبنجابية، والتاميلية، والتيلجو (8% لكل منها) — بثلاثة أشكال: الخط المحلي الرسمي، واللغة الممزوجة بالإنجليزية أو لغات أخرى (مثل Hinglish وTanglish)، والنقل الصوتي إلى الأحرف اللاتينية. وفي معيار Indic Vibe Check، يحقق Sarvam-M متوسطًا قدره 8.12 من 9 عبر اللغات الـ11، مقارنةً بـ7.58 لدى Llama 4 Scout و6.93 لدى Llama 3.3 70B. وعند تعزيزه باستخدام Wikipedia RAG، تقفز دقة SimpleQA من 5% إلى 72% من الإجابات الصحيحة، متفوقًا حتى على OpenAI o3 الذي يحقق 49%.

وثّق الفريق أيضًا عدة تجارب فاشلة تحقيقًا للشفافية: فقد تسبب توسيع أداة تقسيم الرموز في انخفاض المعرفة، ولم يتفوق نقل أداة تقسيم الرموز على SFT وحده، كما ثبت أن التعلم المعزز باستخدام مكافآت قائمة على LLM غير حتمي وغير موثوق. ويُظهر جدول المعايير الكامل أن Sarvam-M ينافس أو يتفوق على Mistral Small وGemma 3 27B وLlama 4 Scout وLlama 3.3 70B في مهام اللغة الإنجليزية واللغات الهندية. ويدعم النموذج وضعي التفكير وعدم التفكير — إذ يتيح وضع التفكير الاستدلال المتسلسل، بينما يوفر وضع عدم التفكير استجابات سريعة ومباشرة.

بسعر 0.35 دولار لكل مليون رمز، لكل من الإدخال والإخراج، يُعد Sarvam-M من أكثر النماذج المتقدمة بأسعار معقولة والمتاحة، مما يجعله مناسبًا لعمليات النشر الحكومية، ومنصات التعليم باللغات المحلية، وتوليد المحتوى الإقليمي، ودعم العملاء متعدد اللغات في مختلف أنحاء شبه القارة الهندية.