API كشف اللغة: كيف يعمل الكشف بالثلاثيات
يحدد كشف اللغة بتواتر الثلاثيات لغة نص ما بعدّ تسلسلات الأحرف الثلاثة التي يحتويها ومقارنة هذا التوزيع بملفات تعريف محسوبة مسبقًا لكل لغة. وهي تقنية إحصائية مدمجة وسريعة لا تحتاج إلى نموذج عصبي، وهي النهج الذي يقوم عليه كاشف اللغة في ipto، الذي يغطي 76 لغة.
كيف يعمل الكشف بالثلاثيات
لكل لغة تركيبات حروف مميزة. في الإنجليزية تنتشر تسلسلات مثل "the" و"ing" و"ion"؛ وفي الإسبانية تحل محلها "ión" و"que" و"los"؛ وفي الألمانية تتكرر "sch" و"ein" و"der". والثلاثية هي ببساطة سلسلة من ثلاثة أحرف تؤخذ من النص، عادةً بعد التحويل إلى أحرف صغيرة وإزالة الأرقام وعلامات الترقيم، مع إبقاء المسافات لتصبح حدود الكلمات جزءًا من النمط. فالسلسلة " th" مثلًا تشير إلى كلمة تبدأ بـ "th".
يبني الكاشف ملف تعريف لكل لغة مسبقًا بعدّ الثلاثيات عبر مدونة مرجعية كبيرة وترتيبها بحسب التواتر. وعند الاستعلام يفعل الشيء نفسه لنصك ويقيس مدى قرب هذا التوزيع من كل ملف مخزّن. تفوز اللغة ذات المسافة الأصغر، وتعطيك الفجوة بين أفضل مرشح وثاني أفضل مرشح قيمة الثقة. ولأن الملفات جداول بحث، فإن العمل لكل طلب هو مرور واحد على النص مع بضع مقارنات. ولا حاجة إلى خدمة بعيدة، فلا شيء عن النص يضطر إلى مغادرة الخادم.
الأبجديات مقابل الثلاثيات
تكون إحصاءات الثلاثيات أنفع حين تشترك لغات كثيرة في نظام كتابة واحد. تستضيف الأبجديات اللاتينية والسيريلية والعربية والديفاناغارية لغات كثيرة، وعلى الكاشف أن يعتمد على أنماط التواتر ليميز البرتغالية من الإسبانية أو الروسية من الأوكرانية. أما اللغات التي لها أبجدية خاصة بها، مثل اليونانية والتايلاندية والكورية والتاميلية والبنغالية، فتكفي الأبجدية وحدها عادةً لتسمية اللغة، فلا حاجة إلى مقارنة التواتر. وتتطلب الصينية واليابانية عناية أكبر قليلًا، إذ يمزج النص الياباني بين الكانا وحروف هان، وهذا مؤشر قوي على اليابانية. وفي ipto تُفصل 61 لغة من أصل 76 بتواتر الثلاثيات وتُعرَف الـ 15 الأخرى من أبجديتها.
أين ينجح وأين لا ينجح
بالنسبة لنصوص الويب القصيرة مثل العناوين والتعليقات واستعلامات البحث وتذاكر الدعم، تناسب طرق الثلاثيات تمامًا. فهي تحتاج إلى قدر ضئيل جدًا من المدخلات لتعطي تخمينًا مفيدًا، وهي رخيصة التشغيل وحتمية تمامًا، ما يسهّل اختبار السلوك وتصحيحه. وقد تكون المصنفات العصبية الكبيرة أدق في الحالات الصعبة، خصوصًا مع النصوص القصيرة جدًا أو المشوشة، لكنها أغلى تشغيلًا وأصعب فحصًا. وأيهما أفضل يعتمد على احتياجات الدقة وقيودك؛ وللتوجيه والوسم، يكفي غالبًا كاشف خفيف.
اعرف أنماط فشله قبل الاعتماد عليه:
- المدخلات القصيرة جدًا. بضعة أحرف تعطي ثلاثيات قليلة جدًا. تعيد API في ipto لغة null للمدخلات التي تقل عن 10 أحرف، وللمدخلات التي تقل عن نحو 30 حرفًا قد تعطي أفضل تخمين لكنها تضبط
reliableعلى false. - اللغات الوثيقة القرابة. تشترك النرويجية والدنماركية، أو الكرواتية والصربية، في معظم ثلاثياتها. افحص المرشحين التاليين حين تكون الثقة منخفضة.
- النص متعدد اللغات. تفترض مقارنة الملفات لغة سائدة واحدة. فالفقرة التي تتبدل في منتصفها ستعيد اللغة التي تملك معظم الأحرف.
- الضوضاء. تضيف عناوين URL والشيفرة والوسوم ورموز المنتجات ثلاثيات لا تنتمي إلى أي لغة. أزلها قبل الكشف.
- اللغات النادرة. تعيد اللغة خارج المجموعة المدعومة أقرب تطابق إحصائي لا تطابقًا دقيقًا.
الاستخدام عمليًا
يمكنك لصق نص في كاشف اللغة لترى اللغة الفائزة وقيمة الثقة والمرشحين التاليين. ومن الشيفرة، استدعِ GET /v1/language?text=Bonjour؛ يُحلَّل الطلب محليًا، ولا يُرسل النص إلى مزود خارجي أو نموذج ذكاء اصطناعي، ولا يُسجَّل شيء. وتتيح الطبقة المجانية 1,000 طلب يوميًا بلا تسجيل، وتصف وثائق API حقول الاستجابة.
من الاستخدامات الشائعة اختيار لغة المصدر للترجمة، وضبط السمة lang للصفحة، وتوجيه تذاكر الدعم إلى الفريق الصحيح. ومن الأنماط المفيدة الأخرى الاقتران بين لغة النص وسياق الشبكة. اللغة إشارة عن الكاتب لا عن الاتصال، لذا ستختلف غالبًا عن مصدر الاتصال؛ فمستخدم ناطق بالإسبانية في فرنسا أو على VPN أمر طبيعي تمامًا. وإذا أردت مقارنة الإشارتين، فإن فحص VPN والوكيل لعنوان IP يساعدك على معرفة هل لاختلاف الموقع تفسير شبكي، وتعرض أداة تحليل User-Agent سياق المتصفح والجهاز. تعامل مع أي اختلاف على أنه تلميح، لا دليلًا على وجود خلل.