برمجة محرك إملاء للّغة العربية

وعليكم السلام أخي بشير،

شكراً على الرد السريع ،

بالنسبة لموضوع الذكاء الاصطناعي ومعالجة اللغات الطبيعية..

إن كلمة NLP معروف أنها تعني Neuro-Linguistic Programming أي : البرمجة اللغوية العصبية .. وهي من التطبيقات الحديثة لعلم النفس..

لذلك عندما أبحث عن NLP فإن محرك البحث سيخرج الكثير من النتائج التي لا أريدها :)

أنا بحاجة إلى كتابة خوارزميات جديدة خاصة باللغة العربية ،

لأنني بصراحة لا أريد إعادة اختراع العجلة وأضيع وقتي في برمجة شيء موجود أصلاً ؛ بل أريد إنتاج شيء جديد أفضل من الموجود حالياً ،

بحيث في النهاية تصبح محركات اللغة الخاصة باللغة العربية تضاهي وتتفوق على محركات اللغة الإنجليزية ،

وهذا ليس بالمستحيل.

لغتنا تملك القدرة وتمتلك الأدوات التي تمنحها سلاسة وليونة ودقة وغزارة أكثر من اللغة الإنجليزية ،

أبعاد المشروع واسعة..

سأبدأ إن شاء الله بدراسة NLP وحدي ، وأعتقد أن تنفيذ المشروع سيقتصر علي أيضاً .

أسأل الله أن يسهل هذا الأمر ويهونه عليّ..

أرجو أن ترشدوني إلى الخطة المناسبة لتنفيذ هذا المشروع،

هذا هو المخطط الحالي الذي وضعته :

1- دراسة الذكاء الاصطناعي AI بتعمق

2- ثم دراسة natural language processing (NLP)

3- كتابة الخوارزميات الجديدة التي تدعم اللغة العربية والغير متوفرة سابقاً والتعديل على الخوارزميات الموجودة سابقاً حسب الحاجة وتجهيز كافة الخوارزميات التي يحتاجها المشروع writing Algorithms

4- برمجة المشروع باستخدام لغة البرمجة المناسبة Coding

5- تجربة البرنامج والتأكد من صحة التنفيذ . Testing

في انتظار ردودكم ونصائحكم البناءة ..

أخوكم

عـــلاء

;)

هنا صفحة في موقع Microsoft عن NLP :

http://research.microsoft.com/nlp/

اقتباس

أنا بحاجة إلى كتابة خوارزميات جديدة خاصة باللغة العربية ،

أخي العزيز كما ذكرت لك سابقا أنت لست بحاجة لكتابة أي خوارزمية جديدة على الاطلاق لأن الخوارزميات المختصة بهذا الاتجاه تستعمل لكل اللغات فخوارزميات NLP تسمح للمبرمج باضافة قواعد اللغة المراد تنفيذ المشروع ضمنها يعيي لو أردت تنفيذ هذا المدقق على اللغة الكردية فانني كل ما أحتاجه هو دراسة الخوارزمية ثم دراسة خصوصية القواعد اللغوية للكردية و بنفس الأسلوب للغة العربية

اقتباس

لأنني بصراحة لا أريد إعادة اختراع العجلة وأضيع وقتي في برمجة شيء موجود أصلاً ؛ بل أريد إنتاج شيء جديد أفضل من الموجود حالياً ،

بحيث في النهاية تصبح محركات اللغة الخاصة باللغة العربية تضاهي وتتفوق على محركات اللغة الإنجليزية ،

وهذا ليس بالمستحيل.

لغتنا تملك القدرة وتمتلك الأدوات التي تمنحها سلاسة وليونة ودقة وغزارة أكثر من اللغة الإنجليزية

حسنا ... أنا أتفق معك لكن هذا المنظور هو منظور نظري فقط .... يعني بامكانك انجاز ما تريده بعد الوصول لمستوى معين بمجال الذكاء الصنعي لكن و لو قلنا أنك استعملت الأسلوب الحالي بمعالجة اللغات الطبيعية و أنجزت المشروع بالكامل ثم ظهر أسلوب جديد للمعالجة فهل تتوقع أن ترمي بما قمت به في سهلة المهملات !!!!! طبعا بالتأكيد لا لا لا .... استعمال خوارزميات الذكاء يسمح بالتطوير الدائم دون الغاء السابق يعني مشكلتك ستصبح تعديل بالعبارات البرمجة فقط لأن مفهوم الذكاء يتمحور حول دراسة الأفعال و ردود الأفعال و التدريب و و و و أي لغة البرمجة شيء ثانوي يستعمل لتنفيذ الفكرة الذكية فقط و هو ليس محور الذكاء

اقتباس

سأبدأ إن شاء الله بدراسة NLP وحدي ، وأعتقد أن تنفيذ المشروع سيقتصر علي أيضاً .

أسأل الله أن يسهل هذا الأمر ويهونه عليّ..

أرجو أن ترشدوني إلى الخطة المناسبة لتنفيذ هذا المشروع،

هذا هو المخطط الحالي الذي وضعته :

1- دراسة الذكاء الاصطناعي AI بتعمق

2- ثم دراسة natural language processing (NLP)

3- كتابة الخوارزميات الجديدة التي تدعم اللغة العربية والغير متوفرة سابقاً والتعديل على الخوارزميات الموجودة سابقاً حسب الحاجة وتجهيز كافة الخوارزميات التي يحتاجها المشروع writing Algorithms

4- برمجة المشروع باستخدام لغة البرمجة المناسبة Coding

5- تجربة البرنامج والتأكد من صحة التنفيذ . Testing

أعود و أذكرك بما رددت عليك في الرسالة الخاصة .... المرحلة رقم 3 لا حاجة لها على الاطلاق ... قم بالانضمام الى أحد المشاريع الكبرى بهذا المجال لأن العمل لوحدك بشكل فردي غير مجدي .... و أحب أن أنوه لك أن arabeyes.org عندهم مشروع مفتوح المصدر و ينافس المدقق الخاص بمايكروزفت بكثير و اسمه "دؤلي" انضم اليه بعد دراسة مبادئ الذكاء الأساسية ثم NLP و أنا متأكد بعد التوفيق من الله من أنك ستنجح بكل تأكيد ... و هذا رابط مشروع "دؤلي" :

http://www.arabeyes.org/project.php?proj=Duali

هذه وجهة نظري حسب ما أعلم .... بانتظار مساهمات الأخوة للوصول الى نتيجة مفيدة

الحمد لله أنني لست بحاجة لكتابة خوارزميات جديدة ،

أشكرك على ردك المفصل،

قمت البارحة بالبحث عن بضع كتب تتعلق بالموضوع ووضعتها في الرابط التالي :

http://ebooks.tipsclub.com/index.php?act=category&id=44

والبداية ستكون مع دراسة مبادئ الذكاء الاصطناعي الأساسية من كتاب Artificial Intelligence: A Modern Approach

ثم NLP

ثم ألتحق بمشروع دؤلي وأحاول الاستفادة منه قدر الإمكان..

وجزاكم الله كل خير،

أخوكم

علاء

إذا لم تخنّي الذاكرة..

فإن أحد المشرفين القدامى كان ضمن فريق برمجة محرك اللغة العربية الذي أنتجته IBM وباعته لشركة Microsoft

أعتقد أنه أحد هؤلاء الأخوة : خضر الترزي / هاني الأتاسي / تركي العسيري

من منهم بالضبط ؟

ربما يستطيع أن يفيدنا من خبرته في هذا المجال

السلام عليكم

لست أدري إن كان هذا الرد سيفيد أم لا

ولكن لهذا الكتاب مجموعة على الياهوو على ما أذكر أ اسمها aima talk

لعلك بالإنضمام إليها تجد ما تبغي أو ما قد يساعدك هم يتاقشون في الكتاب وفي تفاصيله

أريد أن اسأل هـنا .... هل بإمكان هذه المحركات ... إعراب الكلمات باللغـة العربية ومعرفة الأخطاء النحـوية .. أم أنها فقط إملائية

اقتباس

أريد أن اسأل هـنا .... هل بإمكان هذه المحركات ... إعراب الكلمات باللغـة العربية ومعرفة الأخطاء النحـوية .. أم أنها فقط إملائية

نعم .. و اليك هذا البرنامج البسيط ... لكنه تجاري

http://www.elariss.com/ar/Languages%20Series/008.html

و يوجد لشركة صخر باع كبير بهذا المجال و هي متفردة بهذه الساحة و دون أي منافس حتى أنه توجد اتفاقيات معها على مستوى شركات ضخمة مثل Microsoft و SUN و العديد

بحثت في موقع شركة صخر .. ولم أجد منتجات تقوم بإعراب الجملة كاملة .. بل فقط محلل صرفي ... يقوم بإيجاد جذر الكلمـة ومعرفة جميع تصريفاتها .... بالنسبة للبرنامج المذكـور فإن كان بالفعل يحقق هذا الهـدف .. فهـو بالفعل برنامج يستحق أن يُدفع لأجله ... لكن الذي أقصده هـنا ؛ مثلاً في هذه الجملة:

أكل التفاحـةَ

ملاحظة: كلمة التفاحـة مفتوحـة وليست مضمومـة...

هل سيستطيع الحاسب أن يدرك أن التفاحـة هي مفعول به منصوب وعلامة نصبه الفتحـة .. وبالتالي (إذا كان عبارة عـن مدقق نحـوي في إحدى المحررات) فلن يقول شيئاً وسيستمر في العـمل ... أم أنه سيعترض ويصدر خطأ ويعتبر التفاحـة فاعل وبالتالي يضمها ...

هل بإمكان مثل هذه البرامج التجارية أن تصل إلى هذه النقطـة ..... أم أنه أصلاً ليس هـناك خوارزميات تنجح في هذا التمييز الدقيق ...

اقتباس

بحثت في موقع شركة صخر .. ولم أجد منتجات تقوم بإعراب الجملة كاملة .. بل فقط محلل صرفي

بسبب ظروف شركة صخر المالية توجهت الشركة الى البرمجيات على مستوى الشركات و المنظمات و ليس على مستوى الأفارد أي أن برنامجها المتعلق بقواعد اللغة العربية هو جزء من برنامج و ليس ببرنامج خاص بهذا المجال و موجه للطلبة أو لدارسي اللغة .

اقتباس

ملاحظة: كلمة التفاحـة مفتوحـة وليست مضمومـة... هل سيستطيع الحاسب أن يدرك أن التفاحـة هي مفعول به منصوب وعلامة نصبه الفتحـة

نعم ...

اقتباس

هل بإمكان مثل هذه البرامج التجارية أن تصل إلى هذه النقطـة ..... أم أنه أصلاً ليس هـناك خوارزميات تنجح في هذا التمييز الدقيق ...

لقد و صلت و تعدّت ذلك بكثير لكن المشكلة أنه لا توجد سوق برمجية على مستوى الأفراد بسبب مشكلة الكراكات و الأنظمة المغلقة المصدر ... يعني أضرب لك مثال بالرغم من أن شركة صخر تعمل برامج مغلقة المصدر الا أنني لدى سؤالي لهم لبعض النقاط الحساسة ببرنامج OCR قاموا بالاجابة على تساؤلي و بشكل مفصل و احترافي ... يعني مشكلة هذه الشركات أن أخلاق الزبائن عندنا فاسدة

أخي بشير،

هل أفهم من كلامك أن برنامج الإعراب الآلي غير متوفر بالسوق العربية ولن أتمكن من شرائه ؟

إذا كان متوفر.. أين أجده ؟ وكم سعره؟

برنامج الاعراب الآلي الخاص بصخر .... معلوماتي أنه غير متوفر للأفراد

اما برنامج شركة العريس فهو موجود بالتأكيد بالسوق على كل راسل الشركة و هم يعطوك التفاصيل ...