الخوارزميات الحاسوبية في التحليل والتوليد الصرفي للأسماء العربية

وعليكم السلام ورحمة الله وبركاته ..

اشرحي اختي بارك الله فيكي , لكي نفهم ماذا تريدين بالظبط..

بالتوفيق

أمامي الآن قواعد عربية تراثية في الصرف العربية

أريد تحويلها لخوارزميات حتى تبرمج بعدها في برنامج يولد أسماء عربية ويحللها

فإذا أدخلنا مثلا كلمة محمديّ حللها بالطرية التالية

محمد + ياء النسب

المحمديون

ال + محمد + ياء النسب + ون جمع المذكر

وفي التوليد نطلب النسب المجموع من محمد فيعطينا

المحمديون

وهكذا

صراحتا اختي ولكي لا اشعركي انني لم انتبه لمشاركتك اردت ان ارد هذا الرد , اريد برهه من الزمن لكي افكر في الموضوع قليلا , لكي ارد رد جيد دون عشوائيه بسبب الارهاق :(

ولكن فكرت في الخوارزميه الجينيه لا اعلم لماذا , اتمنى ان تشاهدي الملف المرفق لكتابة كلمة Hello World باستخدام الخوارزميه الجينيه ..

وغدا لي رد اخر افضل ان شاء الله .. بالتوفيق

__________________.rar

التميمية كتب:

أبحث في مجال التحليل والتوليد الصرفي العربي في مجال الأسماء

وأراكم تتحدثون عن خوارزميات مستعملة في استرجاع المعلومات

فهل لمجالي التحليل والتوليد الصرفي في اللغة العربية خوارزميات خاصة تعتمد

أرجو مساعدتي في ذلك

مع جزيل الشكر

لا ليس هناك خوارزميات خاصة للتحليل والتوليد الصرفي في اللغة العربية فقط ولكن أكثر الشغل على الإنجليزية وإنما قد يقوم

الباحثون المهتمون بتوليد تراكيب اللغة العربية أتوماتيكيا Natural Language generation باستخدام خوارزميات معموله للإنجليزي ولكن يتم تعديلها وتوليفها

لكي تناسب عدة مستويات المفردات morphems والقواعد syntax والمعاني semantics وتراكيب الجملpragmatics and phrases في اللغة العربية

وهو موضوع من مواضيع معالجة اللغات الطبيعيه natural language processing اي لغة الإنسان وليس اللغات الصناعية machine languages

اعتقد انه المشكله تحتوي عدة عمليات

وقد تكون أهم عملية هي part of speech Tagging

الموضوع مهم ولكن أين همة الباحثين ؟!!!

وممكن الإستفادة من هذه الروابط: وشوفوا الناس مش عرب ولكن يخدموا اللغة العربية ويحللون القرءان الكريم :blush:

وافضيحتاه على عرب اليوم !!!

http://corpus.quran.com/

http://mailman.uib.no/public/corpora/2009-November/009567.html

http://www.leeds.ac.uk/arabic/staff/hussein_abdul_raof.htm

http://www.leeds.ac.uk/arabic/staff.htm

واذا فيه سؤال إرشادي فأنا جاهز :)

ملاحظة :

ممكن الإستفادة كثيرا من هذا الكتاب بس افتح الرابط واضغط على جملة request download Ticket

Natural Language Processing for Online Applications: Text retrieval, extraction and categorization - Second revised edition (Natural Language Processing)

ولكي تفك الملف المضغوط هذه كلمة السر ممكن يكون هناك حرف مسافه قبلهاgigle.ws

archive password: gigle.ws

بشكل عام ، لتنجح الابحاث الخاصة باللغة العربية تحتاج توظيف جهود لاكثر من تخصص:

1. علوم الحاسوب :نظرية الحوسبة ، نظرية المترجمات، .الذكاء الصناعي،معالجة اللغات الطبيعيه.

2. اللغة العربيه : النحو والصرف. المعاجم العربيه.

بالنسبة للبحث المذكور يمكن حل المشكلة (ليس الحل الامثل). عن طريق استخدام قاموس. مثلا :

اصل الكلمه - نوع الكلمة - جمع مذكر - جمع مؤنث - جمع تكسير - المثنى - ياء متكلم او ملكية - واو الجماعه -...الخ

ولكنها ستحتاج وقت لادخال البيانات لمرة واحدة وبعد ذلك سيتم الاسترجاع بشكل سريع اذا استخدم هيكل البيانات المناسب.

يمكن عن طريق خبراء اللغة العربية تجميع الكلمات المتشابهة في التصريف في مجموعات.

بالتوفيق،

السلام عليكم ورحمة الله وبركاته ...

هنا يفيد معاملات التشابه بين الكلمات من خلال التعامل مع الجذور , هنالك عدة خوارزميات وتطبيقات نفذت لتحقيق هذا الامر مثل خوارزمية التقسيم (التجميع ) للتمثل الصرفي للكلمات , وذالك من خلال عمل خوارزمية تقسيم للكلمات العربيه التي تتشارك نفس الجذور .. ( Root based clusters ) والتي يمكان ان تكون بديل لعمل القواميس الصرفيه .

ارفقت ملف ارجو ان يفيد ان شاء الله

بالتوفيق

An improved Arabic morphology analyzer.doc

جزاك الله خير أخ حسان على هذه الورقة البحثيه المضيئه بنور علم أهل الكنانة !!!

ولكني أريد أن أفرق للباحثين عن مصطلحين قد يظنهما البعض انهما نفس الشيء وهما Stem and Root وهما في الحقيقه يختلفان اختلاف بسيط حسب

نوع اللغه وأصلها فاللغات مثلا Semitic languages الساميه كالعربيه والعبرانيه لغة أنبياء الله ورسله عليهم الصلاة والسلام من إسحاق(إسرائيل) ويعقوب إلى موسى وعيسى (ليس العبريه لغة دولة إسرائيل اليوم) لكي ترد الكلمه الى أصلها يجب أن تردها الى الجذر

أما اللغات اللاتينيه Latin كاللغه الإنجليزيه لايوجد شي اسمه جذر وانما ساق او Stem

مثلا كلمة إستعدادات جذرها (Root) هو عد بالعربيه وبحركة الشده (اي حرف الدال مرتين بحركه ساكنه)

هنا سنفصل استخدام جذر الكلمه العربيه مع عدة اضافات قبلية prefix وبعدية suffix ووسطية Infix

فاللغة الأنجليزية مثلا لاتستخدم الزيادات او الإضافات الوسطية(ولذلك ترجع الكلمات الى ساقها فقط) وقلما نجد لغة أخرى تستخدمها !!!

**********************************

إستـ

هي Pre-fix

***************

عد

ال جذر

*********************

ا

[size=7

هي Infex

*********************

د الجزء الثاني من الجذر

*********************

ات هو suffix

*********************

وكلمة playing ساقها (stem) هو play

والقوة سبحان الله في اللغة العربية أن لكل كلمة عربية جذر وساق تقريبا وهذا إن دل فإنما يدل على ثرائها وتوسعها وبأنها لغة اشتقاقية وتحويلية في نفس الوقت

dervational and inflectional

الفرق ان الإشتقاق زيادة على جذر الكلمة مع بقاء دور الكلمه بالنسبه لدورها القواعدي اي انها اذا كانت فعل لا تتغير الى اسم مثلا

شهد(فعل) الى شهدت(بقي فعلا ولكن للمؤنث)

اما التحويل فهو زياده مع تغيير دورها القواعدي

شهد (فعل)------- شاهِد (إسم فاعل)

أما مثلا كلمة Team لا يوجد لها ساق Stem فهي نفسها ساق !!!

فهل تستوي لغة كلماتها لها جذر وساق مع لغة بعض كلماتها ليس لها ساق في القوة !!!

ولذلك أنا مع الأخ إبراهيم بأنه حتميا يجب تضافر الجهود للعمل على اللغة العربية من جميع التخصصات وتكوين مجموعه علميه مدعومه وبجهود بحثيه مستمرة وموجهه.

الله أعلم حيث أنزل كلامه المتمثل بالقرءان الكريم باللغة العربية وجعله ختام الكتب السماوية وأن لغة أهل الجنة كلهم هي العربية ؟!!

أما اللغة العبرانيه صحيح أنه أنزل الله بها الوحي على أنبيائه بعدة كتب سماوية ولكنها تقريبا قد انقرضت او لا زالت متداولة قليلا في أيدي بعض الأقلية اليهوديه من الأصل العربي كيهود اليمن والمغرب العربي والعراق ومصر.

والأمثلة على ثراء اللغة العربية كالحركات الصوتيه للحروف (diacritics) مثلا وأخرى كثيره ولكن المجال قصير لإحصائها.

وأتمنى ممن لديه علم أن يتقي الله وأن يخاف الله في سؤاله له يوم الحساب لماذا كتمت علماً ؟!!

فهذا المنتدى ساحة طيبة للتعلم والتعليم ؟؟ والدعوه مفتوحه لمن لدية الرغبه في التعلم او التعليم.

ومن لديه زيادة أو تعديل فلا يبخل علينا فكلنا طلاب علم من المهد الى اللحد .

الله يوفق الجميع.

السلام عليكم ورحمة الله وبركاته ..

جميل اخ عبدالله جزية خيرا ..

نعم لذالك التعامل مع اللغة الانجليزيه في مثل هذه المواضيع اسهل واقل تداخلا على عكس اللغة العربية .. والله اعلم .

بالتوفيق ان شاء الله ..

( HASSAN ) كتب:

السلام عليكم ورحمة الله وبركاته ..

جميل اخ عبدالله جزية خيرا ..

نعم لذالك التعامل مع اللغة الانجليزيه في مثل هذه المواضيع اسهل واقل تداخلا على عكس اللغة العربية .. والله اعلم .

بالتوفيق ان شاء الله ..

صدقت أخ حسان

يا أبو زياد انت " مشكلجي"

لا تقم بتعديل مشاركاتك اخي الحبيب بل ضعها في مشاركه جديده لاننا في اغلب الحالات نقرأ المشاركه ولا نرجع لها مره اخرى الا بالصدفه , فلقد قمت جزاك الله خير في مشاركتك السابقه معلومات جديده وممتازه , وبالصدفه انتبهت لها , اكتب اخي دائما دائما مشاركه جديده لوحدها ..

والا سوف اتصل بالمركز الامني واشتكي عليك

بالتوفيق وبارك الله بك ..

( HASSAN ) كتب:

يا أبو زياد انت " مشكلجي"

لا تقم بتعديل مشاركاتك اخي الحبيب بل ضعها في مشاركه جديده لاننا في اغلب الحالات نقرأ المشاركه ولا نرجع لها مره اخرى الا بالصدفه , فلقد قمت جزاك الله خير في مشاركتك السابقه معلومات جديده وممتازه , وبالصدفه انتبهت لها , اكتب اخي دائما دائما مشاركه جديده لوحدها ..

والا سوف اتصل بالمركز الامني واشتكي عليك

بالتوفيق وبارك الله بك ..

أولا أبو زيد وليس زياد ههههههه

ثانيا حاضر ياأستاذ حسان

ولكن معي اقتراح انه عندما اعمل مشاركة ساكتب في آخرها ملاحظة: مشاركة غير مكتملة وقابلة للتعديل

ولاتعتمد المشاركه حتى يتم ازالة هذة الملاحظة

انا قلت لك انك مشكلجي يا "ابو زيد " :)

ما عساي ان اقول , خيرا ان شاء الله .. افعل ما تراه مناسبا ...

لكن حاول ان تقوم بما قلت لك , لكي لا يتشتت المتلقي ..

بارك الله فيك ..

حبا وكرامه أخ حسان :blush:

التميمية كتب:

أبحث في مجال التحليل والتوليد الصرفي العربي في مجال الأسماء

وأراكم تتحدثون عن خوارزميات مستعملة في استرجاع المعلومات

فهل لمجالي التحليل والتوليد الصرفي في اللغة العربية خوارزميات خاصة تعتمد

أرجو مساعدتي في ذلك

مع جزيل الشكر

hالتحليل الصرفي للغة العربية

يوجد اهتما كبير بهذا المجال, لاسباب عدبدة , ولكن لم يتحقق أي نجاح يذكر. الشركات الغربية التي تملك المال والخبرات ليست مهتمة باى موضوع يتعلق بالعرب او العربية , الشركات العربية تسعى للربح السريع وليست مهتمة بالغة العربية , مشروع المحلل الصرفي مشروع قومي يهم كل العرب والمسلمين :

بن1- بناء اي محلل نحوي او دلالي يعتمد على المحلل الصرفي

برامج الصوتيات تحتاج الى المحلل الصرفي

لرامج الترجمة , قراء الوثائق محركات البحث , وهناك الكثير من التطبيقات المعتمدة علية .

موضوع الخوارزميات

ابحث عنها منذ اكثر من 8 سنوات , كما حاولت العديد من الافكار والتجارب , كل المعلومات المتوفرة تعالج جوانب معينة ولم توفر حل كامل شامل كما يدعي اصحابها .

الحل الممكن في رأي هو

1- إعتماد تحليل الكلمة في سياق الكلمات المجاورة

إعتماد التحليل العروضي للكلمة

لم لم اسمع عن استخدام هذا الاسلوب وخاصة التحليل العروضي ولكنة يمثل الطريق ألأمثل حيث يختزل العديد الكبير من الصيغ الصرفية

كل الكلمات العربية المعجمية ( الجذوع) stem للإفعال أو الاسماء يمثلها ليس اكثر من سبع او ثمان صيغ .

ايظا استخدام التحليل الصوتي له دور كبير في تقليل حالات الغموض الناتجة من التحليل الصرفي.

هذا حل شامل كامل لا يميز بين العربية الفصيحة ولا القبيحة كلها كلمات تستخدمها الناس في كل مكان وزمان منذ ان ولدت العربية .

انا مهتم بالموضوع وعندي الخبرة البرمجية واللغوية في هذا المجال وارغب في تصميم المحلل الصرفي بحيث يكون مفتوح المصدر متوفر لكل من يريد ان يساهم في رد كرامة امتنا العربية والاسلامية.

عندي مشكلة الوقت ولذا لم اتمكن من انجاز المشروع , اذا توفر الاستعداد من المتطوعين بالمساهمة فلن يستغرق المشروع وقت كبير , عقلين او اكثر احسن من عقل واحد.

افل نناقش هذا الموضوع من حيث الاهمية ونؤسس فريق عمل حتي يتم تحقيق هذا الهدف . لا ننسى ان هناك العديد من قناصي الافكار يتنصتو على الفرص لاعمال كهذة .

المعذرة الى الاجابة الطويلة القصد توفير الوقت على صاحب السؤال حتي لا يبداء من البداية .

زشكرا

مشاكل التحليل الصرفي

لتصميم معالج صرفي قادر على تحليل الغالبية العظمى من الكلمات العربية , لابد من معالجة الغموض في معاني الكلمات. يمكن للكلمة ان تشارك كلمات اخرى في الشكل وتختلف في المعنى. لناخذ كلمة مثل

فهم , كيف يمكن للمحلل ان يعالج مشكلة الغموض المعجمي والنحوي والدلالي, فهذة الكلمة عند تحليها خارج السياق يمكن ان تأخذ التحليلات التالية:

ف : حرف عطف

هم : ظمير الغائب للجمع

فهم : فعل ماضي معنى الفهم وهو فعل لازم

فهم : فعل ماضي متعدي معنى النية على فعل شيء , مثال فهم على ضربة او فعل شيء

فهم : فعل ماضي مشدد العين بمعنى شرح وضح

فهم : بمعنى الاسم من الفهم الادراك

فهم : بمعنى الاسم من الهم والبؤس

وهذة عينة لنوع المشاكل المحتملة . يمكن تقليل نسبة الغموض اذا اخذنا بالاعتبار السياق التي ترد فية الكلمة اي حالة الكلمة او الكلمتين السابقتين او التاليتين للكلمة المحللة , وكذالك استخدام محلل نحوي يختار التحليل الصحيح بالاظافة الى استخدام نوع من التحليل الدلاي لاختيار التحليل الصحيح للكلمة . نلاحظ ان هناك مشكلة, لكي نستخدم المحلل النحوي لمساعدة المحلل الصرفي , فأن المحلل النحوي يحتاج الى التحليل الصرفي, اي اننا امام دائرة او حلقة مفرغة. يمكن حل المشكلة بتغير طريقة التحليل الصرفي وتبنى اسلوب اخر , وقد اشرت في الرد السابق الى الطريقة الممكنة لحل هذة المشكلة. وهناك عدة محللات صرفية تجارية , ومحرك واحد مفتوح المصدر وخاصة الاخير لابأس بالرغم احتوائة على 100000 كلمة جذع , هناك خاصية تتميز بها العربية ان من الجذور الثلاثية يمكن تركيب عدد كبير جدا من الكلمات المشتقة والتي يمكن استخدامها , فكل هذة المحللات لم تعتمد نموذج لغوي صحيح يعكس بنية اللغة , والاستخدام اللهجي للغة.

وشكرا لكم