أين وصل Natural Language Processing؟

YaSeenTA أخ

لا أريد كما قال الأستاذ خالد أن أفتي فيما لا أعلم لكن مجرد رأي : إحنا حسب ما درسنا في الأنتولوجي يتم تكوينها لمجال محدد ولكن محتوى الرسائل مختلف جدا وبالتالي المفاهيم المستخرجة من النص تكون كثيرة وغير مترابطة.فعلى أي أنتولوجي تعتمد في تحديد نوعية الرسالة ؟

اقتباس

لكن محتوى الرسائل مختلف جدا وبالتالي المفاهيم المستخرجة من النص تكون كثيرة وغير مترابطة.فعلى أي أنتولوجي تعتمد في تحديد نوعية الرسالة ؟

الاخ الكريم الذى طرح السؤال ... يرد عمل النظام لكى تعمل عليه الشركة التى يعمل فيها

ومن المؤكد ان الشركة متخصصة فى مجال معين والرسائل التى ترد متوقعة فى تخصصات معينة واطار معين

بمعنى يمكن تقليل فضاء البحث بنسبة كبيرة

لم أقل أني أريده أن يقوم بعمل ontology أو يتطرق في موضوعه إلى ذلك ..

فقط وضعت جزء مما هو حاصل في الـ ontology learning ليأخذ فكرة مشابهة في الإستفادة من NLP في مجال بحثه.

ربما لم أوضح الفكرة بشكل جيد في ردي , لكن لا أعتقد أني ذكرت أي شئ يدعو لإستخدام الـOntology هنا .

هل لديكم امثلة على كيفية استخلاص التصنيف الصحيح بعدما يتم ترميز النص بpenn tagset

الاحتمالات عديدة جدا ووضع rules شبه مستحيل بالنسبة لي. هل لديكم طرق بديلة عن rules او على الاقل مثال تبسيطي قابل للتطبيق العملي؟

YaSeenTA، المحاضرة الذي وضعتها تقول ان rule-based قديمة والافضل هو طرق statistical لسهولتها

كذلك يذكر ان NLP في حد ذاته فاشل، إلا انه اذا تم استخدامه كfeature بالاضافة إلى عدة features أخرى سيزيد من تحسين اداء التصنيف

اقتباس

التصنيف الصحيح

ما الذي تقصده ؟

--

لم أقل أن عليك إستخدام rule based approach... كما تفضلت - أنت- أغلب الأبحاث الحالية تعتمد على الـ statistic approach ...

انت تعلم أن مثل هذه المواضيع أغلبها يتطلب خبرة و معلومات في عدة مجالات ومن الصعب الحصول على حل مباشر إلا من شخص بحث في نفس المجال ...

ستجد الكثير من الأبحاث في نفس المجال لكن المشاريع الناتجة أغلبها غير متاحة , وما عليك إلا الإستفادة مما تم نشره ...

قبل قليل إطلعت بشكل سريع على رسالة دكتوراة لأحدهم -ليست بالإنجليزية - لعمل Email Classificaiton System . وفيها تم إستخدام VSM , و للتصنيف إستعمل Rocchio . ذكر أنه إستعان بـ Mallet لعمل تحسين على الـ VSM ..

عذراً ليس لدي الوقت الكافي لقراءة الرسالة كاملة . غرضي من الإشارة إليها أن عليك تحديد الطريقة التي ستتخذها ومن ثم تبدأ , الأمر سيحتاج من وقت ليس بالقليل.

اقتباس

الاحتمالات عديدة جدا ووضع rules شبه مستحيل بالنسبة لي. هل لديكم طرق بديلة عن rules او على الاقل مثال تبسيطي قابل للتطبيق العملي؟

انا هقول لحضرتك على حل عملى ....

لاتفكر ان تضع انت ال Rules بشكل مباشر ... لكن لو فكرت فى ذلك سوف تبدا اليوم ولن تنتهى فى يوم من الايام لان هذا طريق لانهاية له

وانما الحل كالتالى

تقوم بعمل نظام قبل ال Rule Based Expert System يقوم هذا النظام بتوليد ال Rules بشكل تلقائى وذلك من خلال تتبع معالجة الرسائل + تصنيفها اليدوى

بمعنى اصح وعلمى وواضح

تدمج بين الطرق الاحصائية + طريقة ال Rule Based وتكون عملية الدمج من خلال نظام يعمل بصورة الية بحيث تكون النتيجة النهائية تصب فى ال Rule Based

ان ال Rule based يعمل بصورة TOP-BOTTOM

بينما الطرق الاحصائية تعمل بصورة BOTTOM-TOP

والحل يكون افضل اذا دمجت بين الاثنين بشكل متناغم

والله الموفق

مثال عملى

This message is not related to developers section because i have been in contact with them the last week

this message to the high manager of developers because i complain from the developers support and late of software update

يمكن ان تكتب تعليمات فى البداية لتحصل على ناتج كالتالى يضم الكلمات المهمة

not related to

developers section

the high manager of developer

the developers support

late of software update

وتضع قاعدة بحيث تلغى اسم السكشن developers section اذا ورد بعد not related to

وعن طريق القواعد التى تعمل تصفية Filter

تصل فى النهاية الى كلمات يمكن ان تدل على القسم المطلوب

يعنى المسالة ليست تصنيف وحسب

بل تصنيف للكلماتClassification

و تحويل للكلمات الى صيغ اخرى Transformation

وفلترة Filter

وفى النهاية تاخذ القرار

وكل هذا يتم من خلال Rules بشكل بسيط وذلك بعد استخدام الطرق الاحصائية ايضا

واذا صنعت كما قلت لك امكانية ان يتم التعديل على ال Rules واضافة اخرى اليها بشكل تلقائى

سوف تزداد قوة النظام بسرعة رهيبة جدا

ومع الوقت ستصل الى KB او Knowledge Base المطلوبة التى تناسب عملك

اى ...

1 - الطرق الاحصائية لتجميع قائمة من كل الكلمات المهمة التى قد تؤثر بقوة على المعنى المطلوب الوصول له

وتضع هذه الكلمات فى قاموس وتعطيها اولوية بحيث يتم استخلاص الجمل قبل الكلمات

يعنى مثلا اذا كان فى القاموس كل من not allowed و ايضا not فانك تستخلص not allowed وتفضلها عن NOT

لان الحصول على جملة افضل من الحصول على كلمة

2 - تقوم بتطبيق القواعد على هذه الكلمات بعد استخلاصها مع مراعاة ترتيبها لانه يؤثر على المعنى

الان يظهر ال Rule Based Expert System ولكن هذه المرة يعمل على جزء مستخرج من النص

وتضع امكانية الاضافة والتعديل الى هذه القواعد بشكل عالى المستوى ... ويفضل شكل الى بنسبة كبيرة

حتى تكبر ال KB بسرعة وتحصل على النتائج المطلوبة

3 - القواعد قد تقوم بعمليات حذف واستبدال لتحويل المحتوى الى خلاصة يتم الحكم عليها واتخاذ القرار بناءا عليها

والله الموفق

السلام عليكم و رحمة الله تعالى و بركاته

الحقيقة أني محرج أن أظع هذا الرد لكن قلت في نفسي قد يساعدك و لو بفكرة

أظن أن في مشروعك هذا تحتاج إلى مايسمى بال Ontology و لكني و لي الأسف لم أتعلم بعد استعمالها و العام المقبل بإذن الله سوف ندرسها

لذلك لا بأس لو أنك تطلع عليها

http://en.wikipedia....tion_science%29

و الله ولي التوفيق

BlackBeardلا اعلم شيا عن ontology لكن ردك في الواقع فتح بابا ربما يكون أفضل من جميع الحلول المقدمة هنا

هناك برنامج اسمه OntoSem وتم استخدامه في شيء مشابه لكن مشكلته كانت البطئ الشديد، لكن موقعهم مقفل لسبب غريب.

اتمنى من الاخوة الادلاء بآراهم عن كيف يمكن للontology ان يحل مشكلة text classification

YaSeenTA

اقتباس

انت تعلم أن مثل هذه المواضيع أغلبها يتطلب خبرة و معلومات في عدة مجالات ومن الصعب الحصول على حل مباشر إلا من شخص بحث في نفس المجال ...

PWCT Maker

اقتباس

مثال عملى

This message is not related to developers section because i have been in contact with them the last week

this message to the high manager of developers because i complain from the developers support and late of software update

يمكن ان تكتب تعليمات فى البداية لتحصل على ناتج كالتالى يضم الكلمات المهمة

not related to

developers section

the high manager of developer

the developers support

late of software update

وتضع قاعدة بحيث تلغى اسم السكشن developers section اذا ورد بعد not related to

وعن طريق القواعد التى تعمل تصفية Filter

تصل فى النهاية الى كلمات يمكن ان تدل على القسم المطلوب

يعنى المسالة ليست تصنيف وحسب

بل تصنيف للكلماتClassification

و تحويل للكلمات الى صيغ اخرى Transformation

وفلترة Filter

وفى النهاية تاخذ القرار

المشكلة قبل transformation في مرحلة الrules.

يعني في مثالك وجدت rule بين not related و الجملة التالية... هذه علاقة واحدة، وبعدها قمت بtransformation وكبرته ليتماشا مع اشياء قريبة بكلمات اخرى وهذه خطوة إلى الامام

لكن المصيبة أن الrules الأخرى المختلفة _جدريا_ والتي لن يفيد معها transformation عديدة ولا نهائية

مثلا:

ايضا احتمال آخر مختلف جذريا:

Initially I thought the problem is not related to developers, but then I figured out that it is actually quite relevant.

لاحظ ان الجملة تحتوي على not related لكن معناها الnatural هو العكس تماما..

مثال آخر

Yesterday, I submitted some trouble tickets to the developers, but that was not related to them

لاحظ نفس المعنى لكن غير مرتبط بـdevelopers مباشرة وانما يستخدم determiner وهو The و Them

صدقني هذه الطريقة سطحية جدا وتمثل بدايات محاولات NLP ايام الـ1960s او 1970s.

يعني لو كنت ادخلت POS Tags بطريقة أو بأخرا... مثلا أن تقول الـnoun مرتبط بـadjective و verb مرتبط بadverb كان اقرب قليلا للصواب

لكن قواعد سطحية بناء على text match او bag of words سيكون صعب جدا تطبيقه والفشل ذريع حتى الآن منذ 1960

RCdevil كتب:

BlackBeardلا اعلم شيا عن ontology لكن ردك في الواقع فتح بابا ربما يكون أفضل من جميع الحلول المقدمة هنا

هناك برنامج اسمه OntoSem وتم استخدامه في شيء مشابه لكن مشكلته كانت البطئ الشديد، لكن موقعهم مقفل لسبب غريب.

اتمنى من الاخوة الادلاء بآراهم عن كيف يمكن للontology ان يحل مشكلة text classification

YaSeenTA

هل تقصد انه لا يوجد شخص باحث او خبير في هذا المجال في المنتدى. هل تعرف منتدى أخر أو اي community متخصصة في هذا المجال؟ ساكون شاكرا.

PWCT Maker

المشكلة قبل transformation في مرحلة الrules.

يعني في مثالك وجدت rule بين not related و الجملة التالية... هذه علاقة واحدة، وبعدها قمت بtransformation وكبرته ليتماشا مع اشياء قريبة بكلمات اخرى وهذه خطوة إلى الامام

لكن المصيبة أن الrules الأخرى المختلفة _جدريا_ والتي لن يفيد معها transformation عديدة ولا نهائية

مثلا:

ايضا احتمال آخر مختلف جذريا:

Initially I thought the problem is not related to developers, but then I figured out that it is actually quite relevant.

لاحظ ان الجملة تحتوي على not related لكن معناها الnatural هو العكس تماما..

مثال آخر

Yesterday, I submitted some trouble tickets to the developers, but that was not related to them

لاحظ نفس المعنى لكن غير مرتبط بـdevelopers مباشرة وانما يستخدم determiner وهو The و Them

صدقني هذه الطريقة سطحية جدا وتمثل بدايات محاولات NLP ايام الـ1960s او 1970s.

يعني لو كنت ادخلت POS Tags بطريقة أو بأخرا... مثلا أن تقول الـnoun مرتبط بـadjective و verb مرتبط بadverb كان اقرب قليلا للصواب

لكن قواعد سطحية بناء على text match او bag of words سيكون صعب جدا تطبيقه والفشل ذريع حتى الآن منذ 1960

كنت متأكد من أنه سوف يساعدك و الحمد لله

الحقيقة هذا المجال حديث النشئة و أظن أن له مستقبل كبير لو كنت أعلم عنه أو كيفية العمل به لما بخلت عليك

على العموم الحمد لله و إن شاء الله تحل مشكلتك بأفظل الطرق

بالتوفيق

اقتباس

هل تقصد انه لا يوجد شخص باحث او خبير في هذا المجال في المنتدى. هل تعرف منتدى أخر أو اي community متخصصة في هذا المجال؟ ساكون شاكرا.

للأسف لا أعلم ..

لا أتوقع أن مشاريع أبحاث يمكن مناقشتها في المنتديات . على الأقل لن تجد ذلك في منتديات عربية ومن الخطأ التفكير في مناقشة مشروع بحثي في منتدى وإنتظار الحصول على ردود مقنعة وكافية.

إن تمت المناقشة فستكون في الأغلب إعطاء أفكار بسيطة أو الإشارة إلى ما يعرفه كل شخص حول نقطة البحث.

لا أعلم لماذا تتوقع من الآخرين أن يعطوا أفكاراً شبه مكتملة في مشروع كهذا ؟

شخصياً لم أضع أي تساؤل له علاقة بالمشروع الذي أبحث فيه في أي من منتدى خصوص المنتديات العربية.

لاأقصد هنا الإساءة للمنتديات العربية لكن لا تتوقع الشئ الكثير منها في مشاريع بحثيه فمن سيرد عليك -إن لم يكن له علم بالموضوع- فقط سيضع لك وجه نظره التي قد تكون لا علاقة لها بما تريد. وعلى الأغلب البعض يتردد في وضع رد خوقاً من أن يجعلك تدخل في متاهة ومن ثم تلقي باللوم عليه كما قد يحصل حين تزداد الردود هنا.

لم أقرا عن OntoSem من قبل . لكن يبدو أنه تحول إلى مشروع تجاري

http://www.readwriteweb.com/archives/hakia_licenses_semantic_search.php

اقتباس

يعني لو كنت ادخلت POS Tags بطريقة أو بأخرا... مثلا أن تقول الـnoun مرتبط بـadjective و verb مرتبط بadverb كان اقرب قليلا للصواب

هذا هو ما أشرت إليه مسبقاً وإن لم أكن مخطئاً يطلق عليه Syntactic dependency .

يبدو من كلامك أن ستحاول استخدام Semantic dependency في الفكرة التي تريد تنفيذها .

هناك الكثير من الأبحاث في تلك النقطتين .Just google it

كنتيجة بحث سريعةMaster's thesis

Joint Learning of Syntactic and Semantic Dependencies

اقتباس

اتمنى من الاخوة الادلاء بآراهم عن كيف يمكن للontology ان يحل مشكلة text classification

أراك تكرر نفس الخطأ مراراًَ. تضع السؤال قبل أن تتكون لديك معلومات كافية .

كم من الأبحاث قرأتها قبل وضع هذا السؤال؟

لن تجد أحد يقول لك 1 2 3 .

موضوعك ليس كيف أقوم بكتابة برنامج آلة حاسبة أو برنامج كيف أظهر إسمي على الشاشة وحينها ستجد الآلاف يردون عليك.

مرة أخرى google it وهنا العديد من النتائج . هنا النتائج على الأغلب أبحاث ومن النادر أن تجد كل شئ جاهز ..

أعتذر عن هذا الأسلوب في الرد لكن لست مع تلك الطلبات من هذا النوع.

أتمنى لك التوفيق في مشروعك -بغض النظر عن كونه بحثي ام تجاري .

اقتباس

يعني في مثالك وجدت rule بين not related و الجملة التالية... هذه علاقة واحدة، وبعدها قمت بtransformation وكبرته ليتماشا مع اشياء قريبة بكلمات اخرى وهذه خطوة إلى الامام

لكن المصيبة أن الrules الأخرى المختلفة _جدريا_ والتي لن يفيد معها transformation عديدة ولا نهائية

هى عديدة اذا كنت تريد ان تعالج اى رسالة فى اى مكان فى العالم

لكنها محدودة لسبب ان الكلمات المتوقعة والتى تحدد المعنى ستكون مرتبطة بمجال الشركة ويمكن ان تحصر الامر

وتضع القواعد للكلمات التى تغير المعنى ومنها كلمات انجليزية عامة ستكون هى المشكلة + كلمات فى مجال الشركة ستشير بقوة الى القسم

اقتباس

ايضا احتمال آخر مختلف جذريا:

Initially I thought the problem is not related to developers, but then I figured out that it is actually quite relevant.

لاحظ ان الجملة تحتوي على not related لكن معناها الnatural هو العكس تماما..

هنا يمكن تضع قاعدة تلغى النفى not اذا ورد i thought وتتفادى اللبس

اعلم سنحتاج قواعد كبيرة جدا ... ولكن هذه القواعد نحن كبشر عقلنا يستخدمها ومطلوب ان نخبر الحاسب عنها حتى يتصرف مثلنا

ليست المشكلة ان القواعد كبيرة جدا فقط .... ترجم المشكلة الى مشكلة فى الاداء Performance ومع الاجهزة المتطورة الوضع يختلف

واتوقع انك تعمل على خادم Server ذو مواصفات قوية

اما المشكلة الحقيقية كيف تضع هذه القواعد العديدة والتى مثلا اتوقع ان تحتاج 100 الف قاعدة على الاقل حتى تكون نتيجة النظام

ناجحة بنسبة كبيرة مثلا فوق 90%

لابد ان تضع هذه القواعد بصورة الية يعنى تصمم برنامج تضع من خلاله القواعد بشكل سريع .... اى Machine Learning يتعلم من الرسائل

ويضع القواعد الجديدة اضافة الى ماهو موجود

اقتباس

مثال آخر

Yesterday, I submitted some trouble tickets to the developers, but that was not related to them

لاحظ نفس المعنى لكن غير مرتبط بـdevelopers مباشرة وانما يستخدم determiner وهو The و Them

يمكن ان تضع لها قاعدة ايضا

صحيح اللغة كبيرة جدا وكلماتها كثيرة لكن من حسن الحظ

ان (التعبير) او مايستخدمه الناس من اسلوب فى التعبير يتغير على مستوى متقارب

فى كل بيئة تجد الناس تتكلم باسلوب معين كلمات معينة ... واقصد بالبيئة هنا مجال الشركة

لاحظ تكرار كلمات بشكل كبير مثل developers و Submitted و trouble

هل حصرت كل الكلمات التى وردت فى كل الرسائل التى لديكم فى الشركة ؟

هذه الكلمات هى القاموس الفعلى والواقعى الذى يجب ان تعمل عليه وليس كل كلمات اللغة الانجليزية

............

بالمناسبة على اى نظام تشغيل تعمل ؟ بمعنى نظام تصنيف الرسائل تريده على Windows فقط ... ام Linux

ام تريده متعدد الانظمة ؟

والله الموفق

بالامس جائنا محاضر مهتم بال NLP

كان يتحدث علي ان الجمل لاتترجم بذاتها ولكن بالاوبجكت التي تتمحور حولها ..

بمعني ان الكلام وحده لايكفي لجعل الكمبيوتر يفهم ويتعلم ولكن بالعلاقه بين الاشياء Objects ممكن عمل ذلك

ادري ان كلامي قد يكون بدائي جداً ولكن قلت لعل احد يستفيد من هذا الدكتور ومن ابحاثه ..

http://userweb.cs.utexas.edu/~mooney/

بما ان هذا الموضوع مستمر للنقاش، سأقوم بتوزيع النقاط لمن قدم مشاركات ذات صلة حتى لا يضيع جهدهم سدى

واتمنى منكم المواصلة في الموضوع وجعله وسيلة للنقاش وليس لاستعراض العضلات. فالموضوع نادر والخبراء فيه قليلون جدا. فمن الطبيعي ان لا تكون هناك اجابة قاطعة

(رشحت PWCT Maker لانه وضع كتاب عن NLP و YaSeenTA لانه ذكر semantic dep و BlackBeard لانه قال ontology

YaSeenTA

يبدو ان الذي اريده او semantic dependency (لم اعلم ان اسمه هكذا)

مازلت ابحث لكن إلى الآن لم اجد اي تصنيف صحيح لما اريد

فقط للتوضيح: انا لا اريد حلول جاهزة و 1 2 3. بل تصنيف يفتح لي ابواب عل فيها بريق أمل

حتى الان جميع الابحاث التي قراتها جانبية

قرات في العديد من المقالات ان تقنيات NLP مستخدمة في استخراج news feeds وهناك محركات بحث تعتمد على NLP. يعني هناك تطبيقات عملية.

لكن الغريب لماذا لا اجد بابا واضحا او بحثا في صلب الموضوع

اذا كانت لديك اي معلومات اكثر ساكون لك شاكرا.

PWCT Maker القصد من الامثلة هو حتى اخبرك ان syntactic rules تكاد لا تنتهي في وصف الsemantics ووضعها بشكل يدوي مستحيل

اما جعلها بشكل آلي بسواسطة rules اخرى فهذا ايضا مستحيل لانه سيتطلب ذكاء هائل لا يحمله انسان إلى يومنا هذا.

المشكلة ليست سعة التخزين في الخادم. المشكلة الحقيقية هي الوقت الضائع بسبب كتابة rules واحتمالات شبه لا متناهية

Eisa Ayed ماذا قال المحاضر عن الطرق المستخدمة في الربط بين الـobjects؟

اقتباس

واتمنى منكم المواصلة في الموضوع وجعله وسيلة للنقاش وليس لاستعراض العضلات

أعجبتني هذه الجملة . وهذا هو ما نريد مواضيع للنقاش لا لإستعراض العضلات لذا لا بد أن يكون النقاش أكثر إنتظاماً ويرجى البعد عن الأسلوب الحاد في الرد فحتى إن جاء رد بعيد عن الموضوع فما علينا إلا شكر واضع الرد على محاولته إثراء النقاش.

شخصياً أضع ما توفر لدي من معلومات -سطحية- الكثير منها مرت علي أثناء قراءة أبحاث وقت عمل مشروع التخرج والبعض الآخر أثناء البحث في الانترنت بعد وضعك للموضوع .

قولي أنها سطحية ليس تواضعاً فهي بالفعل كذلك ويمكنك إعتبارها معلومات عامة تم إكتسابها بشكل سريع ,لهذا تراني أضع رؤوس أقلام فقط علها تفيدك في شئ.

لا أعلم إن كانت الـ semantic dependencies ستفيد بشكل جيد في text classification فلم أجد بحوث تتطرق لذلك ..

من ناحية إستخدام الـ ontology في الـ text classification فهناك الكثير من الأبحاث في ذلك ومنها ما يختص بـ email classification

Ontology-based Classification of Email

وغيرها ..

أثناء البحث فيgoogle قرأت عن semantic email و أبحاث ذات علاقة . (ربما يكون الموضوع بعيد عما تريد عمله).

NLP

NLP.rar