• الإعلانات

    • فيصل الحربي

      تسجيل عضوية جديدة في المنتدى   01/31/2016

      السلام عليكم ورحمة الله وبركاته  عزيزي العضو الجديد :  حاليا رسالة الإيميل لتأكيد صحة إيميلكم تذهب للبريد العشوائي ( جاري حل المشكلة )  فإذا لم تجد رسالة التحقق من إيميلكم في صندوق الوارد لديكم إتجه للبريد العشوائي ( JUNK)  وقم بتفعيل إشتراككم من هناك   

RCdevil

اعضاء جدد
  • عدد المشاركات

    13
  • تاريخ الانضمام

  • تاريخ اخر زياره

السمعه بالموقع

4 عادي

عن RCdevil

  • الرتبة
    عضو جديد
  1. بما ان هذا الموضوع مستمر للنقاش، سأقوم بتوزيع النقاط لمن قدم مشاركات ذات صلة حتى لا يضيع جهدهم سدى واتمنى منكم المواصلة في الموضوع وجعله وسيلة للنقاش وليس لاستعراض العضلات. فالموضوع نادر والخبراء فيه قليلون جدا. فمن الطبيعي ان لا تكون هناك اجابة قاطعة (رشحت PWCT Maker لانه وضع كتاب عن NLP و YaSeenTA لانه ذكر semantic dep و BlackBeard لانه قال ontology YaSeenTA يبدو ان الذي اريده او semantic dependency (لم اعلم ان اسمه هكذا) مازلت ابحث لكن إلى الآن لم اجد اي تصنيف صحيح لما اريد فقط للتوضيح: انا لا اريد حلول جاهزة و 1 2 3. بل تصنيف يفتح لي ابواب عل فيها بريق أمل حتى الان جميع الابحاث التي قراتها جانبية قرات في العديد من المقالات ان تقنيات NLP مستخدمة في استخراج news feeds وهناك محركات بحث تعتمد على NLP. يعني هناك تطبيقات عملية. لكن الغريب لماذا لا اجد بابا واضحا او بحثا في صلب الموضوع اذا كانت لديك اي معلومات اكثر ساكون لك شاكرا. PWCT Maker القصد من الامثلة هو حتى اخبرك ان syntactic rules تكاد لا تنتهي في وصف الsemantics ووضعها بشكل يدوي مستحيل اما جعلها بشكل آلي بسواسطة rules اخرى فهذا ايضا مستحيل لانه سيتطلب ذكاء هائل لا يحمله انسان إلى يومنا هذا. المشكلة ليست سعة التخزين في الخادم. المشكلة الحقيقية هي الوقت الضائع بسبب كتابة rules واحتمالات شبه لا متناهية Eisa Ayed ماذا قال المحاضر عن الطرق المستخدمة في الربط بين الـobjects؟
  2. BlackBeardلا اعلم شيا عن ontology لكن ردك في الواقع فتح بابا ربما يكون أفضل من جميع الحلول المقدمة هنا هناك برنامج اسمه OntoSem وتم استخدامه في شيء مشابه لكن مشكلته كانت البطئ الشديد، لكن موقعهم مقفل لسبب غريب. اتمنى من الاخوة الادلاء بآراهم عن كيف يمكن للontology ان يحل مشكلة text classification YaSeenTA المشكلة قبل transformation في مرحلة الrules. يعني في مثالك وجدت rule بين not related و الجملة التالية... هذه علاقة واحدة، وبعدها قمت بtransformation وكبرته ليتماشا مع اشياء قريبة بكلمات اخرى وهذه خطوة إلى الامام لكن المصيبة أن الrules الأخرى المختلفة _جدريا_ والتي لن يفيد معها transformation عديدة ولا نهائية مثلا: ايضا احتمال آخر مختلف جذريا: Initially I thought the problem is not related to developers, but then I figured out that it is actually quite relevant. لاحظ ان الجملة تحتوي على not related لكن معناها الnatural هو العكس تماما.. مثال آخر Yesterday, I submitted some trouble tickets to the developers, but that was not related to them لاحظ نفس المعنى لكن غير مرتبط بـdevelopers مباشرة وانما يستخدم determiner وهو The و Them صدقني هذه الطريقة سطحية جدا وتمثل بدايات محاولات NLP ايام الـ1960s او 1970s. يعني لو كنت ادخلت POS Tags بطريقة أو بأخرا... مثلا أن تقول الـnoun مرتبط بـadjective و verb مرتبط بadverb كان اقرب قليلا للصواب لكن قواعد سطحية بناء على text match او bag of words سيكون صعب جدا تطبيقه والفشل ذريع حتى الآن منذ 1960
  3. هل لديكم امثلة على كيفية استخلاص التصنيف الصحيح بعدما يتم ترميز النص بpenn tagset الاحتمالات عديدة جدا ووضع rules شبه مستحيل بالنسبة لي. هل لديكم طرق بديلة عن rules او على الاقل مثال تبسيطي قابل للتطبيق العملي؟ YaSeenTA، المحاضرة الذي وضعتها تقول ان rule-based قديمة والافضل هو طرق statistical لسهولتها كذلك يذكر ان NLP في حد ذاته فاشل، إلا انه اذا تم استخدامه كfeature بالاضافة إلى عدة features أخرى سيزيد من تحسين اداء التصنيف
  4. نسيت اضيف: YaSeenTA ممكن تقول لي ما اسم هذا الشيء لاقرا المزيد عنه.. ماذا يعني SubjToClass_PredToSlot_DObjToRange
  5. PWCT Maker النوفا الخارق لا يتطرق للnatural language اطلاقا وخارج الموضوع. عندما تقول expert-system فهو في منظور natural language processing لا يعني سوى if-else-system. الفكرة تقليدية ولا تحل المشكلة بسهولة. اذا اردت تطبيق rule-based system فستكون الاحتمالات كثيرة جدا وهذا مافعله البعض 1980s وكان معقدا. ولا يصح باي شكل من الاشكال ان تقول انه نمط حديث. لكن بعدها اتجه الناس إلى طرق احصائية لتجنب خلق rules البغيضة، وهذا 1990s اذا دماغي شغال كويس. ومنها tagging يدوي على مجموعة نصوص وثم ارساله الى machine learning ليتعلم احتمال حدوث Noun في وضعية معينة واحتمالية حدوث Adjective في وضعية اخرى...الخ. YaSeenTA شكرا على ردك. كلامك يمشي في الموضوع. اللغة هي الانجليزية كما ذكرت في اول الموضوع. بالنسبة للـPOS Tagger و HMM، هل تقصد استخدام HMM في تكوين POS Tagger؟ اذا كان هذا قصدك فهذه ليست مشكلتي لانني سعيد جدا مع Stanford POS Tagger ولا انوي انشاء tagger بديل حتى استخدم HMM او غيره. مشكلتي هي أنني لدي نص، وهذا النص تم تحويله إلى tagged text بفضل stanford pos tagger. والآن أريد من برنامجي أن يدرس الtagged text ويستخلص المعنى. على سبيل المثال لو اردنا استخدام rule-based system فستكون العملية معقدة جدا لانني ساحتاج لوضع قوانين كثيرة جدا. مثلا: if Noun is "computer" and the closest adjective is "broke/dead" then send to IT department if the phrase is "WP" and has a noun equal to "price" or "product" then send to Sales department ...ألخ طبعا هذه قوانين ناقصة جدا وحتى يعمل النظام بشكل نظيف يجب علي يدويا دراسة الرسائل القادمة بشكل جيد، وثم اكتب القوانين واجربها، والمجهود سيكون جبار.. لذا هل توجد حلول أخرى بديلة لاستخلاص معنى الرسالة... طرق مبنية على الاحصاء مع NLP في نفس الوقت، أو اي نصيحة أخرى.. يعني عوضا من انشاء Naive Bayes filter، ممكن نقوم بانشاء Smart Bayes filter (ان صح التعبير) بحيث يربط بين الكلمات ومعناها في الجملة (لان naive bayes يقوم بالتعامل مع كل كلمة على انها مجردة وهذا غير صحيح لغويا). لانني اعلم ما تحدثوا عنه وذكرت السبب وراء ضعفها
  6. عودة إلى قلب الموضوع (اتمنى ان يساعدني من هو ملم بNatural Language Processing ) القضية ان هناك رسائل بريدية تصل وتصنيفها يدويا مكلف وغير دقليل لذا اردت تطبيق NLP ضيق في عالم صغير مع احتمالات قليلة للتبسيط. عندما يصل الايميل، اقوم بإرساله إلى Part of Speech Tagger، وهذا يقوم بتحويل نص مثل: الآن عندما أقوم بإنشاء برنامج المطلوب مني هو الاستفادة من هذه الرموز او الـtags ليتصرف البرنامج كالمطلوب. مثلا.. طريقة من الطرق الي بفكر فيها هي أن كل adjective (اي _JJ) ستصف آخر noun (اي _NN).. وهكذا سيتمكن البرنامج بمعرفة أن الرسالة تصف laptop بـdead لأن laptop آخر NN وردت قبل JJ. وبما ان العالم صغير ومبسط، ممكن ابني قاعدة بيانات تحتوي على جميع حالات laptop مثل functional, disabled, down, broken الخ السؤال اريد معرفة ماهي أحدث الطرق المتعارف عليها حديثا للتعامل مع هذه الحالة
  7. شكرا للرد لكن مثال supernova لا يفيدني في natural language processing لان الsyntax الخاصة به ليست natural بل محددة. الفرق بين supernova و C هو فقط الاختلاف في الsyntax. وكلاهم ملزم باتباع syntax غير طبيعية اجباريا. وكذلك C تعتبرcontext sensitive لكن الفرق هو في الكيفية. وcontext sensitivity في جميع الاحوال ليست حدا فاصلا بين NLP وغيره. طبعا لا اريد C او supernova ان تكون natural language وقصدي هو فقط حتى اوضح ماذا اعني ب natural language. كما ذكرت supernova ليس برنامج chat. ولهذا السبب اكرر واقول أن supernova ليس علاقة بسؤالي. ستكون NLP عندما تكون الsyntax طبيعية او natural كالتالي: I want a window to be created with "foo" as its title Create a window that is titled foo ...etc لاحظ ان الsyntax غير الزامية والهدف هو المعنى الطبيعي، وهذه تسمى natural language. هذا الكلام غير صحيح. المستخدمون كثيرا مايختارون combobox خاطئة. والمنتديات خير مثال (لاحظ الاعضاء الذين يكتبون مواضيع في اقسام خاطئة)للعلم combobox موجودة لكن الزبائن يختارون اقسام خاطئة. لذا نريد تحويله الى تصنيف تلقائي.
  8. PWCT Maker كيف بنيت الـparse tree او part of speech tagger؟ اول هل بنيته بالاساس؟ مشروع الsupernova ليس natural language processing الsyntax قريبة من لغة البشر.. لكنها ليست لغة البشر لانك مازلت مجبر انك تتبع syntax معينة ربما تكون فيها مرونة لحد بسيط وتسمع بعدة طرق.. لكن هذا لا يعني تسميته natural lang processing عندما تستخدم natural language processing المفروض ان اللغة تضع من نفسها tagging، والتي من خلالها يوضح لنا اين هو الاسم والفاعل والمفعول والوصف...الخ ومن خلال معرفة هذه الامور بالاضافة الى خواص الاشياء، يمكنها تحديد طرق التعامل مع بعضها البعض هل جربت stanford POS tagger؟
  9. المنتدى يبدو في سبات عميق (انخدعت في البداية).. كل مافي جعبة خبراء المنتدى هو knn و bayes فقط؟
  10. قرات الورقة من fogbugz التي تعرض tournament bayes... لكن عيبها (الذي لم يذكره الكاتب) ان ترتيب تصفيات الـtournament سيؤثر في النتيجة يعني التصنيف غير مستقر يعني نفس قاعدة البيانات ونفس training سيؤدي إلى نتائج مختلفة باختلاف ترتيب الاقسام مثلا spam / family / girlfriend سيكون مختلف مقارنة ب family / girlfriend / spam
  11. وعليكم السلام يا خالد.. افتي براحتك يا عم ربما تكشف الزنقة عى كيبوردك الكريم naive bayes بسيط وسهل التطبيق (سبب انتشاره) لكن مشكلته ان جودة التصنيف غير ثابته. لانه يحتاج إلى training في البداية... واعتمادا على جودة training ستكون النتيجة النهائية يعني في البداية سيكون التصنيف يدويا، وبعدها عندما يتعلم الجهاز يقوم بالتصنيف الصحيح المشكلة ان التعلم اذا كان خطأ سيفسد التصنيف، والنتيجة رسائل مصنفة تصنيف خاطئ.. واذا تم تصنيف الرسائل بشكل خاطئ ربما يصرف معاشي في شكل خاطئ ايضا لان المدير ليس اذكى بكثير فمخه شغال naive bayes ايضا المشكلة الأخرى انه حتى بعد تصحيح المشاكل والتصنيف اليدوي، التصنيف غير مستقبر... يعني التعلم سيحيد عن مساره شيئا فشيئا مع مرور الزمن... وبعد فترة سنحتاج إلى تصحيح الاخطاء يدويا من جديد واذا حاد التعلم عن المسار سيكون معدل تسارع الخلل في التعلم اكبر كل مرة.. لذا التدخل البشري يجب ان يكون سريعا حتى تقل عدد الرسائل التي تحتاج تصنيف يدوي لذا انا اتمنى اذا ممكن اتخلص من قصة الtraining واستخدم NLP في عالم محصور صغير لا يحتاج الى تدريب او علم احصاء وانما تكون المعلومات مضافة على شكل signature updates حتى تكون تحت السيطرة وهكذا اتجنب من قصة training وانحراف مع مرور الزمن اشكرك جزيلا على ردك السريع (نسبيا)... يبدو ان المنتدى نشيط...
  12. لا اظن ان k-nn ستحل مشكلتي والمشكلة في رايي ان الclassification التي لا تعتمد على natural language processing مثل k-NN و naive bayes ممكن يتم خداعها وفيها نسبة خطأ غير ثابتة واحيانا تكون عالية يعني مثلا، إذا قال لي شخص التالي: i want to complain about a product ونفرض ان كلمة complain تكررت كثيرا في رسائل الشكاوي في training data الذي سيحدث أن الرسائل التي تحتوي على هذه الكلمة ستكون من الارجح شكاوي لكن تصور أن احدهم كتب مثلا i do NOT want to complain about a product في هذه الحالة سيتم تصنيفها بالخطأ كرسالة شكاوي..... هنا المشكلة، وهنا الحاجة إلى NLP او ذكاء اصطناعي يقوم بمعرفة "المعنى" اعلم ان تطبيق NLP مطلق (مطلق يعني يفهم كل شيء في عالمنا) صعب جدا بل مستحيل حتى الآن لان هناك احتمالات عديدة واحيانا نستخدم تشبيهات لغوية يضيع فيها الحاسب لكن ماذا لو كان التطبيق مبسط في عالم صغير لغرض محدود... بحيث العالم يحتوي على "شكاوي" و "مبيعات" و "منتوجات" و "مشاكل".... وكل هذه الاشياء تحتوي على خصائص مثل "أهمية" و "سبب".. و يكون هناك فاعل "الشخص المشتكي" ومفعول به "المؤسسة موفرة الخدمة" هل هذا سيبسط القضية نوعا ما؟ ماهي الalgorithms التي ممكن استخدمها في هذا المجال؟ ماهي فروع الـNLP ... فرع واحد منهم هو statistical NLP ماذا عن البقية؟ الذي اريد انشائه نظام نظيف دقيق مع نسبة خطأ ضئيلة جدا جدا.. احتمال حدوث الخطأ يجب ان تكون شبه معدومة وجزيتم خير الجزاء على مجهودكم ووقتكم الذي تبذلوه لمساعدتي سلفا
  13. السلام عليكم يا شباب اولا اشكركم على هذا المنتدى الرائع الذي يحتوي على العديد من الخبراء سؤالي حول امكانية استخدام الكمبيوتر في معالجة نصوص يكتبها البشر وحتى نبسط الامور لنفرض انها بالانجليزي اين وصل العلم في هذا المجال؟ وماهي الطرق المتوفرة؟ الذي اريد الوصول إليه هو تصنيف الرسائل الكترونيا بواسطة معرفة محتوى الرسالة. (يعني اذا الرسالة تحتوي على شكوى تذهب لقسم الشكاوي، واذا طلب منتج تذهب لقسم المبيعات...الخ) شخصيا لا اعلم جامعة عربية تدرس في هذا المجال. هل يوجد لدينا هنا في هذا المنتدى اي خبير عن NLP ؟