طريفة كتابة algorithm للداتا مايننغ

مجال الdatamining يغلب فيه الكثير من التجارب، ولذا يقول البعض انه experimental field

والسبب وراء هذا ان الdatamining يقوم باستخلاص علاقات بين الأمور لا يفهمها البشر

فلو كانت هناك مشكلة ممكن للبشر فهمها سنقوم بكتابة if else statements ونخلص كل حاجة

لكن المشكلة ان هناك امور لا نستطيع اكتشاف علاقات لانه لا توجدعلاقات واضحة بالنسبة لنا

وهكذا افضل حل هو التجربة

لو نظرت الى طرق الdatamining فهي متشعبة جدا ولا توجد "طريقة" او "استايل" معين

اي شيء "يعمل" بالنسبة لك جيدا هو جيد.. المسالة مبنية على التجارب والطريقة لا تهم طالما انك تحصل على النتيجة المرجوة

إضافة:

بالسنبة لاستخدام CART, ID3, CHAID and C4.5 ممكن تكتب البرنامج بنفسك من الصفر.. لكن هذا غير عقلاني

لذا الافضل انك تستخدم مكتبات وبرامج جاهزة مثل Weka ودمجها مع برنامجك

كلام جميل جدا يعطيك العافيه

لان انا عندي نظام بالdecision tree وسويته بال if else لانها زي ماقلت مفهوم بالنسبه لنا .. بس عندي سؤال بعد على ال weka وطريقة ربطها بالنظام ، ماهي الوسائل ؟

وبالنسبة للوغاريتمات اللي ذكرتها هل لها شكل معين لاني قريت كتب كثيره وكلهم يذكرون اسمها مافي احد حط وصفها وطريقة عملها ؟

بالنسبة لويكا ممكن تستدعي الكلاسات من كود جافا، او اي لغة اخرى لوكان عندك bridge

كذلك ممكن تقوم تقريبا باي شيء بواسطة الاوامر CLI من خلال الامر java الذي سيبحث في الclasspath.. لكن طبعا weka.jar يكون في classpath ايضا

كيف يعني "هل لها شكل معين"؟... طبعا كل شيء في العالم لديه شكل.. وكيف تقول قرات كتب كثيرة وكلها لا تقوم بوصف datamining algorithms؟

مثلا C4.5 يقوم بانشاء decision tree مثلما تقوم انت.. لكن الفرق انه يقوم بالsplit على node معينة تلقائيا وليس يدويا

ويحسب الsplit المثالي بواسطة information gain -- الفارق في الentropy في الdataset قبل وبعد الsplit

حيث ان الsplit المثالي هو split ينتج اعلى قيمة information gain

سؤال بسيط، ما معنى datamining.

password123 كتب:

بالنسبة لويكا ممكن تستدعي الكلاسات من كود جافا، او اي لغة اخرى لوكان عندك bridge

كذلك ممكن تقوم تقريبا باي شيء بواسطة الاوامر CLI من خلال الامر java الذي سيبحث في الclasspath.. لكن طبعا weka.jar يكون في classpath ايضا

كيف يعني "هل لها شكل معين"؟... طبعا كل شيء في العالم لديه شكل.. وكيف تقول قرات كتب كثيرة وكلها لا تقوم بوصف datamining algorithms؟

مثلا C4.5 يقوم بانشاء decision tree مثلما تقوم انت.. لكن الفرق انه يقوم بالsplit على node معينة تلقائيا وليس يدويا

ويحسب الsplit المثالي بواسطة information gain -- الفارق في الentropy في الdataset قبل وبعد الsplit

حيث ان الsplit المثالي هو split ينتج اعلى قيمة information gain

انا اقصد ان كل الكتب ماتعطيك سيدوكود على الطريقة بس تتكلم عنها وعن زي ماذكرت ال gain , entropy ؟

افهم من ماقلت انها شبيه بالطريقة اليدويه االي نسويها؟

SIFE كتب:

سؤال بسيط، ما معنى datamining.

هي البحث والتنقيب في ال data warehouses عن شكل معين للبيانات وتستخدم في عده مجالاات منها بنكية وصحيه وتسويقيه وحتى في الجرائم والامن

اقتباس

انا اقصد ان كل الكتب ماتعطيك سيدوكود على الطريقة بس تتكلم عنها وعن زي ماذكرت ال gain , entropy ؟

صحيح.. لكن السودو كود غير مهم... المهم تفهم الalgorithm وتكتب البرنامج بنفسك

على فكرة... معظم طرق الdatamining بسيطة جدا كتطبيق وانت حتى مش محتاج weka.... لكن اختصارا للوقت استخدمه

لان weka ايضا تحتوي على visualization و طرق evaluation تسهل عليك عدة امور مرة واحدة

اقتباس

افهم من ماقلت انها شبيه بالطريقة اليدويه االي نسويها؟

لكن آلية بناء الdecision-tree اوتوماتيكي وليس يدوي

والنتيجة: بما انه اوتوماتيكي، ربما سيكتشف علاقات لا يكتشفها العقل البشري... لان البني آدم يمل بسرعة... بينما الكمبيوتر ممكن يقوم ب100000 عملية استعلام متشابهين دون ملل الى ان يجد علاقة

ولو تنظر الى decition tree مبني بواسطة الآلة تلقائيا... ستجد ان الlf else statements فيه غريبة وتقريبا doesn't make sense للعقل البشري -- والسبب انها اكتشفت علاقة لا نراها نحن كبني آدمين

حق الdatamining مسلي جدا.... احب هذا المجال :wub: .. ببساطة يضيف على قدرات الانسان ويريه علاقات واشياء لم يكن ليعلمها

CodeToCode كتب:

هي البحث والتنقيب في ال data warehouses عن شكل معين للبيانات وتستخدم في عده مجالاات منها بنكية وصحيه وتسويقيه وحتى في الجرائم والامن

اجعل اجابتك اكثر دقه وتوخى الحذر بها لكي لا يعتمدها البعض وبها حطأ .. جزء من كلامك صح لكنك لم تكمل المعنى كانت مبهمه اكثر منها اجابه ..

Data Mining

اتمنى من الاخوه جميعا توخي الحذر في كتابة اي معلومه رجاءا يا احبه لا نريد ان نهدم اكثر من ان نبني .. لا تكونوا متسرعين احسن الله اليكم

بالتوفيق

( HASSAN ) كتب:

اجعل اجابتك اكثر دقه وتوخى الحذر بها لكي لا يعتمدها البعض وبها حطأ .. جزء من كلامك صح لكنك لم تكمل المعنى كانت مبهمه اكثر منها اجابه ..

Data Mining

اتمنى من الاخوه جميعا توخي الحذر في كتابة اي معلومه رجاءا يا احبه لا نريد ان نهدم اكثر من ان نبني .. لا تكونوا متسرعين احسن الله اليكم

بالتوفيق

Data mining "Is defined as the process of discovering patterns in data."[Witten,Frank 2000,p.3].

هذا مو كلامي هذا من كتاب Witten ال Data Mining

تحياتي،