بسم اله الرحمن الرحيم
السلام عليكم
اود اولا ان اشكركم على هذا القسم الذي هو اكثر من رائع
كان لدي سؤال بخصوص موضوع تنظيف البيانات لقد طبق معنا الدكتور مثال وكنت ابحث عن امثله مشابهه لذلك ولكنني لم اجد فلو ممكن شرح امثله مشابهه لهذا المثال (باللغه العربيه)
المثال في المرفقات
وشكرا لكم ....................
.
السلام عليكم ورحمة الله وبركاته
في البدايه لا يوجد اي ملفات مرفقه ..
اما موضوع فقد تطرقت له سابق , ولكن كان بشكل مختصر تنقيب البيانات
( HASSAN ) كتب:كما تحدثنا سابقا عملية تنقيب البيانات تتم على السجلات ولكي تكون سليمه وتحقق الهدف منها , يجب ان يساعدها
خطوات الهدف منها اعادة تصحيح والتاكد من دقة هذه البيانات وخلوها من الشوائب والتشويشات ..
وهذه الخطوه تسمى تهيئة البيانات ( Data preparation) وتمر هذه العمليه بعدة مراحل :-
* تنظيف البيانات :- هنا يتم التخلص من بعض البيانات التي تحتوي على عيوب مان تكون مطبعيه , او بيانات
قديمه لا تفيد في الوقت الحالي وغير ذالك . ( data cleaning )
* البيانات المفقوده :- عمليه تنقيب البيانات من اهم متطلباتها ان تكوت البيانات كامله لا تحتوي على قيم مفقوده ,
وهنالك طرق طبعا لاعداة هذه وتصحيح هذه البيانات , مثل الوسط الحسابي وغيرها من العمليات ( Missing value ) .
* اشتقاق البيانات :- في بعض الاحيان يستوجب اشتقاق بعض الاعمده فتساعدنا في الحصول على معلومات مفيده ( Data derivation ) .
* دمج البيانات :- في بعض الاحيان يتم دمج بعض الاعمده للحصول على نتائج افضل او الاختصار في البيانات ( Merging Data ) .
......................
بالتوفيق ان شاء الله ..
شكرا جزيلا لك وانا اريد شرح كهذا المثال
المثال كالتالي
مثال:
اخترنا مجموعه من البيانات من اشخاص تم اشتراكهم في العديد من الصحف المحليه.
1.اختيار البيانات(Data selection).
رقم العميل الاسم العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم عبدالله شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد شارع عنيزة 1-1-1 الرياضية
101102 محمد منصور عبدالله شارع خالد بن الوليد 28-2-2009 الجزيرة
101115 منصورعبدالله محمد شارع الامير ماجد 1-1-1 الرياض
101034 خالد ابراهيم محمد طريق الملك فهد 2-2-2009 الحياة
101244 حمد منصور عبدالله شارع خالد بن الوليد 20-4-2009 الرياض
2.تنظيف البيانات(Cleaning) .
أنواع تنظيف البيانات:
• الكشف قبل أن تبدأ.
• الكشف خلال مراحل الاكتشاف.
عناصر التنظيف:
1.2إزالة الازدواجية(De-duplication).
الاسباب:
1. أخطاء في الطباعة.
2. تم تغيير بيانات لعملاء مثل: تم تغيير عنوان العميل ولم يتم تعديلة.
3. تعمد اعطاء معلومات خاطئة او مشاكل في التهجئه.
الجدول قبل ازاله الازدواجية( before De-duplication):
رقم العميل الاسم العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم عبدالله شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد شارع عنيزة 1-1-1 الرياضية
101102 محمد منصور عبدالله شارع خالد بن الوليد 28-2-2009 الجزيرة
101115 منصور عبدالله محمد شارع الامير ماجد 1-1-1 الرياض
101034 خالد ابراهيم عبدالله طريق الملك فهد 2-2-2009 الحياة
101244 حمد منصور عبدالله شارع خالد بن الوليد 20-4-2009 الرياض
الجدول بعد ازالة الازدواجيةAfter De-duplication)):
رقم العميل الاسم العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم محمد شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد شارع عنيزة 1-1-1 الرياضية
101102 محمد منصور عبدالله شارع خالد بن الوليد 28-2-2009 الجزيرة
101115 منصورعبدالله محمد شارع الامير ماجد 1-1-1 الرياض
101034 خالد ابراهيم محمد طريق الملك فهد 2-2-2009 الحياة
101102 محمد منصور عبدالله شارع خالد بن الوليد 20-4-2009 الرياض
2.2.انعدام التوافق للمجال(Lack of Domain Consistency):
الحلول:
أ.استبدالها بNull
ب.تصحيح القيمه.
البيانات قبل التصحيح(Data before Correcting):
رقم العميل الاسم العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم محمد شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد شارع عنيزة 1-1-1 الرياضية
101102 محمد منصور عبدالله شارع خالد بن الوليد 28-2-2009 الجزيرة
101115 منصور عبدالله محمد شارع الامير ماجد 1-1-1 الرياض
101034 خالد ابراهيم محمد طريق الملك فهد 2-2-2009 الحياة
101102 محمد منصور عبدالله شارع خالد بن الوليد 20-4-2009 الرياض
البيانات بعد التصحيح(Data After Correcting):
رقم العميل الاسم العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم محمد شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد شارع عنيزة 2-4-2008 الرياضية
101102 محمد منصور عبدالله شارع خالد بن الوليد 28-2-2009 الجزيرة
101115 منصور عبدالله محمد شارع الامير ماجد Null الرياض
101034 خالد ابراهيم محمد طريق الملك فهد 2-2-2009 الحياة
101102 محمد منصور عبدالله شارع خالد بن الوليد 20-4-2009 الرياض
3.شراء بيانات اضافيه خارجية(Enrichment).
وهي عبارة عن شراء بيانات اضافية خاصة بالعملاء يمكن الاستفادة منها.
البيانات التي تم شرائها.
الاسم يوم الميلاد الراتب الرصيد يملك سيارة يملك بيت
صالح 1-1-1980 15000ريال 100,000ريال لا لا
عبدالرحمن 2-8-1975 20000ريال 30,000ريال نعم لا
محمد 12-12-1970 25000ريال 200,000ريال نعم نعم
4 .الترميز(Coding).
1.4اضافة البيانات المشتراة(Add purchased data to DB).
رقم العميل الاسم يوم الميلاد الراتب الرصيد يملك سيارة يملك بيت العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم محمد 1-1-1980 15,000 100,000 لا لا شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد 2-8-1975 20,000 30,000 نعم لا شارع عنيزة 2-4-2008 الرياضية
101102 محمد منصور عبدالله 12-12-1970 25,000 200,000 نعم نعم شارع خالد بن الوليد 28-2-2009 الجزيرة
101115 منصورعبدالله محمد Null Null Null NULL Null شارع الامير ماجد Null الرياض
101034 خالد ابراهيم محمد Null Null Null Null Null طريق الملك فهد 2-2-2009 الحياة
101102 محمدمنصور عبدالله 12-12-1970 25,000 200,000 نعم نعم شارع خالد بن الوليد 20-4-2009 الرياض
2.4 ازالة كل من ليس لدية معلومات كافية.
مثل:منصور وخالد.
البيانات بعد حذف منصور وخالد.
رقم العميل الاسم يوم الميلاد الراتب الرصيد يملك سيارة يملك بيت العنوان تاريخ الاشتراك الجريدة المشترك بها
101104 صالح ابراهيم محمد 1-1-1980 15,000 100,000 لا لا شارع بريدة 1-4-2009 الاقتصادية
101105 عبدالرحمن عبدالله محمد 2-8-1975 20,000 30,000 نعم لا شارع عنيزة 2-4-2008 الرياضية
101102 محم منصور عبداللد 12-12-1970 25,000 200,000 نعم نعم شارع خالد بن الوليد 28-2-2009 الجزيرة
101102 محمدمنصور عبدالله 12-12-1970 25,000 200,000 نعم نعم شارع خالد بن الوليد 20-4-2009 الرياض
3.4 نزيل جميع الاعمدة التي لايمكن الاستفادة منها.
مثل:الاسم وتاريخ الاشتراك.
البيانات بعد حذف عمود الاسم وتاريخ الاشتراك.
رقم العميل يوم الميلاد الراتب الرصيد يملك سيارة يملك بيت العنوان الجريدة المشترك بها
101104 1-1-1980 15,000 100,000 لا لا شارع بريدة الاقتصادية
101105 2-8-1975 20,000 30,000 نعم لا شارع عنيزة الرياضية
101102 12-12-1970 25,000 200,000 نعم نعم شارع خالد بن الوليد الجزيرة
101102
12-12-1970 25,000 200,000 نعم نعم شارع خالد بن الوليد الرياض
4.4 ترميز المعلومات (Code information):
تغيير البيانات في الأعمدة الى بيانات ابسط.
مثل:
1. يوم الميلاد الى العمر
2. قسمة الراتب على 1000
3. قسمة الرصيد على 1000
4. نعم ولا الى 0و1
رقم العميل العمر الراتب الرصيد يملك سيارة يملك بيت العنوان الجريدة المشترك بها
101104 29 15 100 0 0 شارع بريدة الاقتصادية
101105 33 20 30 1 0 شارع عنيزة الرياضية
101102 38 25 200 1 1 شارع خالد بن الوليد الجزيرة
101102
38 25 200 1 1 شارع خالد بن الوليد الرياض
5.4 التسطيح(Flattening)
عملية جعل بعض الصفوف الى اعمدة تحتوي بيانات بسيطة اما احرف او ارقام ليسهل المقارنه.
رقم العميل العمر الراتب الرصيد يملك سيارة يملك بيت العنوان الاقتصادية الرياضية الجزيرة الرياض
101104 29 15 100 0 0 شارع بريدة 1 0 0 0
101105 33 20 30 1 0 شارع عنيزة 0 1 0 0
101102 38 25 200 1 1 شارع خالد بن الوليد 0 0 1 1
5. التنقيب في البيانات(data mining)
بعد الانتهاء من عملية تنظيف البيانات واعدادها نقوم بعملية التنقيب.
ويوجد العديد من الاستراتيجيات للقيام بهذه العملية منها:
1.5 استراتجية التصور(Visualization Techniques)
تصور نقاط متعددة الأبعاد تكمن في الكشف عن الاحتمال.
• اذا كانت المسافة بين نقطتين صغيرة - القيم التي لهم مماثلة - فمن المرجح انها لن تتصرف بنفس الطريقة.
• اذا كانت المسافة بين نقطتين كبيرة - القيم التي تمثلهم تتصرف بطريقة مختلفة .
والقانون لحساب المسافة:
الجذر التربيعي لـ (س1- س2)^2+(ص1- ص2)^2+(ع1- ع2)^2
2.5 التمثيل الشجري(Decision Trees)
استراتيجية جيدة مع مجموعات كبيرة من البيانات.
خطواتها:
1. نختار العمود الاكثر فعالية ولنفرض العمر .
2. نفصلها الى مجالين كما هو موضح ادناة مثلا: اذا كان اكبر من 35 فان نسبة شرائة للصحيفة 99% اما اذا كان اصغر من 35 فان نسبة شرائة 33%(1) .
*ويمكن اعادة الخطوة السابقة حتى تصبح مثل الشجرة مثل: ان نجد الذي عمره اقل من 35 وراتبة اقل 10000ريال يكون نسبة شرائة للصحيفة الرياض 50% اما اذا كان راتبة اكبر من 10000ريال فان نسبة شرائة للصحيفة 10% (2)
*ملاحظة هذا مثال بسيط للتوضيح ولكن العملية تتم على مجموعة كبيرة من البيانات.
6.التقرير(reporting).
يتم من خلالة عرض جميع المعلومات التي تم الحصول عليها من الخطوات السابقة.
اولا اختي بارك الله فيكي المثال الذي ارفقتيه يوجد به شرح جيد حسب ما ارى , ولكن المشكله به قد تكون فقط في ترتيب الخطوات والافكار وطريقة طرح المثال .
على كل سارفق ان شاء الله شرح لها في اليومين القادمين , طبعا هذا ان شاء الله ما أن يتوفر لي الوقت بعون الله ..
بالتوفيق .
العفو منك ولكن انا امتحاني يوم الثلاثاء ان امكنك ان تضع لي امثله مشابهه لهذا المثال قبل يوم الثلاثاءحتى افهم الموضوع اكثر
شاكره لك حسن تعاونك .
ميارا كتب:العفو منك ولكن انا امتحاني يوم الثلاثاء ان امكنك ان تضع لي امثله مشابهه لهذا المثال قبل يوم الثلاثاءحتى افهم الموضوع اكثر
ان شاء الله ..
الله المستعان ... اختي الظروف تحكم وأسـأل الله التوفيق للجميع ..
بالتوفيق ان شاء الله ..
جزاك الله كل خير اخي الكريم
وشكرا لكلامك الطيب
السلام عليكم اخي
هل هناك مجال لاعطاء امثله اليوم ام لا؟؟؟
وشكرا
ميارا كتب:هل هناك مجال لاعطاء امثله اليوم ام لا؟؟؟
انا اعتذر لانني لم استطيع ان اذكر مثال واشرحه ولكن في المرفق مثال وشرح قد يفيد ان شاء الله ..
بالتوفيق ..
عالعموم مشكور وماقصرت
المتواجدون خلال آخر دقيقتين · يتحدّث كل ٣٠ ثانية
جارٍ التحقق من المتواجدين…