Web Crawler(spider) المستخدم لتسجيل المواقع

السلام عليكم

اعرف واحد من الزملاء كتبة مره، لكن ممكن توضح أكثر ما هي الأشياء التي تتوقعها أو بالضبط وين تبي تستخدمة، لأن الذي أعرفة أن زميلي كتب شيء بسيط بحيث تعمل Crawling على موقع معين أو على الانترنت، مع عمل Parsing لمحتوى HTML و أستخراج الكلمات و تقسيمها و من ثم إزالة Stopwords وبعد ذلك تخزينها في ملف ليتم بعد ذلك عمل indexing عليها لتصبح جاهزة لعملية البحث. الذي عملة كان محرك بحث صغير بإستخدام Inverted File لكن في قواعد البيانات.

على العموم ستجد لو بحثت في قوقل العديد من الناس الذين قاموا بعمل Spider و هي مفتوحة المصدر، و اتذكر ان هنالك في موقع Sourceforge مشروع كبير جداً بلغة الجافا عن هذا الموضوع تستطيع البحث عنه.