تخزين معلومات من مواقع

الموقع بيوفر api للإستخدام ؟ لو لأ يبقة حلك ال scraping

جرب http://www.crummy.com/software/BeautifulSoup/ مع http://wwwsearch.sourceforge.net/mechanize/

مرحبا

أظن أن ما تطلبه مشابه لعمل محركات البحث، ابحث في ذلك الأمر.

شكرا جزيلا اخي احمد على الرد ......اتمنى من الله ان يوفقني ويوفقك للخير

ahmed_youssef كتب:

الموقع بيوفر api للإستخدام ؟ لو لأ يبقة حلك ال scraping

جرب http://www.crummy.com/software/BeautifulSoup/ مع http://wwwsearch.sourceforge.net/mechanize/

السلام عليكم

اخي احمد اشكرك على ردكم الكريم , جربت بيوتفل سوب ولكن وجدته يحتاج الى الكثير من الوقت وفيه الكثير من التعقيدات , اخي ابحث عن حلول اسرع

اتمنى ان تكون فهمت المطلوب

اريد معرفة المنتاجات المعروضة في موقع ما مع اثمانها مع وجود امكانية لتنفيذ السكربت على مواقع مختلفة

امل ان اجد شيء في المصادر المفتوحة يساعدني

لكم مني فائق الاحترام

السلام عليكم

لازم تعرف شكل الملف فى الموقع دا وهتتغير طريقة المعالجة بناء على كل موقع حسب الإختلاف

اما وثائق BeautifulSoup فسهلة جدا فى التعلم عندك مشكلة فى اى جزئية تحديدا ؟

اخي احمد شكرا على اهتمامك

لنفترض اننا نريد ان نقوم بتخزين كل المنتجات المعروضة داخل موقع ebay.com وعند زيارة الموقع المذطور نجد ان البضائع تم تصنيفها على هيئة كتلوكات وكل كتلوك ممكن ان يكون كتلوك ايضا المهم الان هو كيف يمكن الوصول كل على حده بحيت يكون عندنا مخرجات عل هيئة اسم المنتج , وصف للمنتج و السعر مثلا

انا حاولت

import urllib2

from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen("http://www.ebay.com")

soup = BeautifulSoup(page)

a = soup.findAll('h')

p = soup.findAll('p')

print ' There are ', len(a),' head '

print ' There are ', len(p), 'Pergraph'

prit ' all heads in page'

for links in a:

print links

print

كيف يمكنني الوصول الى كل الكتلوكات مع التعرف على المنتجات التابعه لها

يعني الموقع ebay ؟

فلو كدا فمتوفر ليه API

http://developer.ebay.com/

http://code.google.com/p/ebay-sdk-python/

ahmed_youssef كتب:

يعني الموقع ebay ؟

فلو كدا فمتوفر ليه API

http://developer.ebay.com/

http://code.google.com/p/ebay-sdk-python/

اخي احمد ليس الموقع ebay ولكني قدمته كمثال هذا احدث شيء جديد الا وهو api امل الافاده في هذا الموضوع

انا اريدك ان اوضح كيفت الاستفاده من Beautiful Soup اوبجيكت والميتود

انا عايز اساعدك المشكلة ان مش بتدي المشكلة بتوضيح كامل

لو الموقع مش بيوفرلك API يبقة هتعتمد على ال screen scraping ووقتها المشكلة لو اتغير شكل الصفحةاللى بتقراها لأ سبب

بإختصار كائن BeautifulSoup بياخد html text لصفحة ما وبعد كدا تقدر تبحث عن شئ معين مثلا بالإسم او الأب او المحتوي او حتي فلترات اضافية من عندك

http://www.crummy.com/software/BeautifulSoup/documentation.html#Searching%20Within%20the%20Parse%20Tree