كيف اتصفح المواقع مثل محركات البحث

على حد علمي هناك طريقتين إما بإستخدام curl أو socket .

هي ليست طرق وإنما سكريبتات قويه يتم تصفح المواقع من خﻻلها وأخذ بيانات المواقع

فجووجل وياهوو لديهم كادر ضخم للوصول إلى جميع الصفحات مهما كان عليها حماية ولو أرادوا الدخول إلى بريدك الإلكتروني لفعلوا ولكن بسبب المصداقية والثقة والحقوق يتم تفادي ذلك ,

جووجل مثﻻ تقوم بإعطائك لوحة تحكم يمكنك من خﻻلها إلغاء فهرسة أي صفحة أو دومين لكي تجنب نفسها المساءله و يكون لدى زوارها ثقة متبادله ,

الدوال ليست هي المهمه ولكن ماتريد فهرسته هو المهم , ما أقصدة دالة curl مثﻻ تمكنك من فتح صفحة بعدها تريد الروابط الموجوده بهذه الصفحة لكي يستمر البرنامج بالعمل , هناك روابط جافاسكريبت يجب أن تقوم بحل شيفرة السكريبت لأخذ الرابط وربما تصل لمواقع تستخدم يوزر نيم وباسوورد مثل الكثير من المنتديات فيجب أن تصرح للمنتدى بإسم مستخدم ورقم سري كما يفعل جووجل وهكذا

الأمر ليس هين ولكنه ممتع :)