ما هي بنية الأنظمة الضخمة مثل facebook و google من حيث التخزين و الكود ؟

السلام عليكم ورحمة الله وبركاته

تفضل الروابط التالية

http://borthakur.com/ftp/hadoopmicrosoft.pdf

http://www.erlang-factory.com/upload/presentations/31/EugeneLetuchy-ErlangatFacebook.pdf

http://www.bestechvideos.com/2009/04/07/facebook-tech-talks-the-architecture-of-facebook-connect

http://www.techiegyan.com/2009/04/13/facebook%E2%80%99s-architecture/

http://www.quora.com/What-is-Facebooks-architecture

http://stackoverflow.com/questions/3533948/facebook-architecture

وبالبحث يمكن ان تجد المزيد

والله الموفق

لن أدخل في تفاصيل موضوعك كثيرا ولا أدري إن كان فيسبوك له علاقة بما سأذكر، ولكن هناك العديد من الأنظمة - مفتوحة المصدر - يُستفاد منها في مثل هذه الأمور:

1- تقنية Beowulf (ذئب النحل)، القائمة على تكوين عنقود يتألف من مجموعة من الحواسيب (المعالجات) التي تشترك في معالجة الأوامر مخلّقةً قوة معالجة خارقة، غالبا ما يستفاد من هذه التقنية في علوم الفيزياء والرياضيات لحساب نواتج معادلات ثقيلة، وتوقعات رقمية قائمة على أرقام نجمية.

روابط مساعدة:

ذئب النحل على أنظمة نواة لينوكس.

إعداد ذئب النحل على نظام FreeBSD.

2- تقنية Load balancer (موازن الحمل)، قائمة على توزيع الطلبات على عدة خوادم متطابقة المحتوى، وهنالك خوارزميات عديدة لطريقة توزيع الطلبات على الخوادم، مثل round-robin و Random ..إلخ، تعاملت سابقا مع أحد أنظمة مفتوحة المصدر تعمل بامتياز مثل: LVS و Pound .

3- تقنيات جس النبض (التوفر العالي) High Availability وهي أنظمة تقوم بمراقبة أي خادم يفشل في العمل وتقوم بتوكيل خوادم بديلة جاهزة للعمل بسرعة. أحد البرامج المفتوحة المصدر في هذا الصدد هو CARP.

السلام عليكم ...

مشكورين الإخوة على الردود ..

+1

+1

1. طبعا الروابط بحاجة إلى قراءة بتمعن و دقة ... و هذا يأخذ وقتا ..
2. و كما ذكر في أحد الروابط أن كثير من الأمور و التفاصيل و الجزئيات تبقى مخفية (لزوم الشغل) ..
3. النظام عندهم ليس عبارة عن php و mysql مثلا .. فكما ذكر أحد الروابط أن الـ facebook يعتمد أساسا على أداة hiphop تقوم بتحويل يتحويل الــ PHP إلى C++ محسن Optimized ..إضافة لقواعد البيانات من نوع schema-less and document-oriented وة أيضا تم استخدام لغة الجافا و الله أعلم ..
4. أيضا تقنيات الــ load balancing و الــ High availability يجب القراءة عنها .. و كيفية استخدامها مع طلبات صفحات الويب .. و دمجها مع الــ web server .

لا أعرف بالظبط الطريقة المستخدمة لكن ما أعرفه أنهم لا يستخدمون Relational Database عادية .

مثلاً Twitter و Facebook و غيرهم يعتمدون على Cassandra ( أو على الأقل شيء شبيه بها ) :

http://cassandra.apache.org/

أما Google فتخزن نتائج البحث و تفهرسها بطريقة شبيهة بـ Apache Lucene :

http://lucene.apache.org/

أما البنوك فلن تجدها تستخدم هذه المنتجات بل تستخدم Oracle و Relational Databases بشكل عام .

وبالتالي كل تطبيق يخزن بياناته بطريقة مختلفة حسب أهداف التطبيق . صدقني لا أعرف عن ماذا أتكلم لكن ما أفهمه أن بعض " القواعد الصارمة" التي تفرضها Relational Databases المعروفة مثل Oracle

مرة أخرى كل ما سبق مجرد " تخمين " فقط من قراءة سطحية قمت بها قبل 6 شهور عندما كنت مهتماً حول الموضوع .

=

MySQL أكثر من مرة تتعطل فيها الجداول الضخمة ( وحسب ما قرأت ، غالباً يحدث هذا بسبب مشكلة I/O ، كامتلاء القرص مثلاً ، و كانت تلك هي مشكلتنا التي سببت كل هذا ! )

لا اعتقد ان الطرق المتبعة مخفية او سرية , ربما بعض الجزئيات قد تكون سرية نعم لكن هذه الشركات تمتلك الدعم الكافي لتوفير فريق عمل متكامل لحل المشاكل وايجاد افضل الحلول

كذلك لا تنسى مختبرات الابحاث التي تمتلكها هذه الشركات فهم يطوروا افضل التقنيات لحل المشاكل

Facebook تستخدم نسخة معدلة من MySQL و الفريق داخل Facebook نفسه

و هذه بعض الروابط

http://www.readwriteweb.com/hack/2010/11/facebook-mysql-scale.php

http://gigaom.com/cloud/facebook-shares-some-secrets-on-making-mysql-scale/

في البرمجيات هناك مصطلح يسمى بـ Scaling يمكنك بدء البحث به .

من الغريب ان المواقع في اول نشوء لها

هي عبارة عن لغة وقاعدة بيانات عادية كـ mysql و sql server

اما عندما تنجح وتشترى تصبح معقدة التركيب كالذرات وبهذا يصعب تقليده

فاليس بوك كان يستخدم فقط php اما الان xhp وهي مطورة عن لغة php وتتحول الى C++ لكي يصبح الموقع اكثر قوة وسرعة وايضا تستخدم قاعدة بيانات Cassandra ولغة ajax لكي يصبح اطرازه يواكب العصر الجديد

كنظام الـ comments لايحتاج الى تحديث الصفحة سواء للكاتب او للقارئ وهذا ماجعله ينجح ويكثر استخدامه

المهم : عندما تصبح تركيبة الموقع معقدة يصعب تقليدها ويصعب اختراقها

فهناك سكربتات مجانية للتواصل الاجتماعية ولكنها سيئة ولاتقارن ببرمجية الفيس بوك فلو كانت هناك برمجية شبيهة بالفيس بوك لكان خسر من زمااااااااان

وايضا جوجل : هناك برمجيات معقدة كثيرة ومنها البحث عن المواقع

فهناك ناس تقول ان جوجل عبارة عن نموذج فيه حقل وزر ويبحث عن قاعدة بيانات بسيطة وتعتقد ان هناك اناس تضيف كل هذه المواقع

مع انه هذا خطا

جوجل فيه عناكب ارشفة معقدة جدا ومستحيل تقليدها

أخي العزيز, الموضوع لا يمكن الحديث عنه بهذه البساطة. لأن تمدد النظام يمكن أن يكون طولياً و يمكن أن يكون عرضياً. التمدد على مستوى النظام نفسه في الغالب سيكون اتوماتيكياً بمجرد إضافة موارد جديدة. المعضلة هي استغلال الموارد المضافة بشكل كامل أو قريب ذلك. يمكنك تخيل وجود وحدات حسابية متصلة ببعضها البعض. فإذا قمت بإضافة معالج جديد فهذا تمدد طولي في نفس الوحدة الحسابية, في التمدد العرضي يتم إضافة وحدات حسابية جديدة.

الطريقة المثلى للتمدد الطولي, هي ببناء asynchronous system بحيث يكون هناك piping أو إذا كان نظاماً ضخماً كفاية ستجد أن هناك نظام مستقل يرتب عملية تدفق البيانات. التمدد العرضي, يكون بأن تصمم النظام حسب معالجة البيانات, بمعنى أنك تحدد تدفق البيانات Data Flow. ثم تقوم بإسناد الوحدات الحسابية و تكوين نظم تابعة للنظام الأساسي في كل node بحيث تقوم بمعالجة البيانات.

هذه الفكرة كـ best practice. و لكن ستجد الكثير من التصاميم و كل نظام و له احتياجات و متطلبات خاصة. Google أحد الأمثلة التي تتبع التصميم الذي تكلمنا عنه. و لكنهم تخطوا المبادئ بشكل واضح فلديهم نظام ملفات خاص لهذا النظام!!!!!!!

عندما تخرج من التمدد الطولي shared memory, إلى التمدد العرضي distributed memory فستحتاج للتفكير في وسائل نقل البيانات, و الطريقة المثلى للتواصل بين الوحدات الحسابية, و هذا موضوع لوحده!

تحياتي...