الطريقة إلى ترتيب قوي وحركة مرور عضوية عالية تتطلب محركات البحث للعثور على، وفهم وفهرسة المحتوى بشكل صحيح. هذا يسمى يزحف بلغة "سي أو أو"
السبب في أن محركات البحث يمكن أن تخدمكم مئات الآلاف من الزيارات لأقل من ثانية قبل أن تضغطوا على "البحث" هو أن جوجل قد عبرت بالفعل الإنترنت وفهرست جميع الصفحات ذات الصلة بمصطلح البحث الذي رسمتوه. أن مواقعك على الإنترنت تزحف هو شرط مسبق لذلك أنها فهرس، في حين الفهرسة شرط مسبق للترتيب. فهرس جوجل يمكن مقارنته بكتاب ضخم يحتوي على كل المحتوى المفتوح على الإنترنت الكبير.
Sitamap.xml الخطوة الأولى التي يجب اتخاذها لتجنب التعقيدات الزحفية هي تطبيق جانب من خريطة الموقع.xmlدعونا نقول ان هذا يعادل ذلك ويمكن النظر إلى خريطة الموقع على أنها تعليمات لمحركات البحث التي ينبغي أن تزحف إليها الصفحات، وكم مرة ينبغي أن تزحف، وما هي الأولوية التي ينبغي أن تعطى لمحركات البحث فيما يتعلق بالصفحات الأخرى في نفس المجال.
ويخصص لكل موقع على شبكة الإنترنت (أ) ميزانية الزحف من حجم معين يحدد كم من الموارد (عدد الصفحات ومقدار الوقت) التي ستستخدمها غوغل في إنتاج الصفحات يوميا. وبالنسبة للمواقع الشبكية الأكبر حجما، تعتبر خرائط المواقع هذه طريقة مناسبة لمعرفة محركات البحث التي ينبغي أن تكون لها الأولوية العليا.
الروبوتات.txt سبب وجود عدد محدود من الأشخاص ميزانية الزحف فقط محركات البحث يجب أن تعطى الأولوية لفهرسة الصفحات التي هي مهمة لعرضها في جوجل. أمثلة على صفحات ليست مهمة للظهور في جوجل هي / الألغام بجانب و / كتالوغ البحث. الروبوتات.txt هي طريقة بسيطة للإشارة إلى جوجل أي الصفحات سيتم استبعادها، بحيث يمكنك تحقيق أسرع وأحدث فهرسة للصفحات الأكثر أهمية.
الملاحة الداخلية وهيكل الصفحات ولهيكل الصفحة والملاحة دور هام في تحقيق أفضل درجات التصادم. يمكنك قراءة المزيد عن هذا في مقالة الملاحة