http://www.elshami.com

web crawlers
زاحفات الويب

زاحفة الويب تعرف أيضا بعنكبوت الويب  web spider  أو روبوت الويب  web robot، وهي عبارة عن برنامج أو نص أوتوماتيكي مهمته تصفح الشبكة العنكبوتية العالمية بطريقة أوتوماتيكية منظمة.

وهناك مسميات أخرى ولكنها أقل استعمالا، مثل:  النمل  ants، الكشافات الأوتوماتيكية  automatic indexes، واللفظ  bot  الذي هو اختصار للفظ روبوت  robot، والديديان  worms.

والعملية نفسها تسمى الزحف في الويب  web crawling  أو العنكبة  spidering . والكثير من المواقع، وبالذات محركات البحث  search engines، تستخدم أسلوب العنكبة كوسيلة لتقديم بيانات محدثة عن الصفحات. وزاحفات الويب تستخدم أساسا لإنشاء نسخة من الصفحات التي تقوم بزيارتها من أجل تجهيزها بواسطة محركات البحث لتكشيف الصفحات التي تقوم بتنزيلها بهدف توفير عمليات بحث سريعة. والزاحفات يمكن استخدامها في عمليات الصيانة الأوتوماتيكية لمواقع الويب، مثلما يحدث عند فحص الروابط واكتشاف الروابط الخاطئة أو تصحيح كود  HTML  أو حصد عناوين البريد الإلكتروني (لاستعمالها في الرَّذْل  spam).

وتبدأ الزاحفة بقائمة من العناوين  URLs  التي تزمع زيارتها، وهذه العناوين تعرف باسم النوى أو البزور  seeds. وأثناء زيارة الزاحفة لهذه العناوين، تتعرف على جميع الروابط المتشابكة  hyperlinks  في الصفحة ثم تضيفها إلى الصفحات التي ستزورها وهذه تسمى تخوم الزحف  crawl frontiers .