ربات های خزنده گوگل را می توان این طور توصیف کرد که: نرم افزار هایی هستند که تحت استفاده وب ساخته شده اند





.

با استفاده از الگوریتم هایی پیچیده و فوق پیشرفته که موتور های جست و جو برای آن ها در نظر گرفته است، به صفحات وب دخول می کنند و با مشاهده لینک هایی که در آن صفحه وب وجود دارد به هر لینک موجود در صفحه می خزند و گاهاً ممکن است در یک صفحه ای که خزنده ورود می کند، لینک همان صفحه یا صفحات دیگری وجود داشته باشد، با این تفاصیر خزنده گوگل دوباره با خزیدن به آن لینک ها از صحت وجود داشتن صفحات جدید و محتوای آن آگاه می شوند





.

پس با وجود همه ی این توصیفات ما به این نتیجه می رسیم که خزنده هیچ موقع بیکار ننشسته و همیشه در حال گشتن در صفحات تازه به وجود آمده صفحات قدیمی تر گوگل است





.
ربات وب که بیشتر از آن ها با نام خزنده و یا عنکبوت یاد می شود یک نوع ربات برنامه ریزی شده است که برای پیگری لینک های موجود یا لینک های تازه ساخته شده به وجود آمده است





.

آن ها غالباً کار اصلی شان این است که به جست و جو دنبال لینک ها رفته و با به دست آوردن اطلاعات لازم، کامل و مورده نیازشان، آن ها را در در جای ذخیره و نگهداری (مرکز داده های گوگل) می کنند





.

هر کسی می تواند مدت زمان خزیدن ربات گوگل و زمانی که در سایتشان سپری کرده است را ببیند و همچنین همه اطلاعاتی که توسط ربات گوگل ذخیره





(indexer) و به پایگاه داده ای گوگل انتقال یافته است را از طریق گوگل وب مستری که فقط مربوط به سایت خود است، در قسمت





crawl موجود در وب مستر مشاهده کند