Indexingو Crawling در موتورهای جستجو
1395/08/07
ارسال شده توسط Manager
553 بازدید
آموزش سئو و بهینه سازی سایت
Crawl
crawl در لغت به معنای “خزیدن” می باشد.
بررسی و جمع آوری اطلاعات کامل یک وب سایت اعم از مطالب و لینک های درون وب سایت را که توسط ربات هایی موتور های جستجو انجام می شود، crwal می گویند.
Crawler
بررسی و خواندن کلیه مطالب و محتوای یک سایت اولین اقدامی است که موتور های جستجو انجام می دهند. این مجموعه عملیات توسط نرم افزارهایی به نام خزشگر(Crawler) یا عنکبوت (spider)انجام می شود.
گوگل به کمک مجموعه عظیمی از کامپیوتر ها، بیلیون ها صفحه در وب را میخواند. و برنامه ای (رباتی) که این همه صفحه را فراخوانی میکند “گوگل بوت” نامیده میشود (همچنین با نام های اسپایدر یا ربات نیز شناخته می شود) ربات گوگل با براساس الگوریتم های که برنامه ریزی شده است مشخص میکند که چه سایتی فراخوانی شود، و این فراخوانی هرجند وقت یکبار صورت بگیرید، و چه تعداد از صفحات هر سایت فراخوانی شوند.
عملیات بررسی و فراخوانی که توسط ربات گوگل انجام می شود با لیستی از لینک ها شروع می شود که این لینک ها از فراخوانی صفحه قبلی بدست امده اند و یا توسط نقشه سایت توسط وبمستر ها تهیه شده است.
گوگل صریحتا اعلام کرده که بررسی سایت ها و نتایج جستجویی که نشان میدهد را از مبحث درآمد زایی خودش که از طریق Adwords انجام میشود کاملا مجزا کرده است و این عملیات crwal سایت ها کاملا رایگان توسط گوگل انجام می شود و این امکان وجود ندارد که با پرداخت پول درخواست دهیم که سایت ما بهتر و زودتر توسط ربات گوگل بررسی شود.
یکی از مهمترین عواملی که در سئو و بهینه سازی سایت ها باید به آن توجه نمود طریقه ی شاخص گذاری (Indexing) موتورهای جستجو می باشد.
موتورهای جستجوی پیشتاز همچون Yahoo!، Google و Bing از خزندهها (Spiders) جهت یافتن صفحات برای نتایج جستجوی الگوریتمیک استفاده میکنند. صفحاتی که از داخل باقی صفحات ایندکس شده، توسط موتورهای جستجو Link شدهاند و نیاز به ارسال، به موتور جستجو نداشته و بصورت خودکار پیدا میشوند. بعضی از موتورهای جستجو از جمله !Yahoo سرویس پولی ارسال را راه اندازی کرده اند که استفاده از خزندهها را هم بصورت مجموعهای از قیمتها و نیز بصورت سیستم بها به ازاء هر Click، اجرا میکند. این برنامهها معمولاً قرارگیری در بانک اطلاعاتی موتور جستجو را ضمانت کرده و در قبال رتبهای مشخص برای صفحه در لیست نتایج جستجو ضمانتی نمیکنند.
دو فهرست اصلی اینترنتی یعنی Yahoo Directory و Open Directory Project، هردو نیاز به ارسال دستی و بررسی انسانی دارند. Google ابزاری به نام Google Webmaster Tools ارائه میدهد که در آن میتوان نقشه سایت را توسط خوراک XML ایجاد کرده و بصورت رایگان ارسال نمود تا از یافته شدن تمام صفحات حتی صفحاتی که بصورت خودکار از طریق دنبال کردن Link ها پیدا نمیشوند، اطمینان حاصل نمود. خزندههای موتور جستجو میتوانند به عوامل مختلفی در هنگام خزیدن در یک سایت توجه کنند. نکته مورد نظر این است که تمامی صفحات سایت ایندکس نمیشوند. همچنین فاصله یک صفحه از ریشه سایت میتواند عاملی در پیدا شدن یا عدم آن توسط خزندههای موتورهای جستجو باشد.
پر امتیازترین محصولات
-
آموزش ساخت اپلیکیشن اندروید سایت وردپرس بدون برنامه نویسی
امتیاز 5.00 از 5
129 هزار تومان95 هزار تومان - دوره آموزش آنلاین گوگل آنالیتیکس 149 هزار تومان
- دوره آموزش سئو و بهینه سازی سایت 240 هزار تومان
- کلمات کلیدی طلایی در سئو رایگان!
-
آموزش دیجیتال مارکتینگ Digital marketing
445 هزار تومان360 هزار تومان
مطالب زیر را حتما مطالعه کنید
چگونه می توان رتبه الکسای سایت را بهبود داد؟
چگونه می توان رتبه الکسای سایت را بهبود داد؟ یکی از روشهای موثر برای افزایش بازدید...
افزودن دکمه تماس در سایت وردپرسی
امروز در خدمتتان هستیم با آموزش افزودن دکمه تماس در سایت وردپرسی . در این...
طراحی وب سایت در 7 گام
1- شناسایی هدف اولین گام و به نوعی یکی از مهمترین گام ها این است...
افزایش سرعت ایندکس با ابزار Fetch as Google
نحوه معرفی صفحات جدید سایت به گوگل با ابزار Fetch as Google جهت ایندکس سریعتر...
آموزش بهینه سازی و سئو Robots.txt
فایل Robots.txt نقش بزرگی در سئوی سایت شما ایفا می کند و در کل نتیجه...
تاثیرNOFOLLOW ,FOLLOWبر روی سئو چیست ؟
با توجه به این نکته که بدست آوردن رتبه بالاتر در موتورهای جستجو و بهینه...
پاسخی بگذارید
برای نوشتن دیدگاه باید وارد بشوید.