همکاری غول‌های جست‌و‌جو برای پاکسازی وب

سه غول اینترنتی گوگل، یاهو و مایکروسافت در یک همکاری نادر اعلام کردند از استاندارد وب جدیدی پشتیبانی می‌کنند که به میلیون‌ها ناشر وب امکان می‌دهد صفحه‌های تکراری را از وب‌سایتشان حذف کنند.

به گزارش ایسنا، در نتیجه این اقدام، موتورهای جست‌وجو می‌توانند صفحه‌های وب بیشتری را پیدا و ایندکس کرده و نتایج جست‌وجوی خود را جامع‌تر کنند. بسیاری از ناشران وب به‌ویژه کسانی مانند شرکت‌های تجارت الکترونیک که سایت‌های حجیم دارند، آدرس‌های URL متعددی دارند که همگی مربوط به یک صفحه وب است. این امر موتورهای جست‌وجو را سردرگم کرده و گاهی موجب می‌شود آنها یک صفحه وب را به دفعات ایندکس‌گذاری کنند. بنابر برخی ارزیابی‌های انجام گرفته، در حدود ۲۰‌درصد از آدرس‌های URL در وب ممکن است تکراری باشند.