Оптимізація robots.txt для блогу на WordPress

Оптимізація robots.txt для блогу на WordPress

Більшість бувалих блогерів, безумовно, знають, що таке robots.txt і навіщо потрібен цей файл. Але мало хто з авторів після встановлення блогу на WordPress відразу ж кидається створювати файл robots.txt.


   Robots.txt - це текстовий файл, який завантажується в кореневу директорію вашого сайту і містить інструкції для пошукових роботів. Основна мета його використання - це заборона індексації окремих сторінок і розділів на сайті. Втім, за допомогою robots.txt можна також вказувати правильне дзеркало домену, прописувати шлях до карти сайту (sitemap) тощо.

   Більшість сучасних пошуковиків навчилися непогано орієнтуватися в популярних CMS і зазвичай не намагаються індексувати контент, який для цього не призначений. Наприклад, Google не буде індексувати адмінку вашого WordPress-блогу навіть якщо ви не будете вказувати це безпосередньо в robots.txt. Втім, у деяких випадках використання прямих заборон все-таки може виявитися корисним. І мова йде в першу чергу про заборону дубльованого контенту.

   Деякі вебмайстри доходять до того, що забороняють індексацію сторінок категорій і тегів, оскільки їх зміст частково дублює контент головної сторінки. Але більшість обмежується забороною сторінок trackback і feed, які повністю дублюють контент статті і призначаються зовсім не для пошуковиків. Така обережність не тільки зробить видачу сайту "чистішим", але і вбереже від можливих пошукових фільтрів, особливо після введення нового алгортиму Google Panda.

 Ось які директиви рекомендуються для файлу robots.txt (він підійде практично для будь-якого WordPress-блогу):

User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /feed/ Disallow: */trackback/ Disallow: */feed/  

        Зверніть увагу, що robots.txt повністю закриті для індексації адміністративні теки wp-admin і wp-includes. Тека ж wp-content закрита лише частково, оскільки в ній знаходиться директорія uploads, куди потрапляють всі зображення з вашого блогу, які повинні індексуватися.

Все, що потрібно зробити - це скопіювати директиви з наведеного вище коду (зверніть увагу, що кожна директива повинна писатися з нового рядка), зберегти їх у текстовий файл з назвою robots.txt і завантажити в кореневу директорію вашого сайту.


   Перевірити, чи правильно працює robots.txt завжди можна через інтерфейси Google Webmaster Tools і Яндекс Вебмастер.