"Да это им и не нужно”, – скажите вы и будете совершенно правы.

Зато нас с вами, как блоггеров, этот вопрос очень, даже должен интересовать. Если конечно мы не хотим чтобы наши блоги читали только наши родственники и друзья.

Так вот если еще кто не знает, поисковики с помощью поисковых роботов (их еще называют пауками) индексируют сайты и скачивают их в свою базу данных. От того как роботы проиндексируют наши блоги и сайты и что они скачают, в немалой степени зависит тот факт какое место у блога будет в поисковой выдаче после того или иного поискового запроса.

Для того чтобы корректировать действие роботов, а именно показать им какие страницы и файлы блога нужно индексировать, а какие нет, необходим файл robots.txt. Он играет очень важную роль в поисковой оптимизации, и роботы поисковой машины сначала ищут ваш robots.txt и если не находит его, то индексирует все подряд.

К сожалению, у большинства владельцев интернет ресурсов файл robots.txt отсутствует, чаще всего по незнанию. Давайте будем отличаться от этого большинства и создадим свой robots.txt для блога на движке WordPress:

1. Для создания файла robots.txt нам понадобится простой блокнот. Создаем новый текстовый документ.

2. Вставляем в этот документ следующую информацию:

________________________________

User-agent:*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /out/
Disallow: /xmlrpc.php
Host: biznes-start.ru
Sitemap: http://biznes-start.ru/sitemap.xml

___________________________________

Это стандартный набор команд для поисковых роботов, запрещающий индексацию вспомогательных файлов WordPress не несущих никакой информативной нагрузки. Если вы заметили, то информация состоит из двух блоков.

Первый User-agent:* – для всех роботов.

Второй User-agent: Yandex – для роботов Яндекса. Кроме того для Яндекса также используются параметры Host – для указания главного зеркала сайта и Sitemap – указания пути к карте сайта, если таковая имеется. Обратите внимание Host и Sitemap в данном примере указан для нашего блога, вы же должны указать свои ссылки.

3. Сохраняем документ под именем robots (txt в имени не указываем это расширение файла).

4. Через ftp-соединение заливаем полученный файл на сервер в корневую папку, как правило, это папка «Public_html».

Ну, вот и все! Как видите ничего сложного. Времени много не займет, а польза большая. Так что если вы еще не создали свой robots txt быстренько делайте это!