За то время, что я занимаюсь разработкой и продвижением сайтов, через мои руки прошли десятки, если не сотни сайтов. Это и сайты, разработанные в нашей студии, и сайты наших коллег и сайты, сделанные частными мастерами или самими клиентами на бесплатных платформах.
Владельцы этих сайтов иногда задают вопрос: "Cайт сдали, а по нужным запросам сайта нет на первых 3 (4, 5) страницах поиска, в чем причина?»
Причин как минимум три: либо конкуренция высока по этим запросам на поиске Яндекса или Гугла, либо сайт пока еще не проиндексировался поисковыми роботами, либо сайт закрыт для индексации поисковыми роботам.
Если сайт размещен на хостинге не более 10 дней, то отсутствие в поисковой выдаче это нормально! Для индексации сайта требуется некоторое время: одна или две недели.
Продвижение сайта — это тема другой статьи, а сегодня расскажу о том, как проверить, открыт ли ваш сайт для индексации поисковыми системами.
А также:
Почему некоторые разработчики или SEO-оптимизаторы закрывают сайты от индексации?
Как открыть для индексации ваш сайт?
Давайте сначала разберемся, что такое индексация сайта.
Индексация – это добавление информации о сайте в базы данных поисковиков. Поисковые роботы "пробегают по сайту", сканируют информацию, размещенную на сайте, контент (наполнение, содержимое сайта, страницы сайта, статьи) сайта заносится в поисковые базы и поисковики начинают распределять сайт или на нашем "птичьем" языке "ранжировать" сайт относительно других сайтов.
- Какой сайт полезнее для пользователей?
- Где нужная пользователю информация выложена интереснее и понятнее?
- Какой сайт быстрее загружается и адаптируется под мобильные устройства?
Это лишь часть критериев, по которым поисковыми системами принимается решение о месте сайта в выдаче. Поэтому важно, чтобы вновь созданный сайт был открыт для индексации и поисковые роботы могли на него попасть целиком или только на нужные разделы-подразделы.
Но иногда так случается, что разработчики сайта забывают открыть сайт для индексации (каюсь, и за нами случался такой "грех" пару раз).
Почему это происходит?
Работы по сайту идут продолжительный промежуток времени: чтобы "сырой" сайт или недозаполненный сайт не принимал участия в выдаче, сайт закрывают для индексации.
Если работы шли год или около того, или же наоборот, сайт запускался в авральном порядке, может сработать человеческий фактор и программист, который выкладывает сайт на хостинг, забывает поставить условную галочку "открыть сайт для индексации".
Другой случай, когда общение с клиентом идет тяжело, клиент отказывается прислушиваться к мнению разработчика сайта, а разработчик — эмоциональный фрилансер — на этапе размещения сайта на хостинге может "отомстить" заказчику и сознательно не убрать (ну или не поставить) эту самую условную галочку.
Почему сразу фрилансер? Фирма дорожит имиджем, наработанным портфолио и старается выпустить сайт вне зависимости от отношения к клиенту. Это профессиональная этика.
Третий случай — продвиженцы или сео-оптимизаторы заключают с владельцем сайта договор на продвижение товара или категории товаров. Запустив работы по продвижению сайта, они могут закрыть все остальные страницы сайта, кроме нужных, для того, чтобы достигнуть результата как можно быстрее.
Сайт становится "легче" для поисковых машин, страниц, открытых к выдаче, меньше, роботы быстрее реагируют на вносимые сеоспециалистами изменения.
Как проверить, открыт ли ваш сайт для индексации:
1. Проверяем настройку файла robots.txt – лежит в корне сайта, у него всегда одна ссылка: адрес домена сайта, не важно, на латинице или кириллице: http://domen.ru/robots.txt
Например посмотрите наш robots.txt: https://www.novelsite.ru/robots.txt
Наберите в строке браузера нужную комбинацию и посмотрите, что получится: если "перебрасывает" на страницу 404 или страница вовсе не открывается, значит, этого файла нет.
Это не значит, что сайт закрыт для индексации, файл просто не настроен, но страницы должны присутствовать в поиске, вне зависимости от вида сайта: одностраничный лендинг-пейдж, сайт-визитка или интернет-магазин.
Помните!
Для каждого сайта настройка robots.txt индивидуальна.
Если с момента размещения сайта на сервер (хостинг) прошло мало времени, то, что сайта нет в поиске — это нормально. Для индексации нужно некоторое время, об этом было уже написано выше, повторяюсь.
Теперь смотрим, что написано внутри robots.txt.
Команды, которые нужно использовать в файле robots.txt, рекомендуем изучить в справке Яндекс.Вебмастер
Но главное, на что нужно обратить внимание – это команда «Disallow: /». Именно со знаком слеш «/», потому что это признак того, что ваш сайт закрыт для индексации от всех поисковых систем.
Если разработчик сайта сдал проект, нужно связаться с ним и попросить устранить эту досадную оплошность или ошибку. Вне зависимости от подписания акта выполненных работ.
Важно!
Если в файле robots.txt есть команды «Disallow: /basket» или, «Disallow: /403.html», это не ошибка. Обычно так закрывают для индексации разделы с технической информацией: корзина сайта, файлы админки, файлы js, css. Эти разделы индексации не требуют.
2. Вносим правки и открываем сайт для индексации.
Единственное, что нужно сделать, это убрать строчку, где прописана команда «Disallow: /» и сохранить файл. Как это сделать?
- Попросить разработчиков сайта
- Самостоятельно внести правки через админку сайта, если в вашей системе управления сайтом есть возможность попасть в корень сайта и отредактировать этот файл;
- Через доступ к файлам на сервере по протоколам FTP, SSH (SFTP) доступы к которым есть в панели управления хостингом сайта.
Правда, чтобы добраться до файлов сайта, придётся скачать сторонний софт, например FarManager, WinSCP , Filezilla и др. - Попросить компанию "Новый сайт"
- После правок должно пройти немного времени, чтобы поисковые роботы начали индексацию сайта. Не ждите моментального чуда.
Есть вопросы по продвижению сайта? Обращайтесь!
---
Нурисламова Мария
Руководитель проектов по разработке сайтов и SEO
Сертифицированный специалист Яндекс.Директ, Яндекс.Метрика, Яндекс.Маркет, Google Реклама, Google Analytics, Callibri - сервис прокачки маркетинга
(mari@novelsite.ru)
