Вопрос об быстрой индексации сайта в поисковиках Yandex, Google, Yahoo! давно тревожит умы многих веб мастеров. Я как совсем начинающий в вопросе Web технологий тоже был заинтересован в продвижении своего ресурса. Было прочитано немало статей опытных в этом деле коллег.
Предистория
Был домен второго уровня хостившийся в DynDNS на нем крутился этот же сайт с форумом и блогом. Я добавил его в Яндексову аддурилку где то 5 февраля и примерно в этот же день в Google add url. Боты заходили довольно часто примерно раза 3 в день но вот индекса в поисковиках я ждал очень долго. 2 марта сайт появился в выдаче Яндекса (примерно 15 страниц) но гуголь упорно не хотел меня индексировать. В гугле были конечно страницы но тогда это был совсем не сайт а свалка конфигов, считай FTP сервер 🙂 и на протяжении полутора месяцев индекс у гугля в отношении моего сайта не менялся, хотя гуглоботы активно сайт сканили. Потом пришла идея о покупке домена в зоне ру потому как многие советовали это всвязи с тем что бесплатный хостинг как то не очень любится гуглом а яндекс естественно «любит» .ru Хронология такая: Домен куплен 12 числа с 13 числа он онлайн и с того же дня добавлен ваддурилку яши и гоши 🙂 боты начали сканить и по прошествию 5 дней уже есть небольшие результаты. Прямо во время пока я пишу статью в гугле уже появилось 2 страницы, а вот яша что то тупит. Наверно из-за не уникальности контента, ведь инфа в большей части таже самая которая была на другом домене и яша на нем проиндексировал 41 страницу. Есть только странность одна, в вебморде гугломастера у меня добавлены сайтмапы и с форума и с блога. Так вот в вебморде написано что проиндексировано 10 страниц с блоговского сайтмапа а сайтмапы форума по нолям. Однако в поиске отображается 2 страницы именно с форума О_о.
Продолжение
Сегодня 21 марта и появилась одна страница в Yahoo! Гуголь продолжает сканить и уже проиндексировал 49 страниц. Яша что то совсем мертвый, хотя у них написано что обычно индексация проиходит через 2 недели. Подождем твою мать…. 🙂
22 марта
Сегодня утром появилось 29 страниц в рамблере и добавилась еще одна в Yahoo! Яшка оказался самым тормозным… В гугле пока так и осталось 49.
28 марта
Сегодня в Гугле уже 96 страниц моего ресурса, в Yahoo! их 6, а вот рекордсменом по количеству проиндексированных страниц оказался Rambler — 129. Яшка так ни одной страницы и не проиндексировал. З.Ы. Пойду ка я им напишу гневное письмо, уже больше 2 недель нет индекса.
9 Апреля
Написал я 28 числа письмо Платону Щукину с вопросом о индексации моего сайта. 3 апреля он мне ответил стандартным типа «Благодарим Вас за то, что обратили наше внимание на проблемы с индексированием Вашего сайта. Мы постараемся в скором времени определить, по какой причине он отсутствует в поиске.» Ну я думал что потом придет что то навроде улучшайте ваш ресурс и потом мы включим его в индекс, но 6 числа Платон ответил, что сейчас с вашим сайтом все в порядке и скоро он будет включен в индекс. Также он добавил что это произойдет в течении 2 недель. Его ответ немного и порадовал, но и ждать еще 2 недели это мне показалось очень долгим (ведь уже почти месяц как сайт добавлен в Яндексовую аддурилку) Но вот 9 апреля свершилось невероятное -:D — появилось 2 страницы в индексе, кстати в самом Яшкином веб мастере все еще нет ничего, а при проверке индекса на сторонних сайтах уже есть. Через «Проверить URL» в Яндекс Вебмастер» выдает 1 страницу. Ну самое главное попасть в индекс…. На этом я думаю эту статью можно считать завершенной. Итоги такие: самым первым оказался Google, следующим был Yahoo, потом Рамблер (кстати сказать он включил сразу 125 страниц сайта, а 9 апреля уже 177 страниц в индексе Рамблера). Яшка как вам стало понятно оказался самым тормозом и первые 2 страницы появились только через 27 дней!
P.S. Советы которые я считаю реально помогают в быстрой индексации:
- Плагин Google XML Sitemaps для WordPress. Который регенерирует сайтмап блога и самое главное шлет пингбэки разлчным RSS ботам
- Конечно же иметь на форуме блоге ленту RSS и натравить Feedburner и прочих на нее.
- Возможно даже самое важное это почаще пополнять контент сайта (статьи и ваши любимые фотожабы)
- Как оказалось но доменное имя тоже оказывает влияние, особенно на Google, хорошо когда он в зоне .ru
UPD: 18.02.2011
При смене домена с artemovski.ru на syslinux.ru Google скушал 1 страницу уже через 2 часа. У Яндекса сейчас в индексе на старом домене 636 страниц, посмотрим как они быстро перетекут на новый домен.