на главную сниппетов
Я потратил значительное количество времени, разбирая заявки на форуме по индексированию и ранжированию Google. В целом общая причина их появления – один и тот же вопрос: “сайт пропал или понизился в выдаче”. Надо ответить, что, как и сами вопросы, так и ответы достаточно типовые, поэтому я решил соединить их в единый документ, некоторую инструкцию по разбору подобных ситуаций, а так же для ответов на некоторые другие вопросы. Нижеизложенное – мое личное мнение, сформированное в ходе собственных исследований, чтения различных материалов и справки Google. Для удобства все абзацы имеют сквозную нумерацию.
1. Итак, первое, что Вы должны себе уяснить – результаты выдачи меняются, причем постоянно. Если вы были в первых рядах (топе) поисковой выдачи, то никто не гарантирует защиты от того, что изменится алгоритм ранжирования или появится сайт-конкурент, произойдут какие-то другие события, что Вас утопит. Но такие события в большей своей части сопровождаются плавным переходом трафика, т.е. он будет постепенно исчезать по мере перехода пользователей от вас на другой сайт. Бороться с этим можно только увеличением интереса пользователей к сайту, его удобством и общей популярностью. Точную причину колебания позиций сайта в выдаче не назовет никто, в том числе работники Google. Выдача формируется массой алгоритмов, учитывается масса параметров. Соединить это в целое, учесть все параметры ранжирования и оценки Вашего сайта и всех сайтов, которые Вас обошли, нереально. Выход только один – работать над качеством сайта, его удобством (в том числе мобильной версии) и популярностью.
2. Особо выделяются вопросы вида “я вчера сделал сайт, а гугл его еще не видит”. Или “у меня есть сайт и с ним что-то не так”. Обратите внимание, что гугл – гигантский поисковик, содержащий в себе актуальные данные о миллиардах страниц. Для того, чтобы сайт был просканирован, необходимо зарегистрировать его в Search Console (⋙, SC, бывшая WMT, Webmaster tools), подготовить карту сайта, отправить ее в соответствующем разделе SC, после чего ждать. Сайт будет просканирован, проиндексирован и подвергнут ранжированию. Процедура занимает в лучшем случае не один день, т.е. до двух-трех месяцев можно не волноваться. Терпеливо ждите и контролируйте ошибки сканирования в SC. Обратил внимание на общую статистику, что молодые сайты сначала попадают на “испытательный срок”, а потом, даже если не были подвергнуты каким-либо изменениям, падают в выдаче. Это связано с тем, что Google не сразу использует все метрики по отношению к новому сайту, дает ему время поплавать по основным параметрам, после чего механизм ранжирования работает на полную.
3. Но, часто бывает, что график количества посетителей ныряет “в пол” и это не на день-два (что может быть случайностью), а более. При этом, в первую очередь, необходимо посмотреть наличие ручных мер в Google search console. Меры могут быть самого различного рода, как связанные с качеством содержания, так и с агрессивным спамом и прочими неуспешными попытками раскрутки. Вебмастера, поддерживающие сайты, как-то связанные с распространением авторского содержания, обязательно должны проверить свой сайт на предмет предъявленных претензий в Lumen (Lumen Database, база DMCA, бывшая Chilling Effects)
В случае предъявления достаточного количества жалоб, домен может быть заблокирован в Google навсегда и безвозвратно. Для того, чтобы жалобы убрать, необходимо уговорить сделать это тех, кто их направил. Сами понимаете, какое это трудное дело… Встречное уведомление DMCA можно подать здесь: ⋙. Интересная и печальная особенность в том, что Google не проверяет жалобы, особенно по Рунету, при ее получении просто банит сайт и ждет развития событий. С учетом территориальных особенностей и отсутствия прямых контактов ждать отзыва жалобы можно вечность.
4. Обратите внимание, что поисковик не является экспертом по авторскому праву и лишь отражает содержимое, доступное пользователям в интернете. Т.е. не отвечает за хранение и доступность ресурсов для других пользователей. Если Вас огорчает, что кто-то разместил копию Вашего сайта или другое авторское содержимое в интернете, то претензию следует предъявлять в первую очередь хостингу и по контактам, опубликованным на сайте, а не поисковику. Однако, Google предлагает ряд вариантов отправки жалобы: ⋙, более подробную справку можно прочитать здесь: ⋙
5. При возникновении каких-то неясностей, как в индексировании, так и в ранжировании сайта, рекомендуется обратить внимание на ошибки сканирования в соответствующем разделе SC. Ошибки необходимо разбирать самостоятельно или задавая конкретные вопросы с указанием конкретной ошибки на форуме.
Нестабильная работа сайта может сказаться ранжировании его в результатах поиска. Никому не нужны периодически и странно работающие сайты. Обратите внимание, что ошибки подключения обозначают доступность сайта в принципе, т.е. возможность подключиться к веб-серверу. Перечисляемые ошибки с цифровым кодом – причины, по которым поисковик не может получить требуемые ему страницы, уже после успешного разрешения имени сайта в службе DNS и подключения. Необходимо разделять эти ошибки, поскольку отвечать за них могут разные поставщики. Во всплывающем окне, при нажатии на сообщение об ошибке, Вы можете увидеть ссылающиеся на эту страницу свои ресурсы, утверждающие о ее существовании.
6. Предполагается, что существует sitemap, т.е. карта сайта (я бы назвал это обязательным атрибутом сайта, которого интересуют позиции в поисковике). Обратите внимание на то, что количество отправленных и количество проиндексированных страниц должно совпадать или незначительно отличаться. Если количество страниц в индексе минимальное, то сайт понижается по проблеме индексирования. О ней есть смысл говорить, если нет ошибок сканирования, о которых я писал выше. Неправильная генерация карты сайта (sitemap) приводит к тому, что сайт либо неполностью индексируется, либо не индексируется вообще. Верх изощренности – дать sitemap на закрытые в robots.txt страницы. Обратите внимание, что файлом sitemap могут быть RSS или Atom фиды, а так же XML-файлы определенного формата, он не может быть текстовой или HTML-страницей. Файл sitemap имеет лимиты на размер и количество включенных в него ссылок, поэтому лучше для больших ресурсов создавать индексную карту сайта, т.е. sitemap со ссылками на другие sitemap. После создания файла sitemap ссылку на него необходимо поместить в директиву Sitemap файла robots.txt, а так же разместить в SC. Для ускорения индексирования собственного сайта я автоматизировал информирование Google о появлении новой карты запросом следующего URL: http://www.google.com/webmasters/sitemaps/ping?sitemap=XXX, где XXX – путь к sitemap в формате urlencode. Авторизация не требуется.
Не раз попадались спам-плагины для Wordpress, которые не только создавали карту сайта, но и ставили ссылки на сайты их авторов. Будьте внимательны.
Разберем ряд наиболее частых проблем сканирования и индексирования.
7. Вы недавно кардинально меняли дизайн или содержимое сайта. Закрывали что-то в robots.txt или удаляли страницы в соответствующем разделе SC. Возможно, что изменяли домен или перемещали с сайта. Как правило, это сопровождается букетом ошибок 404 при повторном обходе роботом сайта, но если менялось содержимое сайта, то ошибок не будет, однако сайт в выдаче все равно понизится. Любые серьезные изменения сайта ведут к потере позиций. Выплывет ли сайт обратно и как быстро зависит от того, насколько успешными были эти изменения. Не спешите паниковать. Могут пройти недели до возвращения позиций. Структуру сайта лучше без веских причин не менять. Убедитесь, что не испортили robots.txt и не удалили что-то лишнее (инструмент удаления страниц лучше не использовать без четкого понимания того, что Вы делаете, т.е. в большинстве случаев не надо использовать совсем). Имейте ввиду, что в разделе “Файлы sitemap” перечисляются отправленные и индексируемые страницы именно этого sitemap, при смене содержимого карты сайта или ее имени, некоторые вебмастера впадают в панику, видя крайне малое количество страниц в индексе. Но это страницы новой, только что загруженной карты. Даже если URL совпадают с таковыми в предыдущей карты, они не увеличат счетчик, пока бот их не проверит. Общее количество страниц в индексе в данном случае надо смотреть в “Статусе индексирования”, оператор site: поиска точной картины так же не дает.
8. Изменение каких-то настроек привело к тому, что в шапке страниц появились meta noindex. Такое иногда встречается при недостаточно вдумчивом изменении настроек CMS или хостинга. Например, широко распространенные Wordpress и Blogger содержат в себе настройки скрытия информации от поисковиков. Достаточно одной неудачно поставленной галочки, чтобы потерять посетителей из поисковиков вообще. К сожалению, в практике попадались случаи, когда подобные заголовки добавляли сотрудники хостинга. Ошибочно или нарочно – история умалчивает.
9. Сайт заражен вирусом. Как и большинство других поисковых систем, Google пытается оградить пользователей от вирусов и предотвратить развитие эпидемии. Как правило, в SC, в разделе по безопасности о заражении сайта сообщается. Но при наличии каких-то подозрений и для профилактики, рекомендую проверять пропадающие (не только главную) страницы на вирусы здесь: ⋙. Обратите внимание, что надо переключить проверку на проверку URL, а не загружать какие-то файлы. Можно еще подставить сюда свой домен, чтобы посмотреть, что думает о вредоносности Google.
На сайт так же может быть внедрен какой-то сторонний код, перенаправляющий пользователей (всех или часть) на другие ресурсы. Очень часто этим страдают социальные кнопки с других ресурсов, загружаемые рекламные баннеры и т.п. Настоятельно рекомендую не использовать на своем сайте код, загружаемый с других источников.
Многие жалуются на то, что Google не сообщает о том, какие именно страницы или файлы заражены вирусом. Однако Google – поисковик, а не антивирус. Если он нашел две страницы с вирусом, это не значит, что на сайте их только две. Вебмастеру дается сигнал о том, что его сайт заражен. А в качестве подтверждения выполнения работ по удалению вируса будет принято его полное отсутствие на ресурсе. Существует достаточно большое количество антивирусов, включая тот же Manul. Дерзайте, ищите…
10. На хостинге ограничения доступа, например, региональное ограничение или ограничения по UserAgent. Категорически не рекомендуется использовать подобное для веб-сайтов, поскольку ложные срабатывания (а стандартов и официальной базы для таких ограничений не существует) приведут к видимости нестабильной работы хостинга. В эту же категорию можно отнести и, собственно, дествительную нестабильность хостинга, DNS-сервера или каналов связи. Для проверки можно воспользоваться одним из следующих сервисов. Я предпочитаю ⋙, можно использовать ⋙ или ⋙ Не забывайте, что различные бесплатные хостинги или хостинги с дешевым тарифом могут молча отказывать в части запросов робота, создающего дополнительную нагрузку. Не рекомендую использовать директиву Crawl-delay, которой Вы расписываетесь в некачественности хостинга.
11. Избыточное наполнение robots.txt. Начинающие вебмастера впечатляются статьями, где сказано, что все ненужное необходимо закрыть в robots.txt и начинают закрывать вообще все, кроме текста на строго определенных страницах. Это, мягко говоря, неверно. Во-первых, существует рекомендация Google не закрывать скрипты, CSS и прочее, что может помешать боту увидеть сайт так же, как видит его пользователь. Во-вторых, очень большое количество ошибок связано с тем, что закрывая одно, пользователь закрывает другое тоже. Безусловно, можно и нужно проверять доступность страницы и ее элементов здесь: ⋙, но вряд ли Вы сможете все страницы своего ресурса проверить через этот инструмент после каждого изменения. Как вариант ошибки – путаница с последовательностью Allow и Disallow. Моя личная рекомендация – закрывать в robots.txt только очевидно ненужные боту вещи, вроде формы регистрации, страницы перенаправления ссылок и т.п., а от дубликатов избавляться с помощью canonical. Обратите внимание, что то, что Вы поправили robots.txt совсем не обозначает, что Google-bot его сразу перечитает. Для ускорения этого процесса достаточно посмотреть на robots.txt, как Google-bot в соответствующем разделе.
Далее рассмотрю ряд параметров, влияющих на ранжирование, как страниц, так и всего сайта в целом.
12. Неестественная ссылочная масса, входящие ссылки. Многие вебмастера по старинке полагают, что прогон по каталогам или закупка ссылок на биржах приведет к неизбежному взлету сайта в поисковой выдаче. На самом деле все совсем не так радужно. С одной стороны, сайт без ссылок для поисковика авторитетным не будет. С другой – ссылки с биржи или других мест, где они покупаются, сайт не только не будут повышать, а будут понижать, вплоть до ручных мер. Оценить ссылочный профиль можно здесь: ⋙ или на ⋙, которым я пользуюсь для проверки ссылок “на вскидку”. Для более подробного анализа существуют полубесплатные и платные анализаторы, например, Ahrefs, SEMRush и.т.п. Все они разной степени точности и качества, многие вебмастера ботов этих анализаторов банят, поэтому рекомендую использовать разные и в комбинациях. Известен термин “ссылочный взрыв”, когда появление множества однотипных ссылок с одинаковым анкором не только не поднимает, а топит сайт. Общий вывод этого раздела: если Вы покупаете ссылки, то рано или поздно это плохо кончится. В лучшем случае Вам после этого поможет кропотливое ручное отклонение ссылок здесь: ⋙ Если Вы не только не пользуетесь покупкой ссылок, но и категорически против подобных технологий, то можете пожаловаться на замеченные нарушения здесь: ⋙
13. После того, как я достаточно запугал Вас влиянием плохих ссылок, подчеркну, что отсутствие ссылок на сайт – тоже повод для его плохого продвижения в результатах поиска. По логике создателей Google пользователи стремятся поделиться интересным сайтом, поэтому ссылок на хороший, интересный сайт должно быть много. Ссылки должны появляться сообразно возрасту сайта и, крайне желательно, на тематических площадках, т.е. совпадающих по тематике с вашим сайтом.
14. Сильное дублирование информации на разных страницах так же сказывается на отображении сайта в результатах поиска. Особо удачливым веб-мастерам удается добиться по этому пункту и ручных мер. Тут уже можно предложить творчески переработать сайт, соединив информацию на наиболее популярных страницах и поработать над внедрением canonical. С помощью canonical рекомендуется бороться и с присутствием в URL различных служебных параметров, а так же с появлением непонятно откуда взявшихся URL с различными суффиксами, игнорируемыми вашим сайтом. Не рекомендуется отдавать поисковику результаты поиска по сайту в различных их вариантах. Если Вы жалуетесь, что часть страниц сайта не индексируется, то попробуйте найти неиндексируемую страницу, введите ее заголовок в поиск Google по сайту (с суффиксом site:ваш сайт), результатом будут страницы из-за которых не индексируется та, которую Вы нашли сначала.
15. Отсутствие мобильной версии сайта так же сказывается и еще больше будет сказываться на выдаче в ближайшее время. Google все сильнее пытается разделить пользователей компьютеров и мобильных устройств. С некоторой точки зрения убрать от человека с мобильником сайт, который приходится скроллить в четыре стороны на маленьком экране – правильно. А количество таких пользователей становится все больше. Оценивать такой шаг в свете наличия других проблем поиска не буду, но есть инструмент ⋙ и игнорировать его нельзя. Обратите внимание, что не следует делать две версии сайта, основной и для мобильных устройств. Слишком велика вероятность промаха, если редирект происходит по UserAgent, например. И в целом велик шанс получить кучу дублей. Изучите тему адаптивного дизайна, т.е. изменения верстки в зависимости от характеристик устройства. Смешно, но достатовно часто для удовлетворения требованиям адаптивного дизайна достаточно добавить meta name="viewport" content="width=device-width, initial-scale=1.0" в заголовок.
16. Расположение больших картинок в верхней части страницы. Долгое время ломал голову, что же не нравится поисковикам. Попадались и другие пострадавшие пользователи. А недостаток один общий – в верхней части сайта болталась какая-то лопатообразная картинка или, что во много раз хуже – баннер. За баннер можно и запрет поймать где-то в Adwords. Очень плохо ранжируется сайт с картинкой во весь экран, страница которого открывается дальше скроллингом.
17. Обратите внимание, что медленный, тяжело открывающийся сайт, так же будет понижен в результатах поиска. Самая распространенная ошибка в данном случае – недостаток ресурсов хостинга, но часто можно исправить ситуацию и с помощью организации графики, т.е. сжатия картинок и приведения их размера в соответствие с показываемым. Общий инструмент, с которого можно начать: ⋙, обратите внимание, что этот же сервис предлагает автоматизировать решение части проблем, установив соответствующий модуль веб-сервера, более подробно можно почитать об этом здесь: ⋙
18. Синтаксические ошибки в HTML-коде вредят сайту, поскольку сайт начинает тормозить при отображении, выглядеть по разному в разных браузерах и т.п. Не стоит пренебрегать анализом страниц в валидаторах. Мне очень понравился ⋙, но можно воспользоваться общепризнанным ⋙. Обратите внимание, кодировка, отличная от UTF-8, сильно вредит ранжированию. Об этом, кстати, валидатор предупреждает.
19. Переспам ссылками или ключевыми словами был актуален в начале столетия. Вебмастера убедились, что если набить страницу многократным повторением одного и того же словосочетания, да еще его поместить в h1 или жирным выделить, то поисковики радостно выделяют этот сайт в случае поиска этих слов. Даже сейчас попадаются зубодробительные тексты, читать которые невозможно и основная цель которых – обмануть поискового бота, либо страницы, набитые рекламой во всеможных видах. Поисковики давно фильтруют подобное. То же относится и к гигантскому количеству ссылок на странице. Еще совсем недавно каждый второй вешал у себя облако тегов. Сейчас этого делать не следует, можно схлопотать переспам-фильтр. Не могу вспомнить, где именно попадалось правило, что суммарное количество ссылок на странице (не только внешних) не должно превышать сотню. Обратите внимание, что сайт может спамить ссылками не только по желанию веб-мастера, очень часто внедряется спам-код в шаблоны Wordpress и подключаемые модули различных CMS. Одновременно лучше убедиться, что ваша CMS оснащена средствами для предотвращения размещения ссылок только что зарегистрированными пользователями. Будьте аккуратны.
20. Игнорирование ошибок разметки структурированных данных чревато ровно тем же, что и игнорирование ошибок в принципе. Удивительно, но штатные шаблоны Wordpress страдают этими ошибками прямо с момента установки. Лучше их все же поправить, воспользовавшись инструментом ⋙ Подчеркну ответ на вопрос одного из пользователей, разметка нужна не только для мобильных устройств, а для всех сайтов в принципе.
21. Неправильная проверка позиций сайта тоже часто сбивает с толку вебмастеров. Дело в том, что выдача зависит от того, из какого региона Вы делаете запрос, и какие запросы к поисковику делали ранее (персонализированный поиск). Поэтому, если Вы сели за чужую машину, то с высокой долей вероятности результаты поиска будут не такими, как за вашим компьютером, особенно, если сферы интересов владельцев учетных записей различаются.
22. Текст картинками на сегодняшний день не индексируется поисковиками. Не забывайте об этом, когда будете удивляться, почему Ваш интернет-магазин проваливается в текстовом поиске. Как минимум – alt у картинок должен быть заполнен, а названия файлов картинок соответствовать их содержанию. Определитесь, какого типа поиск Вас интересует и продвигайте сайт в нем.
23. Мнение о ЧПУ (ЧеловекоПонятные Урлы) таково, что не надо там кодировать русские слова именно на русском языке. Споры продолжаются на тему того, понимает ли Google транслит или нет, но русские буквы по стандартам подлежат перекодированию, а длинные URL в итоге неудобно передавать пользователям. Мое мнение – либо транслит, либо вообще сосредоточиться на более важных и полезных вещах. Если транслит, то не забудьте о еще одном важном нюансе – слова в URL надо разделять с помощью дефиса, а не знака подчеркивания, т.е. “slovo-i-slovo”, а не “slovo_i_slovo”.
24. Куча дублей разных поддоменов, например, с URL с приставкой www и без нее указывают на один и тот же сайт. Это, в итоге, путает механизм ранжирования и оценки связей страниц и приводит к проваливанию сайта в результатах выдачи. Несколько раз попадался случай, когда хостинг принимал любые поддомены, перенаправляя на основной сайт, что приводит к разрастанию гигантского количества дублей и пессимизации сайта в целом. В этих случаях необходимо поступить, как если бы Вы находились посредине процедуры переезда с домена на домен. Выделяете все попавшие в индекс домены (счастье, если это всего лишь www и основной), выбираете тот домен, который Вы будете использовать (я рекомендую домен второго уровня, т.е. без www) и настраиваете редирект всех страниц с дополнительных доменов на соответствующие страницы выбранного. Подчеркну, что необходимо перенаправлять каждую страницу на соответствующую страницу, а не корень сайта. Не перенаправляйте robots.txt, это помешает пересканированию редиректов!
25. Путаница с языками ясности в общую картину не добавляет. Ознакомьтесь с hreflang и случаями его использования. Не следует открывать для поиска страницы текста с машинным переводом.
26. Частый вопрос “сколько времени потребуется боту, чтобы все исправить”. Общего ответа быть не может, поскольку все зависит от активности бота на вашем сайте до этого и того, насколько далеко зашло сканирование ошибочных страниц, если речь об их исправлении. Официально заявлен срок в 180 дней, например, на склейку доменов. Обещать что-то и называть какие-то точные сроки никто не будет, бессмысленное занятие при существующем наборе факторов, которые на это влияют. Если речь идет о снятии мер, принятых вручную, то это занимает несколько недель с момента отправки заявки на пересмотр. Обратите внимание, что сайты, к которым были применены ручные меры, редко возвращаются на те же позиции, что и раньше без кардинальных изменений в подходе к структуре и наполнению.
27. Общее стремление угодить поисковой машине, а не пользователю, приводит к плачевному результату. Рано или поздно поисковик учтет Вашу хитрость, если она мешает пользователям сайта или поисковой системы. Обратите внимание на то, что Google ценит удобные сайты с уникальным и интересным текстом. Не следует ориентироваться на сиюминутную выгоду и разовый результат. Если Вы проводите день в периодическом обновлении каких-то пузомерок с надеждой, что вырастут какие-то виртуальные баллы, то КПД вашей работы близок к нулю. Регулярно отслеживайте ошибки в SC во всех разделах, просматривайте замечания к коду здесь: ⋙, продвигайте сайт в соцсетях Facebook и Google+, а так же везде, где есть соответствующая тематика. Избегайте спама вообще везде и внедрения в свой сайт страниц, способствующих его популярности, но не соответствующих тематике. Если привлечете большое количество пользователей, то и в результатах поиска будете подниматься. Никому не интересные страницы в поиске тоже будут тонуть.
28. Когда Вы собираетесь пожаловаться на плохое ранжирование/индексирование сайта, начните с чтения всех вышеприведенных пунктов, после чего осознайте: а) Как сайт индексируется б) Есть ли ручные меры, принятые к сайту в настоящий момент (по имени сайта с www и без www) в) История снижения показателей посещаемости, после чего все произошло и насколько быстро г) Отправили ли Вы sitemap, как давно и не менялась ли его структура? д) Есть ли ошибки сканирования? е) Если какие-то страницы не в индексе, то как они выглядят в “Посмотреть, как GoogleBot”? ж) Нет ли в их коде noindex? з) Не закрыли ли Вы лишнее в robots.txt? к) Чем сайт выделяется среди других этой же тематики? л) Нет ли запросов на удаление страниц в соответствующем разделе (опять надо проверить сайт с www и без). м) По каким запросам ищете? н) Покупали или продавали ли ссылки? о) Используете ли скрипты внешней рекламы и чьи? Не надо писать свои выводы – обязательно покажите скриншоты соответствующих разделов по каждому пункту тому, кому Вы собираетесь жаловаться или предоставьте какую-то еще информацию, на основании которой можно сделать тот или иной вывод по пунктам. Ну и обязательно надо указать проблемные URL. И обязательно цитируйте пункты, по которым отвечаете, на память буквы пунктов никто не помнит, даже я сам, а листать туда-сюда некогда.
29. Часто спрашивают, “я все сломал, но теперь исправил, как все пересканировать?”. Ответ очень простой – перепошлите sitemap, причем, желательно, с указанием более новых дат изменения страниц, исправьте выдачу If-Modified-Since, если изменения касались страниц, посмотрите на robots.txt и главную страницу, “как GoogleBot” и отправьте главную страницу в индекс вместе со связанными страницами (увидите соответствующую кнопку). После этого – сидеть и ждать, контролируя появление ошибок сканирования в соответствующем разделе… Можно воспользоваться инструментом удаления устаревших страниц тут: ⋙
30. Забавный вопрос, “почему у меня в Яндексе все хорошо, а в Google все плохо?”. Стоит задуматься перед тем, как задать его и Интернет лишится еще некоторого количества бессмысленных байтов. Google – не Яндекс. Это совершенно другой комплекс программ, систем и алгоритмов. Сравнить теплое с мягким еще никому не удавалось, поэтому взывать, чтобы Google посмотрел на Яндекс и сделал так же – глупо и бессмысленно. Лучше сосредоточиться на поиске реальных проблем, которые мешают Вашему сайту. Помните, что ошибки Google, как правило, массовые, т.е. заметные миллионам вебмастеров. Ищите ошибку самостоятельную, без сравнения с Яндексом, если думаете, что таковая ошибка вообще есть.
31. А вот мои конкуренты в топе, хотя у них такие же замечания. Да, конкуренты могут закупать ссылки, воровать контент и мозолить глаза пользователям переспамом, находясь при этом в выдаче выше Вас. Увы, то, что они – Ваши конкуренты, никого не интересует, особенно Google. Мир пошатнется от осознания несправедливости и скорбности понижения вашего сайта в выдаче, но бот об этом не узнает. Если конкурент с большим количеством ссылок и более популярный, ему могут прощаться некоторые другие минусы. В конце концов, какие-то нарушения бот может не видеть, каких-то DMCA-жалоб конкуренты могут недополучить и т.п. Не сравнивайте в общем “почему?”, только по какой-то конкретной ошибке сканирования можно приводить сайт конкурента в пример. В остальных случаях пустые жалобы на несправедливость никого не заинтересуют.
32. Что сделать, чтобы сайт был в топе? Ответ простой – сделайте интересный и популярный сайт. Парадокс в том, что многие рассматривают популярность сайта, как следствие первых позиций в Google. В то время, как первые позиции в Google – следствие популярности сайта и наличия в нем уникальных сервисов или информации. Google поддерживает, а не создает популярность. Если у Вас никому не известный сайт о кошечках, то всплыть среди миллионов других сайтов о кошечках просто нереально, если что-то не выделяет Ваш сайт среди других. А если это что-то есть в наличии, то именно по нему и следует выдвигаться в поисковых системах. И работайте над сайтом для людей. В противном случае будете втянуты в войну с поисковым ботом, что в сухом остатке не даст Вам создать что-то дельное. Если создание дельного Вам претит и нужен чисто механический сгон табуна пользователей, то и на это есть ответ. Во-первых, на ваш сайт должно вести очень много проиндексированных ссылок. Во-вторых, все правила, описанные в этом кодексе, должны быть соблюдены. Т.е. с миллионом ссылок сайт можно умудриться загнать под Пингвина или Панду. Суть ранжирования Google, как я его вижу – сбор количества ссылок, как первоначальный капитал и дальнейшее вычитание за вирусность, попадание под биржевые ссылки, в том числе торговля ими, авторедиректы и прочий слив траффика и т.п. Если у Вас идеальный честный сайт и сто ведущих на него ссылок, то Ваш сайт будет ниже ГС с 100000+ ссылок, даже если две трети этих ссылок будут перекрыты явными признаками ГС. Исключением будут совсем зарвавшиеся сайты, которые боту вообще не отвечают, с горой закупленных ссылок или завирусованы. Ссылки и еще раз ссылки рулят вашим ранжированием. В Яндексе еще как-то, вроде используются поведенческие факторы, т.е. если по какой-то радости к Вам на сайт занесет миллион посетителей и они там периодически будут появляться, то в Яше Вы всплывете, на Google это не действует.
33. Неинформативное содержание может обозначать не только пустой и бессмысленный сайт, но и проблемы с авторским правом. Первым делом следует провериться здесь. Ответ на вопрос “Почему Google меня так обозвал, хотя дело в другом?” очевидный и простой – поисковик отвергает звание эксперта по авторскому праву и не хочет связываться с толпой исков за называние авторов сайтов ворами, независимо от того, правомерные эти звания или нет. С одной стороны игнорировать жалобы правообладателей не получается, с другой – сайтостроители тоже могут потянуться в суд стройными рядами. Простой выход – выдать оценочное суждение “не нравится”.
34. Почему в выдаче не тот заголовок, который Вы хотите? Достаточно частый вопрос с простым ответом. Большинство вебмастеров ставят в заголовок ключевые слова. Неудивительно, что в случае запроса “Пластиковые окна” и выдаче исключительно заголовков, в результатах поиска был бы длинный перечень абсолютно одинаковых заголовков, только ссылки бы различались. Чтобы такого не получилось, поисковик самостоятельно формирует заголовок ссылки на Ваш сайт, собирая информацию, которая бы могла пояснить пользователю, о чем же именно идет речь на найденной странице. В результате, если вебмастер не удосужился самостоятельно выделить отличительные черты своего сайта в заголовке, сократил, либо переспамил или как-то еще изуродовал заголовок, то получить в выдаче можно совсем неожиданные результаты, порой даже куски сайтов-предков вклеиваются.
35. Серьезные проблемы появляются у любителей тизерной рекламы, продавцов траффика и т.п. вебмастеров, которые по каким-то причинам доверяют чужому коду, подгружающему еще сторонний код или переадресовывающему посетителей куда-то еще. В последнее время, в отчаянной попытке увеличить доход от рекламы, в нее часто стали добавлять автоматическую переадресацию пользователей, что расценивается поисковиком, как клоакинг. Иными словами, если пользователь пришел на ваш сайт за плюшевыми мишками, а его автоматом перебрасывает на сайт по кактусам, то это не нравится не только пользователю, но и поисковой системе. Наиболее частый результат – ручные меры.
36. Баннеры с предложением установки приложения крайне негативно оцениваются поисковиками, если они загораживают основной контент. Т.е. если пользователь пришел к вам за фотографиями кактусов, а вы ему в ответ лопату с предложением установить приложение, пусть даже по тем же кактусам, это будет крайне негативно оценено поисковиком.
37. Не используйте оператор site при оценке сайта. Совсем.
В настоящий момент этот оператор в Google не то, чтобы не работает, но не показывает ничего полезного. Т.е. если раньше можно было как-то определить, какие страницы твоего сайта в индексе, то сейчас это сделать нельзя. По оператору выдается всяческая ерунда, к индексу в настоящий момент не относящаяся.
38. Достаточно часто стали появляться сообщения от пользователей, которые либо сами удивляются многочисленным переходам на сайты .xyz, либо ловят ручные меры за это от гугла.
Чтобы многократно не переписывать, поясню здесь.
Причина: в последнее время кризис довел рекламодателей до такого голода, что они совершенно бесстыдно стали перекидывать пользователей со страниц, где размещена их реклама, на всяческие ГС, в том числе с wap-кликом. Удивительное рядом, да? Вы раздали кому попало доступ на свой сайт путем автоматической подгрузки чужого кода и, наконец, кто-то этим воспользовался.
Кто виноват: Тот, кто размещает раздражающую рекламу у себя на ресурсе.
Что делать и как исправить: Убираете всю рекламу со своего сайта (Директ и AdSense можно оставить), убираете все предложения и уведомления о продаже траффика, вычищаете и отправляете сайт на пересмотр. Как вы это будете делать - мало кого интересует обычно. "Жадность никого до добра не доводила", "бесплатный сыр в мышеловке" и прочие пожелания будут вам напутствием. В следующий раз будете думать. Из вспомогательных инструментов можно указать счетчик liveinternet, например, а так же любую другую популярную статистику, отслеживающую страницы переходов.
Учтите, что с каждой перепосылкой на пересмотр, время этого пересмотра будет увеличиваться. Более того, сообщение о наличии мер может говорить не только о том, что их причина не устранена, но и о том, что вебмастер наказан и требуется штрафное время, которое необходимо потратить на переосмысление своего подхода к созданию сайтов.
39. Если страница ВК или какого-то другого бесплатного хостинга (Юкоз, ЖЖ и прочие Фейсбуки, например) не видна в результатах. То она там и не должна быть. Большое количество народу пытается разобраться в том, почему плохо ранжируется чужой сайт. Но он чужой, Вам ничего не принадлежит. Захотят – закроют завтра, вообще не будет в выдаче. И ничего сделать или посмотреть в данный момент нельзя, поскольку все “смотрелки” у администрации ВК или про что там пойдет речь. Кроме того, бесплатные хостинги используются не только для выкладывания никому ненужных кошечек и прочей мерзости, но и для вполне осознанных вредительских целей. А варятся-то все сайты на одном домене. Вот и тонут вместе с вредителями одновременно. Решение: заводите отдельный, собственный сайт на нормальном хостинге. Его и продвигайте. Не хотите – попробуйте пробиться в поддержку хостинга, только там уже давно не отвечают на такие вопросы.
40. Иногда пользователи переживают по поводу заблокированных ресурсов, список которых растет в соответствующем разделе Консоли. Однако, если эти ресурсы относятся к другим, сторонним сайтам, то единственное, что Вы можете сделать – убрать их со своих страниц или, если они являются неотъемлемой частью сайта – перестать волноваться. Бот предполагает, что закрытые, недоступные ресурсы могут повлиять на его способность правильно увидеть страницу, однако, катастрофическими подобные сообщения не являются. Но не следует особо переживать по поводу временно недоступных ресурсов, в большинстве случаев эта надпись обозначает, что сервис “Просмотра, как Googlebot” перегружен и не может обработать ваш ресурс полностью. Подождите, попробуйте в другое время, более пристальное внимание обратите на настройки. Как правило, рано или поздно бот эти ресурсы начинает видеть. На качестве сканирования это никак не сказывается. Оно работает с других серверов.
41. Появились странные пользователи, полагающие, что я продвигаю что-то этим вот кодексом. Во-первых, я его публикую в основном на форуме Google, откуда ссылочное не учитывается, судя по всему. Во-вторых, повторюсь, кодекс имеет собой цель иметь возможность получить свод каких-то правил, которые просто необходимо прочитать тем, кто пишет “у меня сайт и с ним проблема, быстренько помогите мне”. Любая волонтерская помощь подразумевает уважительное отношение к тем, кто Вам пытается помочь. Анализ сайта – труд. Если Вы пальцем о палец не ударили, чтобы предоставить информацию для анализа, то не ждите, что кто-то ее из Вас будет выдавливать, либо собирать ее самостоятельно. Получите кодекс – прочтите его от первого пункта до ссылок в конце, возможно, что все эти нюансы Вы знаете, возможно, что нет. Соотношение рисков первого ко второму таково, что прочитать все же следует. Плакать, что Вам дали слишком много букв тоже глупо. За каждым из пунктов не один повтор вопроса-ответа на форуме, лучше будет, если Вы сбережете свое и мое время для того, чтобы вылечить того, кому это время действительно нужно. Ваша проблема в том, что Вы чего-то не знаете, а тут информация. Бесплатно. Не смогли информацией воспользоваться самостоятельно – сообщите подробно информацию по больному. В кодексе есть перечень, что требуется. Подумаем вместе. Варианты с тем, чтобы позвать сюда на ковер самого главного, чтобы он отчитался ничтожны. Если что-то не нравится в решении вопросов – покажите всем, как оно должно быть. Какой Вы внимательный и отзывчивый гуру вебмастеринга, как помогаете пользователям отвечать на самые странные вопросы… И без кодекса набираете одни и те же ответы на одни и те же вопросы. Если Вы не готовы что-либо делать, то Вы можете принять решение отказаться от пользования Google. Это избавит Вас от затрат нервов, денег, времени и сил.
42. Часто спрашивают, как посмотреть PR сайта. Общий ответ – никак. Дело в том, что тулбарный PR, который был доступен пользователям, уже несколько лет не обновляется (c 6 декабря 2013 года) и официально закрыт. Безусловно, сам PR страниц на техническом уровне остался, но является внутренним инструментом ранжирования и снаружи в настоящий момент не виден никак и нигде. То, что какие-то сторонние пузомерки до сих пор пытаются показывать изменения PR – исключительно инициатива этих самых пузомерок и ничего реального они не показывают.
43. Вопрос “Как связаться с техподдержкой Google?” очень частый и бессмысленный. Дело в том, что такой техподдержки нет. По крайней мере, что касается тех продуктов, за которые Вы не платите. Т.е., поиск, вебмастера и т.п., в противоположность AdWords и Google Domains for business, например. Единственный способ решить какой-то технический вопрос – это написать его либо на форуме Google, либо на этом форуме. Увы, решать, передавать вопрос именно в Google на рассмотрение или оставить на форуме, будут эксперты в обоих случаях. Зато, если вопрос действительно масштабный, глобальный и интересный, то его передадут непосредственно команде, отвечающей за поиск и выдачу по России или даже по всему миру.
44. Что такое ручные меры и как с ними бороться. Эти меры выдаются человеком, которому машина выдала подозрительные сигналы с вашего сайта. Вы получаете уведомление с сообщением, что и как здесь не так. По массе причин уведомление может быть с достаточно расплывчатой формулировкой, да, Google не стремится к тому, чтобы его затаскали по судам. Можно стучать головой об пол и обращаться в лигу сексуальных реформ, но в данном случае важно, что Вы остаетесь один на один с тем, что ваш сайт Google не нравится. Да, бывают ошибки, но я за все время лично с ними не сталкивался. Первое, что нужно уяснить, меры сайт уже получил. “Быстро-быстро” не получится. Внимательно оцените причину попадания под меры и нарисуйте план действий. Даже если Вы уверены в том, что именно послужило причиной ручных мер, не спешите посылать на пересмотр до того, как трижды все не перепроверите, в том числе какие-то смежные моменты. Каждая отправка на пересмотр увеличивает время этого самого пересмотра. И не надо умолять никого, что больше так не будете, плакать, что это не Вы виноваты, а злой рок или предыдущий вебмастер. Поверьте, не Вы первый, быстрее не будет. Что касается сроков пересмотра, то они могут быть самыми разнообразными, как правило, от недели до трех месяцев, в зависимости от загруженности команды качества поиска, злостности вашего нарушения и количества повторных проверок, например.
45. Если не приходит ответ на пересмотр ручных мер или пересмотр проблем безопасности, то одной из частых причин является осел. Не тот, что за компьютером сидит, а тот, что IE, т.е. Internet Explorer. С ним же может быть связана куча других проблем. Продукты гугла использовать через недобраузеры – моветон. Пользуйтесь Google Chrome.
46. Обратите внимание, что во всех загружаемых роботом или отправляемых Вами в Google текстовиках (например: Disavow Links, Robots.txt, Sitemap) не должно быть BOM (Byte Order Mark), если они сохраняются в UTF. В противном случае гарантирована ошибка их обработки или просто файл будет проигнорирован.
47. Часто спрашивают, почему робот настойчиво индексирует HTTPS, хотя “мы давно от него отказались”. Так вот, если Вы от него отказались, то с HTTPS-страниц должен быть редирект на соответствующие HTTP-страницы. В противном случае робот при наличии двух протоколов будет предпочитать HTTPS, несмотря на то, что Вы его давно забросили и там кривой сертификат, пугающий посетителей. Еще один вариант, похуже, вообще отключить ответ на 443 порту. Имеет право на жизнь, однако значительно увеличивает срок переиндексации страниц в пользу HTTP. Должен заметить, что в целом не стал бы рекомендовать откатываться с HTTPS, если на нем уже большая часть страниц проиндексирована.
48. Как ускорить индексацию сайта.
Уже сколько копий сломано и статей написано, напишу свое мнение и я, вам остается лишь проверить.
Во-первых, sitemap.xml должен быть обязательно. Не надо никаких "зайдите на сайт и получите". Генерировать такую важную вещь вы должны собственным скриптом или хорошо понимать, что генерит вам чужой скрипт. Не забывайте о лимите на количество ссылок и размер файла. Проверьте в спецификации, какие они на данным момент. Я рекомендую не более 10000 ссылок в файле. Обязательно добавьте sitemap в панели вебмастеров, по крайней мере, в Yandex, Google и Bing, не забудьте его указать и в robots.txt. Если sitemap гигантский, то можете сделать один общий, обновляемый раз в неделю, а один - только на темы за неделю, обновляемый ежедневно. У меня крайне плохо ранжируются темы, которые еще не попали в карту. После создания карты ею можно пингануть Google и Bing, если забуду написать как - скажите.
Во-вторых, обязательно добавьте RSS сайта в SC гугла вместе с сайтмапом, а Яндексу добавьте сюда -> blogs.yandex.ru/add.xml?url=. Лишняя информация о страницах не повредит.
Мусорить на каждой странице ссылками на другие страницы не обязательно. Особенно хреново, когда эти ссылки начинают индексироваться, как содержимое страницы. В итоге в индексе начинается каша. Другое дело, если из одной статьи делать смысловые ссылки на другую. Очень полезная опция - HTML-карта сайта со ссылкой на нее со всех страниц. Посмотрите, как тут сделано (внизу ссылка на карту).
Обязательно добавьте RSS в Feedburner, а оттуда настройте репост в Twitter. Сервис мусорный, однако, поисковики его любят.
Есть сервисы кросспоста RSS в другие соцсети (dlvr.it). Обязательно настройте кросспост в Facebook и Google+, они тоже обрабатываются Яндексом и Google. Есть сервисы, постящие во ВКонтакте и Одноклассники, но там без значимого количества подписчиков трудно чего-то добиться. Собственно, во всех соцсетях так. Без оживления юзеров индексация тупит.
Обязательно настройте CSE (Custom search engine https://cse.google.ru/cse/all) и Поиск Яндекса для сайта https://site.yandex.ru/. Оба этих инструмента улучшают понимание того, как индексируется именно ваш сайт, а в Яндексе еще и API для передачи страниц на индексацию есть. Вещь незаменимая.
Если сайт гигантский - разделите его на смысловые поддомены. Во избежание DDoS поисковики лимитированы в количестве запросов на домен, да и общий индекс в несколько миллионов страниц мешает индексации и пониманию, что происходит. Опять же, для таких ресурсов я принимаю необходимость закрывать ненужное в robots.txt, т.е. обязательно следите, чтобы лишние тысячи страниц там не болтались. Держите в памяти предел сканирования.
Общее правило хорошей индексации - страница в индексе через 3 часа после публикации. В пределах суток - нормальная. Более - ненормальная. Конечно, речь не идет о моментальном вбросе нескольких миллионов страниц. Но 300000 новых в день - норма для Google, например. На переиндексацию он идет значительно неохотнее.
Лимитированное количество страниц, штучно можно отправить в индекс руками через "Посмотреть, как GoogleBot" в SC гугла и в "Переобход страниц" Яндекса. Обе эти опции имеют штучный лимит, поэтому на постоянной основе пользоваться им нет смысла. Однако, в Google с такого пинка страница попадает в пределах 15 минут, в Яндексе где-то от часа до суток. Но вопрос в том, что это принудительное запихивание "быстроботом" и после рассмотрения основным ботом она может и выпасть. Приходится это контролировать.
Да, в настоящий момент на индексации сказывается HTTPS, количество ботов, работающих на этом протоколе, ниже у всех поисковиков. Но, думаю, в скором времени это изменится.
49. Как правильно перейти на HTTPS
Еще совсем недавно я писал о том, что HTTPS - зло, что к этому никто не готов и перечислял несколько причин, по которым не стоит переходить на HTTPS. Не могу сказать, что отношение к этому протоколу кардинально поменялось, хотя HTTP/2 внес значительные улучшения. Однако, совершенно очевидно, что поисковики вынудят перейти на этот протокол, несмотря на то, что потери от перехода будут, хотя бы на некоторый интервал времени. Да, есть везунчики, которые проскочили переход совершенно без проблем, однако таких немного, причем, с ростом количества страниц ресурса их становится еще меньше. На данный момент (дата размещения этого сообщения) есть и на стороне поисковиков проблемы, есть и проблемы различных других ботов, есть и риск поссориться с какой-нибудь правоохранительной организацией и получить бан на весь ресурс, поскольку на HTTPS разделить страницы невозможно, в отличие от HTTP, но, если ваш сайт имеет что-то общее с SEO, то есть, если он рассчитан на широкую аудиторию, переход на HTTPS неизбежен. Предлагаю перечислить основные пункты, которые должен учесть вебмастер при таком переходе.
1. Не спешите, составьте план, который вы ежедневно будете перечитывать три дня после того, как закончите, но до того, как начнете выполнять хотя бы один пункт или как-то готовиться к переходу.
2. Ознакомьтесь со справкой здесь: https://support.google.com/webmasters/answer/6073543
3. Подготовьте сертификаты, можно использовать платные, можно использовать бесплатные, главное условие - их валидность, цена не имеет значения при ранжировании. Последние можно взять, например, у StartSSL и Let's Encrypt, учтите, что включить 443 порт (HTTPS) тайком не получится, боты проверяют его без дополнительных указаний и, если порт будет открыт - предпочитают думать, что пользователю нужен именно он. А без сертификатов, с самоподписанными или какими-то другими изуродованными сертификатами, пользователи ресурса получат кучу угрожающих сообщений в браузере. Многие не смогут их обойти.
3.1 С момента, как вы начинаете использовать сертификаты, становится актуальной проблема точного времени на сервере. При значительном отклонении сертификат не будет признаваться браузером.
4. Важная часть внедрения - настройки веб-сервера. Слишком лояльные к безопасности могут открыть неприятные огрехи SSL, слишком сильно закрученные заблокируют вход, например, старым устройствам.
5. Проверить сертификаты и работу вебсервера можно здесь: https://www.ssllabs.com/ssltest/
6. В Search Console нужно будет добавить новый сайт с https, причем инструмент для переезда с домена на домен в этом случае работать не будет.
7. Отметьте все ключевые страницы с большим траффиком, возвращение позиций которых вы будете отслеживать после переезда.
8. Не забудьте, если соберетесь переезжать с редиректом 301, robots.txt редиректиться не должен! Он должен остаться и на старом сайте.
9. Вариант с переездом кодом 301 чреват тем, что сканирование старой страницы и новой происходит не одновременно. В результате, очевидно при пересечении этого момента с производимыми работмаи на серверах поисковика, вы можете получить вылет кучи страниц по 301 коду и кучу непроиндексированных на новом месте. Однако, именно этот вариант официально рекомендуется Google, поэтому не исключено, что какие-то механизмы в данный момент исправлены или будут исправлены таким образом, чтобы вебмастера пользовались именно кодом 301.
10. Если не уверены в окончательности переезде, используйте 302 код вместо 301.
11. Рассмотрите вариант переезда через rel="canonical", указывающий на HTTPS-версию, как один из самых безопасных вариантов. Но обязательно учтите условия по переезду с 301 кодом, указанные выше.
12. Для тестирования не используйте подстановку старых страниц или каких-то их вариантов по юзерагенту, меры за cloaking никто не отменял.
13. Не блокируйте HTTP-версию в robots.txt! Она будет сканироваться еще очень долгое время по разным причинам.
14. Не забудьте положить отдельный sitemap на HTTPS-версии, с https-ссылками. Старый sitemap удалять не нужно, но и обновлять тоже.
15. Не забывайте до окончательного перетекания количества отслеживать статус индексирования и ошибки сканирования на обеих версиях сайта.
16. Обязательно отметьте все внутренние ссылки и подгружаемые локальные ресурсы. На HTTPS-страницах не должно быть включений по HTTP протоколу. А переходить по редиректу пользователю ни к чему. Возможно, что есть смысл использовать относительные ссылки, однако это в некоторых случаях может быть небезопасно, или облегчить жизнь копирующим страницы.
17. Сколько будет длиться переход с одной версии на другую, зависит от скорости индексации сайта ботом. Если у вас возникает такой вопрос, то необходимо ознакомиться вот с этой статьей: https://olegon.ru/showthread.php?t=19433
18. При настройке не забывайте о всей цепочке сертификатов (chain), устанавливать надо не только сертификат сайта.
50. Если сайт на WordPress, то, возможно, вас взломали. Аудит безопасности для таких сайтов.
Обратите внимание и на советы самого Google: ⋙ или вот эти: ⋙ и его же FAQ: ⋙
А тут можно и пожаловаться на вредные сайты: ⋙ или почитать статьи Google и рекомендации вебмастерам (⋙).
Если увидели в выдаче результаты поиска, можно пожаловаться на них здесь: ⋙
Проверка сайта на безопасность: ⋙ и ⋙
Интересный график траффика с наложением предположительных дат ключевых изменений алгоритмов: ⋙, ⋙ и ⋙
Помощник по созданию микроразметки: ⋙
Форма запроса на забвение: ⋙
Для переиндексации чужой страницы можно заполнить форму здесь: ⋙
Если со сканированием бота проблемы или необходимо выполнить массовую операцию по сканированию, форма запроса тут: ⋙
А тут комплексный квест по исправлению неполадок: ⋙
