С HTTP на HTTPS 

В последнее время достаточно модным трендом в поисковой оптимизации стал переезд сайта с протокола HTTP на HTTPS. Несомненным катализатором этого процесса стал Google. Рекомендации Сергея Людкевича.

6 августа 2014 года в официальном блоге Google Webmaster Central появилась статья «HTTPS as a ranking signal», в которой утверждалось, что Google будет учитывать использование сайтом протокола HTTPS в качестве одного из факторов ранжирования. Пока что этот сигнал оценен, как довольно слабый и влияющий менее чем на 1% мировых запросов, однако в будущем не исключается его усиление. Это заявление подытоживалось призывом ко всем вебмастерам осуществить переход с протокола HTTP на HTTPS в целях повешения безопасности передачи информации в интернете.

Многие вебмастера и владельцы сайтов отнеслись к этому заявлению достаточно серьезно и начали планировать переезд. Однако, отечественным специалистам пришлось столкнуться с неожиданной проблемой – нюансы корректного переезда с HTTP на HTTPS в двух основных поисковых машинах русскоязычного рынка – Яндексе и Google несколько различаются. И для того, чтоб переезд был максимально безболезненным, нужно учесть ряд определенных моментов.

Итак, каковы же рекомендации по переезду у фактического инициатора данного процесса – Google? Они содержатся в разделе «Перенос сайта с изменением URL» справки сервиса «Инструменты для вебмастеров» и достаточно просты – нужно всего лишь настроить 301-й редирект со страниц HTTP-сайта на соответствующие им страницы HTTPS-сайта. Эта же рекомендация содержится и в другом документе справки: «Защитите свой сайт с помощью HTTPS» . Альтернативного способа, к сожалению, не предлагается. Так, например, в справке по «Инструменту изменения адресов» сервиса «Инструменты для вебмастеров» указано, что в настоящее время этот инструмент не поддерживает такой вид переноса сайта, как изменение протокола с HTTP на HTTPS.

Яндекс также поддерживает протокол HTTPS при индексировании сайтов. Для изменения главного зеркала Яндекс предлагает два способа:

• с помощью директивы Host;
• с помощью серверного редиректа со страниц старого домена на соответствующие им страницы нового (этот способ рекомендуется использовать, если новый домен не является неглавным зеркалом).

Однако, если следовать рекомендациям Google и выбрать второй способ, настроив 301-й редирект со страниц HTTP-сайта на соответствующие им страницы HTTPS-сайта, то в Яндексе можно столкнуться с весьма неприятными последствиями. Перенос сайта может затянуться, и на этот период может произойти частичное выпадение страниц сайта из индекса, сопровождаемое потерей занимаемых позиций. Поэтому в Яндексе при переезде следует придерживаться другой тактики, а именно – переклейки главного зеркала путем использования соответствующего инструментария. Для безболезненной переклейки главного зеркала, я рекомендую использовать директиву Host в файле robots.txt. Чтобы ускорить процесс переклейки Яндекс предлагает воспользоваться инструментом «Главное зеркало» раздела «Настройка индексирования» сервиса «Яндекс.Вебмастер». Причем некоторое время назад в этом инструменте появился режим «Установить протокол https».

Также в Яндексе есть одна особенность, связанная с форматом HTTPS, которую необходимо учитывать. В советах вебмастеру по индексированию картинок содержится следующая информация:

«Для того чтобы в индекс попали картинки, в ссылках на которые используется протокол https, необходимо, чтобы к этой картинке был доступ по http. Например, если вы хотите, чтобы проиндексировалась картинка по адресу https://domain.ru/image.jpg, нужно дать роботу возможность скачать эту картинку по адресу http://domain.ru/image.jpg».

Таким образом, я рекомендую придерживаться следующего алгоритма по переносу сайта с протокола HTTP на HTTPS, дабы постараться учесть требования обоих поисковиков, и сделать процесс максимально безболезненным:

1. Обеспечьте полную доступность для индексаторов поисковых машин, необходимых для индексации страниц сайта, как по HTTP, так и по HTTPS. При этом, если на сайте используются абсолютные адреса внутренних страниц (в ссылках, в атрибуте rel="canonical" тега link и т.п.), в HTTPS-версии необходимо заменить во всех таких адресах “http” на “https”.
2. Пропишите в директиве Host файла robots.txt адрес сайта с HTTPS.
3. Установите протокол HTTPS в инструменте «Главное зеркало» раздела «Настройка индексирования» сервиса «Яндекс.Вебмастер». Можно столкнуться с ситуацией, что какое-то время данный инструмент не будет позволять это сделать, сообщая, что указанный вами домен с HTTPS не может быть выбран в качестве главного зеркала – роботу надо убедиться в том, что HTTPS-версия сайта действительно является зеркалом HTTP-версии, и склеить эти версии в группу зеркал (см. раздел «Причины отклонения заявок на смену главного зеркала»).
4. Дождитесь через некоторое время сообщения от Яндекса в сервисе «Яндекс.Вебмастер» о том, что главное зеркало изменено на вариант с HTTPS и убедитесь в этом, проверив изменение главного зеркала сайта с помощью формы «Сообщить о новом сайте».
5. Настройте прямые 301-е редиректы со всех страниц HTTP-сайта на соответствующие им страницы HTTPS-сайта, кроме файлов картинок. Избегайте построения цепочек редиректов, когда между исходным документом на HTTP и конечным документом на HTTPS существуют промежуточные документы.
6. Добавьте HTTPS-сайт в сервис «Инструменты для вебмастеров» Google и подтвердите права на него. Если для HTTP версии сайта использовался инструмент отклонения ссылок «Disavow links» сервиса «Инструменты для вебмастеров», то загрузите использовавшийся файл с отклоняемыми ссылками также и для HTTPS версии.

Ну, а затем главное – запастись терпением и надеждой, что в вашем случае всё обойдётся без ошибок и глюков со стороны поисковых машин, что, к сожалению, отнюдь не гарантировано.

Я хотел бы подробней остановиться на различных нюансах склейки, как между сайтами (назовем это «внешней склейкой»), как и между внутренними страницами сайта («внутренняя склейка»).

Склейка сайтов

В результате склейки сайтов часть характеристик второстепенного зеркала может передаваться главному зеркалу. Так, например, в Яндексе передаются ссылочные и поведенческие факторы, не передаются временные факторы (например, возраст страниц) и штрафы.

Что касается непередаваемости штрафов от второстепенного зеркала главному в случае их склейки, то, судя по всему, здесь логика следующая. По большому счету, способы подклейки второстепенного зеркала к главному зеркалу не требуют никаких манипуляций непосредственно с главным зеркалом, или же какого-то подтверждения прав на него. Поэтому находящийся под вашим контролем сайт можно подклеить в качестве второстепенного зеркала практически к любому сайту, и совершенно необязательно, чтобы это главное зеркало тоже находилось под вашим контролем. Получается, что если бы санкции передавались при склейке, то находящийся под санкциями сайт можно было бы использовать в качестве оружия уничтожения в выдаче практически любого сайта. Для этого нужно было бы просто подклеить к выбранной «жертве» находящийся под санкциями сайт в качестве второстепенного зеркала.

Еще один важный нюанс – это то, что в случае склейки сайтов для корректной передачи характеристик страниц второстепенного зеркала главному, необходимо, чтобы соответствующие страницы имели одинаковые внутренние адреса. Если адреса страниц у второстепенного и главного зеркала не совпадают, то нужно привести их друг к другу, используя внутреннюю склейку страниц (о которой речь будет идти ниже): https://help.yandex.ru/webmaster/yandex-indexing/site-mirrors.xml#merge-different-structures.

Узнать, является ли чьим-то второстепенным зеркалом тот или иной сайт, в Яндексе можно с помощью формы «Сообщить о новом сайте» .

Ведущие поисковые машины русскоязычного рынка поиска предлагают достаточно подробные инструкции по корректной склейке сайтов. У Google она содержится в инструкции «Перенос сайта с изменением URL» справки сервиса «Инструменты для вебмастеров». У Яндекса – в разделе «Переезд сайта на новый домен» справки сервиса «Яндекс.Вебмастер». Это следующие способы:

301-й редирект

Реализация – со всех страниц исходного сайта организуется серверный редирект с HTTP-кодом 301 на соответствующие им страницы нового сайта. Поддерживается как Google, так и Яндексом.

Ускорить процесс переклейки можно следующим образом. В Google – отправить запрос на изменение адреса в «Инструменте для изменения адресов» – не работает в случае изменения протокола HTTP на HTTPS. В Яндексе – с помощью инструмента «Главное зеркало» сервиса «Яндекс.Вебмастер». Причем для того, чтоб воспользоваться этим инструментом, необходимо условие, чтоб Яндекс посчитал оба сайта зеркалами.

По возможности следует избегать цепочек редиректов, и использовать их только в одном случае – когда структуры адресов страниц второстепенного и главного зеркала не совпадают, и их необходимо привести друг к другу. При этом очень желательно перед организацией редиректов между сайтами сначала дождаться переклейки соответствующих внутренних страниц.

Плюсы. Универсальность. Является общим способом для обеих поисковых систем.

Минусы. В Яндексе можно столкнуться с временным проседанием позиций, обусловленным тем, что полноценная переклейка еще не произошла (и поэтому страницы нового сайта не получили характеристик от страниц исходного сайта), а страницы исходного сайта уже выпали из индекса из-за того, что они имеют отклик, отличный от 200.

Редирект через мета-тег refresh

Поддерживается только Яндексом. Реализация – при помощи мета-тега refresh с нулевой задержкой, добавляемого в код каждой страницы (например: <meta http-equiv="refresh" content="0;URL='http://new-site.com/'">).

Плюсов я в этом способе не вижу, кроме разве только что одного – этот способ подходит для тех, кто не умеет настраивать серверный редирект.

Минусы – те же, что и в случае 301-го редиректа.

Директива Host

Осуществляется c помощью директивы Host для фала robots.txt. Поддерживается только Яндексом, синтаксис директивы можно найти на странице помощи вебмастеру: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

Плюсы. Переклейка главного зеркала не сопровождается проседанием позиций в Яндексе.

Минусы. Не поддерживается Google.

Склейка внутренних страниц

В случае склейки внутренних страниц я предпочитаю вместо термина «зеркало», который применяется на уровне сайтов, оперировать термином «дубль». В Яндексе, в случае внутренней склейки, все характеристики второстепенного (неканонического) дубля передаются главному (каноническому) дублю – в том числе возраст и, к сожалению, санкции. Передача возраста при внутренней склейке используется для так называемого «состаривания» новых страниц. Google, в свою очередь, в своих рекомендациях по внутренней склейке упоминает об объединении по меньшей мере сигналов для ссылок на идентичное и похожее содержание: https://support.google.com/webmasters/answer/139066.

Процесс склейки внутренних страниц можно осуществлять следующими способами:

301-й редирект

Реализация – с неканонического дубля организуется серверный редирект с откликом 301 на канонический. Цепочек редиректов следует избегать. Этот способ рекомендует Google для изменения URL страницы, отображаемой в результатах поиска: https://support.google.com/webmasters/answer/93633?hl=ru. Также данный способ поддерживается и Яндексом: http://help.yandex.ru/webmaster/robot-workings/managing-redirects.xml#internal-redirects. На мой взгляд, он является самым надежным способом внутренней склейки, однако его использование ограничено только теми случаями, когда по адресу страницы, являющейся неканоническим дублем, не обязательно отдавать отклик 200. Остальные способы следует применять, когда отдача отклика 200 необходима, например, в случае полных или нечетких дубликатов, каждый из которых, по каким-либо причинам, необходимо демонстрировать пользователю именно по своему адресу без перенаправления на другой физический адрес.

Директива Clean-param

Осуществляется с помощью директивы Clean-param файла robots.txt и распространяется только на те случаи, когда неканонические дубли отличаются от канонического только наличием параметров в адресе страницы. Поддерживается только Яндексом, синтаксис директивы можно найти на странице помощи вебмастеру: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#clean-param.

Инструмент «Параметры URL» Google

Специальный инструмент сервиса «Инструменты для вебмастеров» Google https://www.google.com/webmasters/tools/crawl-url-parameters. Аналогично поддерживаемой Яндексом директиве Clean-param используется только в тех случаях, когда неканонические дубли отличаются от канонического лишь наличием параметров в адресе страницы. Полное описание инструмента можно найти в справке сервиса: https://support.google.com/webmasters/answer/6080550?hl=ru

Атрибут rel="canonical" тега <link>

Это способ, в отличие от двух предыдущих, не накладывает ограничения на структуру адресов страниц, к которым он может применяться. Он позволяет в явном виде в коде страницы неканонического дубля задать адрес канонического. Поддерживается, как Google (https://support.google.com/webmasters/answer/139066?hl=ru#2), так и Яндексом (http://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical).

*Источник: e-mail рассылка searchengines.ru

*UPD

301 редирект заменит директиву Host при выборе главного зеркала (Яндекс) Источник

301-й редирект полностью заменил директиву Host (Яндекс) Источник