При продвижении проектов SEO-специалист часто сталкивается с ситуациями, когда на страницах сайта присутствует контент, который может быть полезен для пользователей, но, при этом, его требуется скрыть от индексации в поисковых системах Яндекс и Google
Например, на страницах сайта используется сквозной блок текста, дублирующийся на многих страницах сайта, что негативно сказывается на позициях сайта. При этом, текст необходим или владелец сайта выступает против его удаления/изменения. Наиболее оптимальным решением здесь является скрытие блока текста с помощью JavaScript или AJAX
Рис. 1. Пример сквозного дублирования текста на сайте
Другой распространенной задачей является необходимость скрытия внешних ссылок. С помощью AJAX или JS-скриптов производится скрытие исходящих ссылок на сторонние сайты, что способствует концентрации статического веса внутри продвигаемого проекта. Поисковая система не распознает скрытый контент как ссылки из-за невозможности «на лету» обработать сложный скрипт
Рис. 2. Пример внешних исходящих ссылок с документа на внешние сайты и внутренние страницы, которые лучше скрыть от индексации
Умеют ли поисковые роботы индексировать контент и ссылки, скрытые с помощью JavaScript и AJAX
По словам Джона Мюллера, в ходе недавней беседы с вебмастерами, JavaScript и AJAX не помогут скрыть ссылки и контент от поисковых роботов. По словам специалиста, Google научился индексировать страницы с AJAX и JavaScript, так что скрыть ссылки или контент с помощью этих технологий не получится. Но и гарантировать индексацию страниц с JS и AJAX Google не может
Подробней про данное заявление можно прочитать в новости на SEOnews
Гипотеза
Перед аналитиками компании «JimmyNeuron Marketing» встала задача экспериментальным путем проверить, действительно ли поисковые роботы Google и Яндекса могут интерпретировать ссылки, скрытые через в JavaScript и AJAX
Ход эксперимента
В рамках проведения эксперимента были реализованы следующие шаги
- На двух разных документах были созданы группы ссылок. Одна из групп ссылок была скрыта через различные варианты JS, а вторая группа — посредством технологии AJAX. Рис. 3. Иллюстрация страниц с экспериментом
- Анкоры ссылок состояли из слов, которые в такой же последовательности и точной форме не встречаются в тексте документа-акцептора
- При этом, отдельные слова из запроса должны были присутствовать в документе для того, чтобы документы прошли аналог «яндексовского» кворума в Google по ссылочному ранжированию
- Сами скрипты и подгружаемые ссылки были закрыты от индексации в файле robots.txt
- Далее следовало ожидание переиндексации документов в Google и Яндекс
Результаты эксперимента: варианты JS
После переиндексации экспериментальных документов и на основании изучения текстовой версии сохраненных копий документов в Яндексе и Google, был сделан вывод о том, какие варианты скрытия ссылок поисковые системы не смогли распознать
Как фрагмент видит пользователь
Рис. 4. Отображение фрагмента документа у пользователя в браузере
Как выглядит исходный код
Рис. 5. Содержание исходного кода
Как видит Яндекс
Рис. 6. Сохраненная копия в Яндексе
Как видит Google
Рис. 7. Сохраненная копия в Google
Яндекс и Google распознали в данном блоке ссылки только в 2 из 5 случаев, когда в коде в явном виде был указан URL акцептора. В остальных случаях поисковые системы интерпретировали данные блоки как обычный текст
На основании полученных данных можно сделать вывод о том, что представленные ниже варианты JavaScript позволяют скрывать ссылки и прочий контент от индексации
1. 2. анкор 3. анкор
В качестве дополнительной проверки эффективности методики произведем поиск указанных в эксперименте текстов ссылок в анкор-листе акцепторов используя оператор расширенного поиска Google — allinanchor
Рис. 8. Проверка наличия текстов ссылок в анкор-листе акцепторов
Как можно видеть, в анкор-листе страниц акцепторов также отсутствуют тексты анализируемых ссылок
Результаты эксперимента: AJAX
Результат проверки при скрытии посредством технологии AJAX показал, что не в одном из 5 случаев не Яндекс, ни Google не смогли распознать в данном контенте ссылок
Как фрагмент видит пользователь
Рис. 9. Отображение фрагмента документа у пользователя в браузере
Как выглядит исходный код
Рис. 10. Содержание исходного кода
Как видит Яндекс
Рис. 11. Сохраненная копия в Яндексе
Как видит Google
Рис. 12. Сохраненная копия в Google
Видно, что Яндекс и Google воспринимают данный контент как обычный текст и не интерпретирует его как блок ссылок. Дополнительно произведем поисков текстов ссылок в анкор-листе страниц акцепторов с помощью оператора «allinanchor»
Рис. 13. Проверка наличия текстов ссылок в анкор-листе акцепторов
В анкор-листе страниц акцепторов фразы из текстов ссылок не были найдены. Это является дополнительным подтверждением того, что поисковые системы не смогли проиндексировать ссылки, скрытые посредством AJAX
Выводы
По итогам экспериментов, проведенных аналитиками «JimmyNeuron Marketing», можно сделать выводы о том, что поисковые системы Яндекс и Google не смогли интерпретировать ссылки, закрытые в сложный JavaScript и AJAX. Данные наблюдения подтверждают дальнейшую целесообразность использования скриптов и AJAX для нужд поискового продвижения (SEO)