какие сайты лучше индексируются поисковиками
Какой домен лучше выбрать для продвижения и индексации сайта?
Какую доменную зону выбрать для продвижения сайта и лучшей индексации поисковыми системами? Как найти и придумать короткий, запоминающийся домен, отражающий суть вашего проекта? Что делать, если домен с именем вашей компании уже занят? Данными вопросами задается каждый человек, который начинает свою деятельность в web-среде.
Это должен знать каждый перед покупкой домена
Типы доменных зон и их подводные камни
ТОП-20 национальных доменов Европы
Существуют люди и даже отдельные компании, которые занимаются скупкой доменов с целью их последующей перепродажи, либо недобросовестной конкуренции. Данная деятельность получила название киберсквоттинг (от англ. cybersquotting). Если вы сумели найти запоминающийся домен, отражающий суть вашей компании, лучше приобрести его в нескольких доменных зонах.
В техническом плане разницы между доменными зонами нет. Сайт с контентом, полезным для пользователей в любом случае попадет в индекс поисковых систем и сможет занять там достойные позиции в выдаче. Однако есть психологический момент как со стороны владельцев сайтов и SEO-оптимизаторов, так и со стороны пользователей.
Во-первых, в российском сегменте интернета домены [ru] имеют численное превосходство над всеми остальными (в 6 раз больше [рф]). Неудивительно, что в выдаче данные сайты встречаются чаще, отсюда складывается мнение, что домены [ru] легче продвигать, и поисковые системы отдают предпочтение именно им.
Какую доменную зону выбрать: все ЗА и ПРОТИВ
Как мы уже говорили ранее, тематические домены, крайне непопулярны в рунете, подробнее мы их разберем в следующих статьях. Рассмотрим 3 самых популярных территориально-языковых доменных зоны, которые выбирает подавляющее большинство российских вебмастеров для своих сайтов: [ru], [com ] и [рф].
Есть одно общее правило при выборе доменного имени независимо от его зоны: вы должны понимать, что для конкретного проекта вы это делаете первый и последний раз. Не будем углубляться в тонкости переезда сайта с одного домена на другой, так как ни один серьезный проект заработавший хорошую репутацию и позиции в поисковых системах не будет рисковать своими активами. В этом случае поисковые системы не гарантируют сохранение позиций ресурса в выдаче. Это говорит о том, что к выбору доменного имени нужно подойти максимально ответственно, ведь вы делаете это один раз для проекта.
Рассмотрим основные преимущества и недостатки доменных зон [ru], [com] и [рф].
Преимущества
Недостатки
Сайт и домен: 2 сапога пара
Landing Page
Если вы хотите сделать одностраничный сайт, траффик на который будет привлекаться исключительно с рекламных каналов, не стоит прикладывать особых усилий к выбору домена. Постарайтесь, чтобы домен было максимально легко запомнить.
Для Landing Page подойдет любая из доменных зон. Как правило, выбор останавливается на зонах [ru] и[рф]. Примеры:
Личный сайт-визитка или портфолио
Один из немногих форматов ресурсов, где зона [рф] пользуется популярностью. Сайт фотографа, опеаратора, политика или частного электрика отлично сочетается с данной доменной зоной. Непосредственное указание имени и фамилии в домене является лучшим позиционированием и одновременной рекламой человека, стоящего за веб-ресурсом.
На использование доменов [ru] и [com] никакого табу нет. Как правило [com] используют личности, чьи проекты не имеют ограничений по территориально-языковому признаку.
Информационный блог
Сайт компании, бренда
Для корпоративного сайта компании рекоммендуем выбрать доменные зоны [ru] или [com]. Правило территориальной привязки остается прежним. Если вы планируете работать только с русскоязычной аудиторией, то ваш вариант – [ru], если с международной, то – [com].
Интернет-магазин
Портал, сервис
11 советов по выбору доменного имени
Вот полезные сервисы, которые помогут вам в проверке:
Несколько магазинов доменов и онлайн-аукционов:
Как покупать/продлевать домены за 188 рублей в год?
Если вы планируете покупать множество доменов и развивать большое количество онлайн-проектов, то ежегодные траты на покупку/продление доменов могут выйти вам в копеечку. Мало кто знает, но покупать/продлевать домены в зонах [ru] и [рф] можно всего за 188 руб. по партнерскому тарифу регистратора доменных имен reg.ru.
Для подключения партнерского тарифа необходимо единоразово пополнить счет в личном кабинете на сумму от 5000 руб. Данный тариф будет действовать в течение года.
Такие траты будут неактуальны, если вы покупаете всего 1 или 2 домена. Но если у вас 10 и более доменных имен, то вопрос их покупки и продления станет для вас приятной мелочью.
Надеемся, данные рекомендации помогут вам подобрать хороший и запоминающийся домен, избежать проблем на старте развития вашего проекта, и сэкономить немного денег!
Какие сайты лидировали в поиске Яндекса и Google в 2020 году
Ozon сместил Wildberries, Banki.ru победили сразу в двух номинациях, а маркетплейсы и агрегаторы продолжают «топить» маленькие сайты в поиске. Подробнее — читайте в нашей статье.
«Ашманов и партнеры» в течение года общались с маркетологами компаний в e-commerce, автобизнесе, медицине, финансах и недвижимости и прочих отраслях, где актуально SEO-продвижение.
По сложившейся традиции мы решили наградить сайты, которые проводили качественный поисковый маркетинг в 2020 году, росли и лидировали в поисковых системах в течение всего года. Победителей выявляли на основании нашего рейтинга видимости. В рейтинг вошли данные по девяти отраслям: e-commerce, автомобили, страхование, финансовые услуги, строительство и ремонт, путешествия, такси и перевозки, медицина, недвижимость. Подробнее о рейтинге и победителях рассказываем ниже.
За 2020 год состав лидеров отраслевого рейтинга изменился незначительно: большинство сохранили за собой титул победителя с прошлого года, появилось трое сайтов-новичков рейтинга. По-прежнему продолжается «борьба» между агрегаторами и маленькими сайтами с преимуществом у первых. Эту же гипотезу подтверждает рейтинг самых быстрорастущих сайтов в поиске: 6 сайтов из 9 являются агрегаторами, порталами, маркетплейсами.
Сравнить рейтинг 2019 года можно здесь. Чтобы следить за изменениями в рейтинге, подпишитесь на ежемесячный дайджест рассылок.
Auto.ru сохранил за собой лидерство прошлого года, несмотря на отрицательный прирост (-1,54%) индекса. Напомним, это один из первых и самых посещаемых автомобильных сайтов в российском интернете. В мировом рейтинге сайт входит в ТОП-3 среди автомобильной категории. Видимость Auto.ru в поиске «Яндекса» выше, чем в Google, по совокупному показателю сайт стабильно лидирует в тематике.
Как и прежде, ЦИАН входит в десятку крупнейших сайтов по недвижимости в мире. C его помощью реализуются 60% звонков по продажам квартир в Москве и Московской области.
Показатель видимости 97,29% говорит о том, что пользователи видят ЦИАН в результатах поисковой выдачи почти всегда, когда ищут недвижимость для аренды или покупки. Как и в прошлом году, по показателю видимости в поиске ЦИАН с большим отрывом опережает Avito, «Домофонд» и «Яндекс.Недвижимость», несмотря на небольшое падение индекса (-0,09%).
«ПроДокторов» — пример того, как получить гигантскую посещаемость на низкочастотных поисковых запросах. В случае «ПроДокторов» это запросы, связанные с отзывами о конкретных врачах.
Согласно исследованию РБК, «ПроДокторов» является самым посещаемым сайтом, публикующим отзывы пациентов о врачах России. Его аудитория превышает 13 млн уникальных посетителей в месяц. Как и в прошлом году, ПроДокторов сохранил за собой звание лидера рейтинга, увеличив индекс видимости на 3,75%. Основатели проекта лично контролируют продвижение сайта в поисковых системах и разбираются в этой области на уровне экспертов.
Многие знают Aviasales из-за эпатажного маркетинга в социальных сетях, рекламных коллабораций и продакт-плейсменту на YouTube. Но проект преуспевает и в поиске, с приличным отрывом опережая конкурента Skyscanner и Avia.tutu. Aviasales по-прежнему лидирует в поиске благодаря высокой видимости по коммерческим запросам, немного улучшив индекс к прошлом году (+0.7%). Поисковые запросы, связанные с брендом компании, на позицию в рейтинге не влияют. Важно, что Aviasales держатся, несмотря на то проблемы с перелётами из-за пандемии.
В 2019 году Banki.ru выросли из информационного сайта в крупнейший финансовый супермаркет рунета. На сегодняшний день сайт прочно закрепился на верхних позициях поисковой выдачи, увеличил среднегодовую видимость на 2,6%, и продолжает успешно продвигаться по информационным и по коммерческим запросам. Кстати, Banki.ru также являются победителем рейтинга самых быстрорастущих сайтов в 2020 году — результаты рейтинга расположены ниже.
Интернет-торговля — один из самых конкурентных и сегментированных рынков рунета. В отличие от банковской сферы или сферы недвижимости, индекс видимости, близкий к 100%, здесь почти невозможен.
Триумфатором 2020 года стал сайт Ozon, с результатом 24,44% обошедший лидера прошлого года Wildberries (24,41% в 2020 году, 27% в 2019 году). Продвижением сайта OZON занимается большая инхауc SEO-команда высококвалифицированных специалистов. Также напомним, что в ноябре маркетплейс Ozon вышел на IPO и начал торговать акциями сразу на трех биржах. Бумаги компании при первоначальном диапазоне в 22,5-27,5 долларов выросли после старта продаж котировки до 42 долларов за акцию – то есть, прибавили 40% с цены размещения.
Сайт Ингосстрах продолжает лидировать в отраслевом рейтинге страховых услуг, улучшив на 1,36% индекс видимости. В прошлом году сайту «Ингосстрах» удалось опередить в поиске крупный сайт, лидера 2018 года — Sravni.ru. Это важный факт, так как сегодня почти в любой отрасли работают агрегаторы и маркетплейсы, с которыми очень непросто конкурировать за высокие места в поисковой выдаче.
Profi.ru помогает находить специалистов в различных областях и обрабатывает более 10 тысяч заказов в день. Profi.ru обогнал Яндекс.Услуги и terem-pro.ru, которые также используют для поиска специалистов по ремонту.
Агрегатор Avito потеснил на строчку ТОП-2 лидера прошлого года «Газелькин», индекс видимости которого практически не изменился в 2020 году.
Что такое индексация сайта и как её проверить
Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.
Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.
Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.
1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.
Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.
2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.
Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.
Есть несколько способов узнать были ли проиндексированы нужные вам страницы.
1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.
Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.
2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.
3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.
Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.
Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:
Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:
1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.
SEO-тест: индексация JavaScript-сайтов
JS-сайты и использование js фреймворков в разработке с каждым годом становятся все популярнее. В связи с этим актуальный вопрос для seo-специалистов — влияние js на seo и продвижение сайта. Мы решили провести эксперимент и проверить это в боевых условиях, создав сайты на javascript, а именно на фреймоворке vue js и проверив их индексацию.
будет отрисовано и превратится в полноценную страницу, между
Если просмотреть исходный html-код страницы, которая использует js фреймворк, можно увидеть весь ее изначальный шаблон с разметкой, например:
Для функционала, не критичного к индексированию, например, личным кабинетам, административным панелям, проблема индексирования не важна, и там давно используются реактивные фреймворки, но очень заманчиво использовать их преимущества и на сайтах с контентом. Поэтому у многих возникает вопрос, как поисковый робот будет видеть данную страницу: как пользователь, с уже подставленными значениями переменных, или будет видеть весь ее исходный код.
К основным сложностям, связанным с JavaScript, относят:
Первое время поисковики не умели индексировать js. Но уже несколько лет как эта проблема была ими решена. В 2014 году Google объявил, что может «лучше понимать веб (т.е. JavaScript)». В 2015 году Яндекс сообщил в своих новостях: «Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске.»
В разделе помощи поисковых систем можно найти информацию, посвященную особенностям индексации. Например, про сайты на ajax Яндекс сообщает: «Робот Яндекса может проиндексировать AJAX-сайт, если у каждой страницы сайта есть HTML-версия.»
Зачем покупать товар?
Товар необходимо покупать для.
Признаки отсутствия асинхронной загрузки:
Переменные инициализированы в коде, если просмотреть исходный код, то можно увидеть, чему они равны, например
title: ‘Заголовок страницы’, ‘content’: ‘
Соответственно мы хотели проверить индексацию страницы в обоих этих случаях. Если в первом случае поисковом роботу нужно просто загрузить страницу, во втором — нужно еще дождаться результата ajax запроса, который, возможно, повлияет на итоговое отображение страницы. соответственно сразу возникает вопрос, сколько же робот будет ожидать ответа от сервера и будет ли он вообще его ждать, или решит, что страница пустая и не добавит ее в индекс. В теории, когда страница загружена полностью, поисковому боту нечего делать на ней, и он мог выйти, не дождавшись, пока придет результат запроса данных, а без данных страница была бы пустая. Но бот дожидается результата запроса, как оказалось
Поэтому мы подготовили два варианта текстов для тестирования, охватывающих оба этих случая.
Для проверки индексации мы подготовили уникальные тексты для страниц. Тексты наши копирайтеры готовили связные, осмысленные, чтобы исключить влияние индексации некачественных текстов. В каждый текст добавили уникальные термины, придуманные нами. Предварительно слова были проверены в поисковых системах: по ним не должно было быть ничего найдено в результатах поиска, а также поисковики не должны были предлагать заменить их похожими словами. Такая уникальность и подробное раскрытие темы должна была помочь поисковым системам однозначно классифицировать интент при формировании поисковой выдачи по ключевикам наших страниц. Для чистоты эксперименты мы не прописали мета-теги для страниц — поисковики должны были ориентироваться только на содержимое страниц.
Советы по технической оптимизации от представителя Google Джона Мюллера рекомендуют тестировать JS-фреймворки с помощью функции Rich Snippets в Search Console и использовать инструмент проверки структурированных данных, чтобы убедиться, что веб-сайт правильно сканируется и отображается.
Аналогично показывает видимость кода страницы и Яндекс Вебмастер.
При использовании vue.js заголовок страницы в коде можно указать как
title
При генерации страницы сформируется вывод нужного заголовка. Дополнительно мы решили проверить, видят ли поисковики такие конструкции. Для этого мы создали дополнительную страницу с обычным текстом и добавили ей уникальный заголовок со словами, которые больше нигде не встречаются.
Таймлайн проверки индексации сайтов поисковиками:
Сайты добавлены нами в Яндекс Вебмастер и Google Search Console, страницы отправлены в переобход.Уже на следующий день мы получили от Яндекса уведомление об отсутствии у поддоменов фавиконов и региональной привязки.
В Вебмастере появилось сообщение о добавлении страниц в поиск. Проверяем поисковую выдачу.
По запросу с асинхронной загрузкой по прежнему Яндекс не находит. По запросу с синхронной загрузкой получаем страннный результат — вместо сообщения, что слово не найдено, сообщение, о том, что запросы скрыты в связи с соблюдением законодательства РФ. Делаем скрины, отправляем вопрос поддержке Яндекса.
Информация по поисковым запросам в Яндексе не появилась, однако предупреждение о нарушении законодательства об авторских правах исчезло.
Мы, кстати, не первый раз сталкиваемся с тем, что при первоначальной индексации сайтов робот Яндекса может сделать самые неожиданные выводы,не имеющие с действительностью ничего общего. Решается всё обычно быстро через отправку запроса в поддержку Яндекса.
В поиске Яндекс по запросу «брозперит» наконец появился сайт с асинхронной загрузкой. По первому сайту опять нет изменений. На всякий случай, обе его страницы несколько раз с начала эксперимента отправлялись в переобход.
Получен ответ от поддержки Яндекса по выдаче результатов:
Получаем через несколько дней ответ Яндекса:
«Указанная вами поисковая выдача по заданному поисковому запросу могла содержать в качестве единственного релевантного результата поиска ссылку на сайт, доступ к которому был ограничен по решению уполномоченных органов власти, в связи с чем ссылка на сайт перестала отображаться в поиске.
Ваш сайт пока не включен в результаты поиска, он должен появится через какое-то время после переиндексации страниц поисковым роботом.»
Если Яндекс считает, что сайты, релевантные ранее несуществующему и придуманному слову могут быть заблокированы предусмотрительно Роскомнадзором, не будем с ним спорить.
Обе главных страницы сайтов появились в поиске по запросам, с ними связанными Внутренняя страница так и не появилась в Яндексе, очевидно это связано с тем, что поисковик намного медленнее Гугла добавляет страницы в поиск.
Через несколько дней после очередного апдейта в поиске Яндекса появилась и внутренняя страница.
С точки зрения seo, нам было также интересно, что используют поисковики в качестве сниппета для нового для них запроса, если не указывать тег description. В текстах мы использовали подзаголвки h1-h3.
Дополнительно по обоим сайтам в Вебмастере мы запросили подбор «Рекомендованных запросов». Во-первых, мы надеялись, это быстрее покажет, что именно видит поисковик и какую семантику считает релевантной. Во-вторых, интересен был список запросов для сайта с асинхронной загрузкой.
В итоге через несколько дней по обеим сайтам выдал сообщение, что недостаточно данных для формирования рекомендованных запросов.
Поисковые роботы не имеют проблем с индексацией js, если выполнены рекомендации (см. ниже). Роботы Яндекса и Google могут проиндексировать сайт с синхронной и с асинхронной загрузкой js.
Как и Flash, AJAX может затруднить индексирование сайтов поисковыми системами, если эта технология реализована с ошибками. В основном AJAX вызывает две проблемы при использовании поисковых систем. Роботы поисковых систем должны «видеть» ваше содержание. Необходимо также убедиться, что они распознают правила навигации и следуют им.
Разрабатывайте сайты на основе принципа доступности. При разработке сайта с применением AJAX подумайте, что нужно пользователям, включая тех, кто не использует браузеры с поддержкой JavaScript (например, людей, работающих с программами чтения с экрана или мобильными устройствами). Один из самых простых способов проверить доступность сайта – предварительно просмотреть его в браузере с отключенной поддержкой JavaScript или в текстовом браузере (например, Lynx). Просмотр сайта в текстовом режиме может также оказаться полезным, если необходимо выявить другое содержание, которое сложно обнаружить роботу Googlebot, например, текст, внедренный в изображения или ролики в формате Flash.
Избегайте использования окон iFrame или создавайте отдельные ссылки на их содержание. Содержание, отображаемое с помощью iFrame, не индексируется и не показывается в результатах поиска Google. Использовать окна
iFrame для отображения содержания не рекомендуется. Если вы применяете эту технологию, не забудьте добавить дополнительные текстовые ссылки на их содержание, чтобы робот Googlebot мог просканировать его и внести в индекс.
Если вы начинаете создавать сайт с нуля, бывает полезно построить структуру сайта и систему навигации, используя только HTML. После того как страницы, ссылки и содержание сайта примут упорядоченный вид, можно улучшить внешний вид и интерфейс сайта с помощью AJAX. Робот Googlebot просканирует HTML, тогда как пользователи с современными браузерами смогут оценить ваши дополнения на языке AJAX.При создании ссылок следует выбрать формат, позволяющий наряду с вызовом функции JavaScript предлагать статическую ссылку. Таким образом, пользователи, включившие поддержку JavaScript, смогут применять функциональные возможности AJAX, а те, у кого нет поддержки JavaScript, смогут перейти по ссылке, не обращая внимания на сценарий. Пример.
Обратите внимание, что URL статической ссылки содержит параметр (?foo=32), а не фрагмент ( #foo=32), используемый в коде AJAX. Это важно, поскольку поисковые системы распознают параметры URL, но часто не учитывают наличие фрагментов. Теперь вы применяете статические ссылки, так что пользователи и поисковые системы могут переходить именно к тому содержанию, к которому нужно открыть общий доступ или на которое нужно сослаться.Использование HTML-ссылок по-прежнему значительно помогает нам (а также другим поисковым системам, мобильным устройствам и пользователям) распознать структуру вашего сайта.
Ознакомиться с Руководством для веб-мастеров, чтобы получить дополнительную информацию о том, как повысить привлекательность вашего сайта для Google и посетителей. В этом руководстве приводится также список методов, которые следует избегать, включая скрытую переадресацию с помощью Javascript. Общее правило заключается в том, что нужно обеспечивать неизменность содержания и вместе с тем предлагать пользователям различные функции, которые зависят от их возможностей.
Еще лучше сделать так, чтобы один и тот же текст появлялся независимо от того, включена поддержка JavaScript или нет. В идеальном случае у пользователей, отключивших JavaScript, должен быть доступ к HTML-версии слайд-шоу.
Используйте атрибут rel=»canonical» для указания канонических URL, если контент размещается на нескольких URL-ах.
Избегайте использования AJAX-подобных механизмов сканирования. Это — самая распространенная ошибка, которую допускают специалисты при смене подходов к программированию сайтов. Не забудьте удалять тег «meta fragment» из копии HTML AJAX страниц. Никогда не используйте данный тип тегов, если на странице применяется тег «escaped fragment».
Не используйте в URL-ах символ «#», Google очень редко индексирует такие адреса. Структура «стандартного» адреса страницы должна строиться по принципу: путь/имя файла/параметры запроса, за исключением тех случаев, когда для расширения возможностей навигации используется объект History API.
Чаще применяйте инструмент «Сканер Google для сайтов», доступный в Search Console. Он позволит вам лучше понять, какими видят страницы сайта алгоритмы поискового робота Googlebot. Имейте в виду инструмент не поддерживает URL-ы, содержащие символы «#!» или «#».
Убедитесь в том, что все запрашиваемые ресурсы, включая файлы javascript, фреймворки, ответы сервера, сторонние API и т.д., не закрыты в файле robots.txt. «Сканер Google для сайтов» покажет вам список ресурсов, закрытых от индексации. Если они были закрыты в файле robots.txt (это часто происходит со сторонними API) или временно недоступны по другим причинам, важно дополнительно убедиться в том, что код работает страницы исполняется корректно.
Google поддерживает использование javascript для создания тайтлов, метаописаний и мета-тегов robots, структурированных данных, и других видов мета-данных. Во всех случаях использования формата AMP страница AMP HTML должна быть статической. В то же время, при создании веб-страниц допустимо использовать элементы JS/PWA. Не забывайте создавать файлы sitemap с применением тега тег — это укажет поисковому роботу, что на сайте производились изменения.
Робот Яндекса может проиндексировать AJAX-сайт, если у каждой страницы сайта есть HTML-версия.
Обычно, чтобы указать роботу предпочитаемую для использования в результатах поиска версию, нужно добавить в HTML-код страницы, которая не должна участвовать в поиске, ссылку на нужную страницу с атрибутом rel=»canonical». Этот атрибут может помешать роботу корректно проиндексировать HTML-версию AJAX-страницы, поэтому не используйте его для страниц, которые должны участвовать в поиске.
Вы можете сообщить роботу о HTML-версии страницы с помощью:
Не размещайте метатег в HTML-версии страниц сайта — робот не сможет проиндексировать ее.
2) Параметра в адресе страницы
Cсылки, содержащие #!, также можно использовать в карте сайта.
Чтобы робот быстрее узнал о страницах сайта, отправьте на переобход HTML-версии страниц. Когда HTML-страницы появятся в результатах поиска, ссылки будут перенаправлять пользователей на AJAX-страницы сайта.
— лайфхак от Дэвида Кюннена
В январе 2019 года Дэвид Кюннен, специалист из Германии, опубликовал итоги своего тестирования по ускорению индексации сайта на js — «Как добавить 250 тысяч страниц в индексацию Google» («How to get 250k+ pages indexed by Google»). Сайт, о котором речь в статье, был разработан с React App на фронтенде.
Значительного, в несколько раз, увеличения скорости индексирования удалось добиться отключением js для бота.
Поисковик выделяет ограниченное количество ресурсов для индексации конкретного сайта. Несмотря на то, что Google видит все ссылки в начальном HTML, но он все равно отправляет все в свой рендерер, чтобы убедиться, ничего ли не осталось для индексации — из-за наличия в коде JavaScript не понимая, все ли находится в начальном HTML. Сразу же после этих изменений скорость обхода Google увеличилась до 5-10 страниц в секунду.
Итоговая рекомендация от Дэвида Кюннена: Если вы хотите, чтобы Google проиндексировал ваш большой сайт, отдавайте ему сразу финальный HTML, и удалите весь JavaScript (конечно же, за исключением Schema-JS).Подробнее об ускорении js сайтов и о том, не воспримут ли поисковые системы такую отдачу содержимого сайта как манипулирование и подмену информации сайта для поисковиков, относимых к черным методам оптимизации, читайте в нашей статье «Ускорение индексации js сайта».
Оказывается, нет. https://developers.google.com/search/docs/guides/dynamic-rendering В статье Google рекомендует использовать динамическое отображение контента. Оно дает возможность предоставлять некоторым агентам пользователя контент страницы, предварительно обработанный на сервере. Для работы динамического отображения ваш сервер должен распознавать поисковых роботов (например, проверяя агент пользователя). Запросы от роботов передаются средству отображения, а запросы от пользователей обрабатываются обычным образом. При необходимости средство динамического отображения возвращает версию контента, которая может быть обработана роботом, например статическую HTML-страницу.
Динамическое отображение рекомендуется применять для индексируемого контента, который создается пользователями с помощью JavaScript и часто изменяется, а также для контента, в котором есть функции JavaScript, не поддерживаемые нужными роботами. Не все сайты требуют динамического отображения, оно нужно лишь для корректной работы поисковых роботов.
Как и ожидалось, Google индексирует и выводит страницы в поисковой выдаче в несколько раз быстрее Яндекса.
Несмотря на то, что индексация страниц нового сайта производится автоматически, лучше проконтролировать этот процесс для исключения ошибок со стороны поисковиков.
Страницы js сайтов корректно индексируются поисковыми системами независимо от синхронной или асинхронной загрузки.
На индексацию влияют также корректность чпу и их соответствие правилам поисковых систем.
Специалисты APRIORUM всегда помогут вам выполнить грамотную оптимизацию любого сайта с учетом особенностей кода сайта и задач бизнеса.