«Яндекс» создал хитрый протокол для «ускорения» интернета

«Яндекс» создал хитрый протокол для «ускорения» интернета. Ему помогал Microsoft​


Microsoft и «Яндекс» создали протокол IndexNow для самостоятельного оповещения веб-мастерами поисковых систем об изменениях на сайте. Это позволяет не ждать, пока сайт посетит робот-краулер, и моментально отразить все нововведения в поисковой выдаче. IndexNow работает исключительно в Bing и поиске «Яндекса», другие поисковые системы не поддерживаются.

«Ускоритель» интернета​

Интернет-гигант «Яндекс» совместно с корпорацией Microsoft разработал новый протокол IndexNow для мгновенного информирования поисковых систем об изменениях на сайте. Информацию о нем редакция CNews обнаружила в «Яндекс.справке». Протокол позволяет вручную оповещать поисковики о создании новых страниц, удалении старых, добавлении или изменении контента и т. д. С помощью IndexNow можно напрямую уведомлять поисковики о любых об изменениях на сайте, не дожидаясь очередного обхода индексирующим роботом.

«IndexNow – это инициатива, направленная на повышение эффективности работы интернета. Сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковикам определять приоритеты сканирования для этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, был ли контент изменен. В будущем поисковые системы намерены ограничить сканирование веб-сайтов, использующих IndexNow», – говорится на сайте Microsoft.

innow600.jpg
IndexNow - это новейшее изобретение «Яндекса»
Суть IndexNow заключается именно в ускорении предоставления данных об изменениях сайтов поисковым системам. По данным «Яндекса», без него процесс обнаружения поисковиками изменений на сайте может занимать довольно много времени – от нескольких дней до нескольких недель.

Где работает новшество​

Распространение IndexNow началось 18 октября 2021 г. на условиях лицензии Attribution-ShareAlike Creative Commons License. Однако доступен этот протокол далеко не всем поисковикам. Как сообщили CNews представители «Яндекса», протокол работает исключительно в Bing (принадлежит Microsoft) и в поисковой системе самого «Яндекса». Поначалу в компании сообщили, что IndexNow также поддерживается китайским Baidu, но позже добавили, что в этот сервис доступом к нему не располагает. При этом упоминание Baidu на странице «Яндекса» с описанием сервиса присутствует.

innow601.jpg
Вопрос о поддержке IndexNow поисковиком Baidu однозначного ответа пока не имеет
На запрос CNews о сроках запуска поддержки IndexNow другими поисковиками представители «Яндекса» на момент публикации материала ответить не смогли.

Отметим, что на сентябрь 2021 г. «Яндекс» был вторым по популярности поисковиком в мире с долей 41,69%. Его опережал только Google (56,07%, статистика StatCounter). Bing находился на четвертой строчке с крошечной долей 0,42%.

Также инициативу по внедрению IndexNow поддержала компания CloudFlare, предоставляющая услуги сети доставки содержимого (Content Delivery Network, CDN), защиту от DDoS-атак, безопасный доступ к ресурсам и серверы доменных имен (DNS). Поддержка нового протокола реализована в составе запущенного летом 2021 г. проекта Crawler Hints («подсказки для краулеров»). Это отдельный сервис, повышающий эффективность работы трафика, поступающего от веб-краулеров и ботов.

Как пользоваться протоколом​

Протокол IndexNow запущен в версии 1.0. Перед началом его использования владелец сайта должен сгенерировать и разместить в каталоге сайта специальный ключ для верификации пользователя.

Поисковые системы будут проверять ключ при каждом использовании протокола IndexNow. Размещать его рекомендуется в корневом каталоге сайта. К тому же, если на сайте есть поддомены, то для каждого из них нужно создать отдельный ключ.

innow602.jpg
Пример ключа верификации

Выполнив это требование, владельцы веб-сайтов могут начать отправлять в Bing и «Яндекс» URL-адреса изменившихся или удаленных страниц. Для отправки одного адреса используется метод GET, а если требуется «оптовая» отправка, то нужно использовать метод POST.

Важно отметить, что отправлять через IndexNow нужно исключительно адреса тех страниц, которые получили изменения после запуска поддержки протокола. Если, к примеру, страница обновлялась месяц или год назад, уведомлять поисковики об этом не требуется.

По данным портала MSPowerUser, уведомив об изменениях на сайте одну поисковую систему, поддерживающую IndexNow, веб-мастер автоматически оповестит и другую. В «Яндексе» эту информацию не подтверждают, но и не опровергают.

CNews
 
Сверху Снизу