Microsoft Bing и российская поисковая система Яндекс в понедельник объявили о новом протоколе, предназначенном для ускорения поискового обновления веб-сайтов.
Протокол, получивший название IndexNow, использует API, позволяющий веб-сайтам легко уведомлять поисковые системы о создании, обновлении или удалении контента. Как только поисковые системы получают уведомление об обновлениях, они могут быстро сканировать и отражать изменения веб-сайта в своем индексе и результатах поиска.
«Обеспечение своевременной доступности информации для поисковиков имеет решающее значение», — поясняет Microsoft в своем блоге Bing.
«Тем не менее, исторически, — продолжает он, — одной из самых больших проблем для владельцев веб-сайтов было то, что поисковые системы быстро обнаруживали и учитывали их последние изменения на веб-сайтах. На обнаружение и индексирование новых URL-адресов в поисковых системах могут потребоваться дни или даже недели, что приведет к потере потенциального трафика, клиентов и даже продаж ».
Microsoft утверждает, что IndexNow является инициативой как для более эффективного и открытый Интернет.
Он пояснил, что, сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогающий поисковым системам определять приоритеты сканирования этих URL-адресов. Это ограничивает потребность в поисковых обходах для проверки того, изменилось ли содержимое.
Кроме того, поиск открывается, потому что, уведомляя одну поисковую систему, веб-сайт уведомляет все поисковые системы, которые приняли IndexNow.
Содержание статьи
Отсутствие стандартов
«IndexNow — хорошая идея, потому что он упрощает процесс индексирования нового контента», — заметил Грег Стерлинг, вице-президент по анализу рынка компании Uberall, производителя решений для геолокационного маркетинга из Берлина. .
«Это также гарантирует, что новый контент будет проиндексирован быстро — или немедленно», — сказал он TechNewsWorld.
В настоящее время не существует стандарта для обновления поисковых систем, — пояснил Джон Александер, вице-президент по управлению продуктами Akamai Technologies, поставщика сетевых услуг доставки контента в Кембридже, штат Массачусетс.
«Тысячи различных поисковых роботов пытаются отслеживать изменения на веб-сайтах в Интернете», — пояснил он TechNewsWorld.
«Потому что Akamai служит многим из эти сайты, мы видим это воочию », — продолжил он. «Это огромная работа, которая создает огромную нагрузку на веб-сайты и потребляет огромное количество энергии, что создает дополнительное воздействие на окружающую среду».
«Мы предпочитаем видеть открытый стандарт, который позволяет каждому обновлять поисковые системы таким же образом», — добавил он.
Бесполезные посещения
Поисковые системы много лет сканируют Интернет в поисках информации, но, похоже, это первая крупная инициатива, направленная на повышение эффективности этого процесса.
«Я не могу говорить о мотивах, побудивших Microsoft и Яндекс создать это, но это кажется запоздалым», — сказал Стерлинг.
Александр объяснил, что на некоторых веб-сайтах сканеры составляют половину трафика на сайте, и этот трафик постоянно растет.
«Эту проблему можно было решить в любой момент за последние 20 лет», — сказал он. «Мы, наконец, достигли критического момента, когда масштаб и неэффективность вынуждают найти лучшее решение».
Не только сканеры потребляют пропускную способность на веб-сайтах, но и тратят ее впустую.
Блогеры Cloudflare Абхи Дас и Алекс Кривит отметили в блоге компании, что после изучения того, как часто боты повторно посещают страницы, которые не изменились, они пришли к выводу, что 53% трафика сканера тратится на такие посещения веб-сайтов.
Crawler Hints
Cloudflare — компания, занимающаяся веб-производительностью и безопасностью, из Сан-Франциско. У него есть программа под названием Crawler Hints, чтобы держать поисковые системы в курсе изменений на сайтах своих клиентов.
Поисковые системы используют сложную сеть ботов для сканирования постоянно меняющегося контента в Интернете, чтобы люди могли найти актуальный и своевременный контент, — пояснила компания в пресс-релизе. Сегодня примерно 45 процентов интернет-трафика исходит от веб-сканеров и ботов.
Чтобы помочь повысить эффективность поисковых роботов в Интернете, Cloudflare запустила Crawler Hints — простой способ сообщить разработчикам ботов, когда контент был изменен или добавлен на сайт, чтобы они могли более эффективно выбирать, что ползать.
Более того, продолжалось, владельцы веб-сайтов смогут повысить производительность сайта за счет сокращения ненужного трафика ботов и предоставления своевременного контента, что в конечном итоге поможет улучшить поисковый рейтинг
Теперь Cloudflare использует стандарт IndexNow для добавляет Crawler Hints в основные поисковые системы.
«Быстрый, надежный веб-сайт и своевременные результаты поиска лежат в основе любого растущего бизнеса, будь то стартап или компания из списка Fortune 500», — сказал в пресс-релизе генеральный директор Cloudflare Мэтью Принс.
«С самого начала мы работали, чтобы помочь нашим клиентам обеспечить скорость, надежность и безопасность, необходимые им для ведения бизнеса», — продолжил он. «Сегодня мы делаем еще один шаг вперед, работая с Microsoft и другими крупными поисковыми системами, чтобы помочь любому владельцу веб-сайта снизить неэффективность, а также предоставить своим пользователям надежный, актуальный и своевременный онлайн-опыт».
Преимущества для бизнеса
Интернет-компании должны извлечь выгоду из IndexNow, отметил Стерлинг, потому что изменения товарных запасов и информация о ценах могут быть быстро переданы и проиндексированы поисковыми системами.
«Розничные продавцы смогут быстрее предупреждать поисковые системы о новых продуктах, ценах и описаниях, теперь, когда они сообщают поисковым системам об обновлениях, а не ждут, пока они будут очищены», — добавил Александр. «Это означает, что потенциальным клиентам будет доступна более свежая информация».
Веб-сайты также должны увидеть изменения в лучшую сторону от нового протокола. «Все веб-сайты, которые участвуют, должны получить выгоду, но особенно веб-сайты с чувствительным ко времени содержанием, которое регулярно обновляется или изменяется, например, сайты с событиями и списками вакансий», — сказал Стерлинг.
«Это также дает издателям больший контроль над тем, что индексируется, чем раньше», — отметил он.
Небольшие веб-сайты также могут извлечь выгоду из протокола, потому что их изменения будут регистрироваться быстрее. «С моими небольшими сайтами я могу неделями ждать, пока Google приедет и проверит карту сайта на предмет изменений. Индексирование новых страниц может занять больше месяца », — написал на Reddit Колин Макдермотт, основатель SearchCandy, компании по поисковому маркетингу и связям с блогерами из Манчестера, Великобритания.
Небольшие поисковые системы также могут получить выгоду от IndexNow, потому что сканирование является дорогостоящим и ресурсоемким. «Вместо того, чтобы использовать метод грубой силы и сканировать каждый фрагмент текста на каждом сайте, поисковые системы предупреждаются о том, что нового», — пояснил Александр. «Это заметно более быстрый, эффективный и действенный процесс вывода свежего, релевантного контента».
Google не заинтересован
Однако самая большая поисковая система из всех, однако, не получит никакой выгоды от IndexNow. Google решил не участвовать в этой инициативе.
«Интересно, что Google отказался от участия», — сказал Стерлинг. «Компания может занять выжидательную позицию».
«Она также может полагать, что участие поставит Bing и, возможно, другие движки в более равное положение и уменьшит ее собственное преимущество над конкурентами», — добавил он. .
«Мое предположение — единственная причина, по которой Google не вмешался, потому что они слишком вложили средства в свой собственный API индексирования, которому уже почти 3 года (но он все еще предназначен только для работы с сайтами вакансий и потоковой передачи)», Макдермотт написал.
Google не ответил на наш запрос о комментарии к этой истории.
