Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cloudflare захлопнула дверь перед частью ИИ-ботов на миллионах сайтов

Cloudflare предложила новые средства защиты сайтов от автоматизированного скачивания их материалов с целью обучения моделей искусственного интеллекта: заблокировав предназначенных для сбора обучающей информации ИИ-ботов, владельцы сайтов могут сохранить их в поисковом индексе.

 Источник изображения: cloudflare.com

Источник изображения: cloudflare.com

До настоящего времени у владельцев сайтов не было выбора: одни и те же веб-боты собирали информацию и для обучения ИИ, и для поисковых систем; сайты, на контенте которых было запрещено обучать ИИ, выпадали из поискового индекса. Стандартных директив в файле «robots.txt» было недостаточно, потому что они не позволяли идентифицировать ботов, да и сами директивы носят рекомендательный характер. В Cloudflare пытались решить проблему на уровне сети, идентифицируя ботов и при необходимости блокируя их, что тоже представлялось слишком радикальной мерой. Поэтому в компании вступили в прямые переговоры с операторами веб-ботов, чтобы те просто перестали ставить владельцев сайтов перед таким выбором.

Чтобы помочь владельцам сайтов ориентироваться в вопросах прозрачности, в Cloudflare ввели маркировку Accountable («Ответственный»). Для получения этого статуса оператор бота должен обеспечить владельцам сайтов возможность отказываться от обучения ИИ на материалах ресурса, реализовать механизм отказа от попадания материалов сайта в поисковые сводки, а также обеспечить прозрачность на уровне URL — возможность видеть, какие страницы сайта доступны для обучения ИИ, и как контент отображается в результатах поиска. Apple, Google и Microsoft согласились соответствовать критериям статуса Accountable — некоторые функции уже реализованы, а некоторые остаются в разработке.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Cloudflare классифицирует ботов по типу поведения. Они разделяются на поисковых, которые используются для формирования индекса, применяемых для обучения ИИ, третьей категорией являются ИИ-агенты. Четвёртая категория — боты смешанного типа, которые используются как для индексирования сайтов, так и для обучения ИИ, создавая непростую дилемму. В настройках Cloudflare теперь можно выбрать опцию «Disallow AI Training», адресованную ботам операторов со статусом Accountable — при наличии этой директивы они обязуются использовать их только для поиска, но не для обучения ИИ. Остальные опции остались прежними: ботам можно открыть сайт полностью, полностью его закрыть, или заблокировать ботам только доступ к рекламным страницам. Особое место занимают пользовательские ИИ-агенты, которые тоже могут скачивать материалы сайта, но делать это не в массовом порядке, поэтому отдельного запрета для них пока не предусмотрено, потому что единый стандарт отсутствует.

В дальнейшем Cloudflare намерена более подробно проработать вопрос ИИ-сводок в поисковой выдаче — это непростой вопрос. Более половины пользователей читают ИИ-сводки в поисковой выдаче, и вероятность того, что на этом их поиск завершится, возрастает на 40 %. С другой стороны, конверсия от пользователей, которые пришли по ссылкам из ИИ-сводок, оказывается в 3–5 выше, чем у тех, кто пришёл из обычной выдачи. Для новостного сайта, который существует за счёт рекламы, важно поднимать число посетителей; а интернет-магазин может обойтись и более скромной посещаемостью, если число заказов повысится. Поэтому возможность отказа от попадания в ИИ-сводки — не конечная цель. Владельцы сайтов должны понимать, как этот инструмент влияет на их бизнес, и располагать средствами контролировать объём используемого контента.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Разработчики космического боевика Exodus в духе Mass Effect впервые показали женскую версию главного героя, и игроки в восторге 35 мин.
Meta запустила Direct — мессенджер Instagram без самого Instagram 40 мин.
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 2 ч.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 3 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 4 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 4 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 6 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 7 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 7 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 8 ч.
Дженсен Хуанг заявил, что для него «будет честью» вернуться на должность главы Nvidia 31 мин.
Хакерский карманный Linux-компьютер Flipper One стал доступен для заказа за $399 35 мин.
Ровер NASA Perseverance обнаружил на Марсе «призрачные» камни — на Земле такие прячут следы древней микробной жизни 37 мин.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 2 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 4 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 4 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 4 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 4 ч.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 4 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 5 ч.