Cloudflare недавно запустил бета-версию API веб-поиска через AI Gateway. Доступный через REST API и Cloudflare Workers, он обеспечивает унифицированное ведение журналов, контроль доступа и выставление счетов, а также поддерживает ключи собственного поставщика.
API позволяет агентам ИИ получать живые веб-результаты с Ceramic.ai, Exa и Linkup. Он обеспечивает унифицированный интерфейс, интегрирует выставление счетов за поиск с AI Gateway, регистрирует поисковые запросы вместе с выводом модели и требует от поставщиков следовать требованиям проверенных ботов и возвращать ссылки на источники.
API веб-поиска Cloudflare позволяет приложениям искусственного интеллекта получать текущий веб-контент, включая последние новости, изменения API и техническую документацию, а также предоставлять результаты в качестве контекста языковым моделям во время вывода. Мишель Чен, менеджер группы продуктов Cloudflare, Сэм Элс, старший директор Cloudflare, и Габриэль Массадас, старший системный инженер Cloudflare, объясняют проблему, которую пытается решить компания:
Когда вы используете агент и ему необходимо получить действующую веб-страницу, агент обычно просто угадывает URL-адрес страницы, а затем вызывает инструмент для ее свертывания. Вот почему иногда вы можете видеть, что веб-запросы возвращаются с ошибкой 404 Not Found, что происходит, если агент неправильно угадывает URL-адрес этой информации. Как вы понимаете, постоянно угадывать URL-адреса случайным образом не очень эффективно.
Приложения и внешние службы могут получать доступ к веб-поиску через конечную точку REST, предоставив токен аутентификации AI Gateway и указав поставщика поиска в полезных данных запроса, при этом конечная точка возвращает результаты поиска. Чен, Эльза и Массадас добавляют:
Сканер, используемый поставщиком веб-поиска, должен соответствовать публично заявленным требованиям Cloudflare для «Проверенных ботов», как определено в нашей документации для разработчиков, а ответы веб-поиска должны включать ссылку на расположение просканированного контента. Эти правила положительно влияют на справедливость в Интернете и позволяют создателям решать, что они хотят делать со своими данными.
В популярной теме Hacker News сообщество обсуждает качество поиска, ограничения на хранение данных и дает ли единый API существенные преимущества перед существующими альтернативами. Саймон Уиллисон пишет:
Мой вопрос номер один об API поиска всегда заключается в том, позволяют ли они хранить и повторно распространять результаты, полученные от них. Если я использую систему агентов, но мне не разрешено хранить ответы или предоставлять кнопку «Поделиться расшифровкой» — это довольно существенное ограничение. Ответ на этот вопрос неизбежно скрыт глубоко в терминах.
Максимилиан Гойссер, технический директор и соучредитель Erato Labs, отмечает:
Я думаю, что Cloudflare (для компаний, уже использующих его) приближается к статусу доверенного основного поставщика облака (которым обычно является AWS, GCP, Azure), через которого выставляется счет за большую часть затрат на облако (поэтому вам не нужно проходить новый процесс закупок).
Cloudflare заявляет, что определит поставщиков, поддерживающих нулевое сохранение данных, и предлагает поиск по прайс-листам поставщиков без дополнительной наценки. Компания планирует добавить в AI Gateway собственные серверные инструменты, начиная с веб-поиска. До тех пор разработчики могут интегрировать веб-поиск в свои рабочие процессы с помощью Cloudflare Workers.
