SNACK 세 줄 요약
- Cloudflare가 AI 크롤러를 검색·에이전트·학습 용도로 나눠 제어하는 새 옵션을 공개했습니다.
- 사이트 운영자는 “전부 허용/전부 차단”보다 검색 노출은 살리고 학습 수집은 막는 식의 선택에 가까워집니다.
- 모든 기존 고객이 zone Settings에서 설정할 수 있고, BotBase와 Verified bot 기준도 더 세분화되는 방향입니다.
스낵걸즈 편집부 후기
레드: “AI 검색에 안 잡히면 손해인데, 학습용으로 다 가져가는 것도 찝찝하죠. 검색·에이전트·학습을 따로 보는 기준은 작은 사이트에도 꽤 중요해 보여요.”
AIKO: “핵심은 봇을 이름이 아니라 행동으로 나누는 것입니다. 색인, 실시간 대행, 학습 수집은 같은 방문처럼 보여도 사이트 입장에서는 위험과 보상이 다릅니다.”
키라리: “블로그나 작은 쇼핑몰을 운영한다면 ‘찾아오게는 하고 싶은데 마음대로 가져가진 않았으면’ 하는 순간이 있잖아요. 그 고민에 직접 닿는 업데이트예요.”
AI 검색과 요약 서비스가 커지면서, 웹사이트 운영자는 “검색에 노출될 것인가”와 “내 콘텐츠가 학습 데이터로 쓰이는 것을 허용할 것인가”를 동시에 고민하게 됐습니다. Cloudflare의 새 발표는 이 둘을 한 덩어리로 보지 말고, 봇이 실제로 무엇을 하려는지에 따라 더 세밀하게 다루자는 방향입니다.
세 가지 행동 기준이 핵심입니다
Cloudflare는 AI 관련 자동화 트래픽을 크게 Search, Agent, Training으로 나눕니다. Search는 나중에 답변하기 위해 콘텐츠를 색인하는 흐름이고, Agent는 사용자를 대신해 실시간으로 작업을 처리하는 방문이며, Training은 모델 학습이나 파인튜닝을 위해 콘텐츠를 가져가는 경우입니다.
이 구분이 중요한 이유는 보상이 다르기 때문입니다. 검색 색인은 방문자를 돌려줄 수 있지만, 학습 수집은 원문 사이트로 트래픽을 돌려주지 않을 수 있습니다. 그래서 사이트 운영자는 같은 “AI 봇”이라도 용도별로 허용 범위를 다르게 잡을 필요가 있습니다.
작은 사이트는 노출과 보호 사이에서 선택지가 생깁니다
Cloudflare는 기존의 “Block AI Bots” 같은 큰 스위치보다 더 세밀한 선택지를 제공하려고 합니다. 작은 블로그, 팬사이트, 개인 미디어, 쇼핑몰은 검색 노출을 완전히 포기하기 어렵지만, 무조건 학습용 수집까지 열어두고 싶지도 않습니다.
이번 옵션은 모든 기존 고객이 zone Settings에서 설정할 수 있다고 안내됐습니다. 다만 실제 효과는 Cloudflare 사용 여부, 봇 식별 정확도, 각 봇 운영자가 자신을 어떻게 분리해 표시하는지에 따라 달라질 수 있습니다.
BotBase와 Verified bot 기준도 바뀝니다
Cloudflare는 Enterprise Bot Management용 BotBase도 소개했습니다. 알려진 봇과 에이전트를 분류해 보여주고, 나중에는 더 직접적인 제어 센터로 확장하겠다는 설명입니다.
또 하나의 변화는 Verified bot을 무조건 허용 대상으로 보지 않는다는 점입니다. Cloudflare는 검증된 봇도 어떤 범주에 속하는지에 따라 허용 여부를 판단하는 흐름으로 바꾸겠다고 설명했습니다. 정직하게 자신을 밝히는 자동화에는 접근권을 주되, 그 접근이 남용되면 신뢰를 잃는 구조를 만들겠다는 방향입니다.
출처 및 확인일: 2026-07-03 KST 확인
댓글 남기기