클라우드플레어, AI 에이전트별로 사이트 접근 따로 정한다

클라우드플레어(Cloudflare)가 11월 4일 개인용 AI 에이전트의 방문 분석과 지원 대상별 접근 설정을 선보였습니다. 사이트 운영자는 에이전트가 어떤 페이지를 찾고 어디서 오류를 겪는지 살펴본 뒤, 접근을 허용하거나 제한할 수 있습니다.

자동 방문 중 고객을 대신한 요청을 살핀다

개인용 AI 에이전트는 사용자의 지시에 따라 상품을 비교하거나 지원 문서를 찾고, 구매를 진행하기도 합니다. 사이트에서는 이런 방문도 자동화 트래픽으로 나타나므로, 일괄 차단하면 실제 고객의 접근까지 막을 수 있습니다.

Security Analytics의 Bot Analysis 차트에는 ‘Personal Assistants’ 범주가 추가됐습니다. 이 범주를 선택하면 개인용 에이전트의 요청이 시간에 따라 어떻게 달라지는지 따로 볼 수 있습니다.

Top statistics의 ‘Personal Assistants’ 위젯은 에이전트별 요청 수를 보여줍니다. 하나를 선택하면 다른 위젯에도 해당 에이전트의 요청 경로, HTTP 상태 코드, 접속 네트워크가 표시됩니다. 로그인·상품·결제 페이지 중 어디를 찾고 어디서 오류가 나는지 살필 수 있죠.

광고 페이지는 막고, 특정 에이전트는 허용

Security Settings의 기존 설정 이름은 ‘AI Crawler and Agent access policies’로 바뀝니다. 전체 Agents 정책을 정한 뒤, 지원 대상 개인용 에이전트마다 다른 정책을 지정할 수 있습니다.

선택지는 ‘Allow (do not block)’(차단하지 않음), ‘Block on pages with ads’(광고가 있는 페이지에서 차단), ‘Block’(차단)입니다. 예를 들어 전체 Agents 정책은 광고 페이지 차단으로 두고, 지원 대상 중 특정 에이전트만 허용하는 식입니다.

기존 Search와 Training 정책은 그대로 유지됩니다. 개인용 에이전트의 접근을 허용하는 것과 AI 학습용 크롤러의 접근을 허용하는 것은 별도 설정입니다.

계정별 에이전트 보기는 얼리 액세스 기능

계정과 연결된 에이전트 정보는 현재 얼리 액세스인 Account Abuse Protection을 사용하는 사이트에서 볼 수 있습니다. 로그인·가입 이벤트에는 개인용 에이전트가 보낸 요청인지와 어떤 에이전트인지가 표시되고, 계정 화면에서는 해당 계정에서 활동하는 에이전트를 살필 수 있습니다.

분석 담당자는 익숙한 에이전트인지 처음 나타난 에이전트인지 살피며 수상한 로그인을 조사할 수 있습니다. 의심 계정에는 Hashed User ID를 기준으로 WAF 규칙을 적용할 수 있어, 같은 에이전트를 쓰는 다른 이용자까지 일괄 차단하지 않아도 됩니다.

기존 고객인지, 어떤 작업을 허용했는지, 구독 중인지 같은 사용자 맥락을 에이전트가 사이트에 전달하는 것은 향후 목표입니다. 클라우드플레어는 이를 위해 개인정보를 고려한 전달 방식과 평판 평가, 문제 발생 시 책임을 명확히 할 체계가 필요하다고 설명했습니다.