AI 봇이 서버를 과부하시키고 있다 — 웹사이트 운영자가 그 비용을 계속 부담해야 하는가?

Search Engine Journal이 Kinsta의 데이터 기반 보고서를 인용하며, AI 봇 트래픽이 웹사이트 인프라와 비즈니스 지표에 미치는 영향을 분석한 기사를 게시했다. 핵심 논점은 “어떤 봇을, 사이트의 어떤 부분에, 어떤 조건으로 허용할 것인가”라는 의사결정 프레임이다.

무엇이 새로운가

기사에 따르면 AI 봇 트래픽은 지난 1년간 300% 증가했으며, 2025년 말 기준 TollBit 네트워크에서 약 31번의 방문 중 1번이 AI 봇에서 발생했다. AI 크롤링 활동의 약 80%가 모델 훈련 목적이라는 수치도 언급된다. 문제는 단순 콘텐츠 수집이 아니다. Meta의 meta-externalagent 크롤러가 URL 변형을 며칠간 반복 요청하다 비로소 차단된 사례처럼, 봇이 장바구니·체크아웃·내부 검색 등 캐싱을 우회하는 동적 엔드포인트를 반복 호출하면서 PHP 실행, DB 쿼리, 세션 처리 같은 고비용 로직을 대량으로 트리거하는 것이 실질적 피해다. Cloudflare의 David Belson은 “어제까지 뭘 하는지도 몰랐던 사람이 오늘 바이브 코딩으로 봇을 만들어 풀어놓고, robots.txt조차 확인하지 않는다”고 지적했다.

설정 파일에 어떤 의미인가

이 기사는 특정 개발 도구의 설정 변경을 다루지 않으므로, 빌드나 런타임 설정 파일에 직접적으로 적용할 항목은 없다. 다만 인프라 설정 관점에서 시사점이 있다. robots.txt는 여전히 첫 번째 방어선이지만, 기사에서 지적하듯 많은 봇이 이를 무시한다. 따라서 웹 서버(Nginx, Apache) 설정이나 CDN(Cloudflare 등) 레벨에서 User-Agent 기반 rate limiting, 동적 경로에 대한 접근 제한, 특정 크롤러별 차등 정책 등을 설정 파일로 관리하는 것이 점점 중요해진다. 검색 엔진 크롤러와 AI 훈련 크롤러를 분리해 서로 다른 접근 정책을 적용하라는 보고서의 권고는, 단일 robots.txt 정책으로는 한계가 있다는 뜻이기도 하다. 구체적인 설정 예시나 마이그레이션 경로는 원문과 Kinsta 보고서에서도 자세히 다루지 않았으므로, 향후 실질적인 설정 가이드가 나오면 별도로 정리하겠다.

다음 단계 제안

우선 자사 서버 로그나 CDN 분석에서 봇 트래픽 비중과 패턴을 파악하는 것이 첫 번째 단계다. 특히 장바구니, 필터 파라미터가 많은 상품 목록, 내부 검색 등 고비용 엔드포인트에 봇 요청이 집중되는지 확인하라. 그 다음 검색 크롤러와 AI 크롤러를 구분해 robots.txt 및 서버 레벨 접근 정책을 분리 적용하는 것을 검토할 수 있다. 트래픽 지표가 실제 비즈니스 성과와 괴리를 보인다면, 브랜드 검색 수요·직접 트래픽·전환율 등 봇 영향이 적은 지표를 병행 모니터링하는 것이 현실적이다.

---

원문 전체 보기: AI Bots Keep Overloading Servers. Should Website Owners Keep Paying? (Search Engine Journal)