SEO 컨설팅을 받다 보면 크롤 예산(crawl budget)이라는 말을 듣게 됩니다. 구글이 사이트마다 크롤할 수 있는 양이 정해져 있으니 아껴 써야 한다는 이야기입니다. 틀린 설명은 아닙니다. 다만 이 개념을 설명하는 구글 공식 문서가 맨 앞에 붙여둔 단서를 같이 전하는 경우는 드뭅니다. 이 문서는 특정 규모 이상의 사이트를 위한 것이고, 그보다 작은 사이트는 신경 쓸 필요가 없다고 명시되어 있습니다.
구글이 직접 제시한 기준선
대규모 사이트 소유자를 위한 크롤링 예산 관리 가이드는 대상 독자를 숫자로 못 박습니다. 콘텐츠가 어느 정도 자주 바뀌는 100만 페이지 이상의 대규모 사이트, 콘텐츠가 매우 빠르게 바뀌는 1만 페이지 이상의 중간 규모 사이트, 그리고 서치 콘솔에서 “발견됨 – 현재 색인이 생성되지 않음”으로 분류된 URL이 많은 사이트입니다.
세 조건 중 어디에도 해당하지 않는다면, 구글의 설명대로 크롤 예산 최적화는 여러분의 과제가 아닙니다. 게시글 수십 편 규모의 블로그나 페이지 수백 개짜리 기업 사이트에서 크롤 예산을 걱정하는 것은, 성능 병목이 없는 코드를 붙잡고 마이크로 최적화를 하는 것과 비슷합니다.
크롤 예산은 두 가지가 곱해진 결과입니다
그럼에도 개념 자체는 알아둘 가치가 있습니다. 구글은 크롤 예산을 “구글이 크롤할 수 있고 크롤하고자 하는 URL의 집합”으로 정의하며, 두 요소로 나눕니다.
크롤 용량 한도는 구글이 낼 수 있는 속도의 상한입니다. 서버 상태가 기준이 됩니다. 응답이 빠르고 오류가 없으면 한도가 올라가고, 응답이 느려지거나 5xx 오류와 속도 제한 신호가 늘어나면 구글은 스스로 속도를 줄입니다. 구글봇이 사이트를 과부하시키지 않으려 의도적으로 천천히 도는 설계입니다.
크롤 수요는 구글이 얼마나 오고 싶어 하는지입니다. 사이트 규모, 인지된 재고(중복되거나 불필요한 URL이 얼마나 되는지), 콘텐츠의 인기도, 그리고 다시 크롤해야 할 만큼 오래되었는지가 영향을 줍니다.
여기서 백링크가 조용히 개입합니다. 구글이 수요 요인으로 꼽은 “인기도”는 결국 그 URL이 웹에서 얼마나 참조되는지와 무관하지 않습니다. 외부에서 자주 참조되는 페이지는 구글이 더 자주 들여다볼 이유가 생깁니다. 링크가 발견의 통로일 뿐 아니라 재방문의 이유도 된다는 뜻입니다.
예산을 새게 만드는 것들
구글이 낭비 요인으로 명시한 항목들은 규모와 무관하게 알아둘 만합니다. 통합되었어야 할 중복 콘텐츠를 여러 URL로 각각 크롤하게 만드는 것, 소프트 404를 방치하는 것(구글은 이런 페이지도 계속 크롤합니다), 긴 리다이렉트 체인, 그리고 느린 서버 응답입니다.
여기에 자주 오해되는 항목이 하나 있습니다. noindex 태그는 크롤을 막지 못합니다. 구글은 noindex가 붙은 페이지도 그 태그를 읽기 위해 계속 요청합니다. 색인을 막는 것과 크롤을 막는 것은 다른 일입니다. 반대로 robots.txt로 크롤을 차단하면 구글이 페이지에 접근하지 못해 noindex 태그를 읽을 수 없고, 외부 링크만으로 색인이 남는 역효과가 납니다. 색인에서 빼고 싶다면 크롤은 열어둔 채 noindex를 쓰는 것이 맞습니다.
작은 사이트가 대신 봐야 할 것
크롤 예산에 해당하지 않는 규모라면, 같은 에너지를 다른 곳에 쓰는 편이 낫습니다.
첫째, 사이트맵이 실제 도메인을 가리키고 있는지 확인합니다. 개발 환경 주소가 그대로 배포되어 있는 경우가 생각보다 흔합니다. 둘째, 서치 콘솔의 페이지 색인 생성 리포트에서 “검색됨 – 현재 색인이 생성되지 않음”과 “발견됨 – 현재 색인이 생성되지 않음”의 건수를 봅니다. 앞의 것은 크롤은 됐는데 색인이 보류된 상태이고, 뒤의 것은 발견은 됐는데 크롤조차 안 된 상태입니다. 후자가 쌓인다면 그때 비로소 크롤 쪽 문제를 의심할 근거가 생깁니다. 셋째, 서버 응답 속도를 봅니다. 크롤 용량 한도의 직접적인 재료이기도 하지만, 사용자 경험 지표이기도 해서 어느 쪽으로든 손해가 없습니다.
규모에 맞는 문제를 푸는 것
크롤 예산 최적화는 실재하는 기술이지만, 대상이 분명한 기술입니다. 구글이 문서 첫머리에 규모 기준을 적어둔 이유는, 해당되지 않는 사이트가 여기에 시간을 쓰는 일이 실제로 많기 때문일 것입니다. 저희가 진단을 할 때 사이트 규모를 먼저 묻는 것도 같은 이유입니다. 페이지 200개짜리 사이트에 크롤 예산 최적화를 제안하는 대신, 그 규모에서 실제로 성과를 바꾸는 항목부터 짚는 편이 정직합니다.