“백링크를 넣었는데 순위가 안 오릅니다”라는 상담을 받으면 저희가 가장 먼저 확인하는 것은 순위가 아닙니다. 그 페이지가 애초에 구글에 등록되어 있는지를 봅니다. 상당수의 경우 문제는 순위 경쟁에서 밀린 것이 아니라, 아직 경기장에 들어가지도 못한 상태입니다. 순위는 검색이 작동하는 세 단계 중 마지막 단계에서만 결정되는데, 앞의 두 단계에서 걸러진 페이지는 순위표에 이름조차 오르지 않습니다.
세 단계, 그리고 어느 것도 보장되지 않는다
구글이 공개한 검색의 작동 원리 문서는 검색을 크롤링, 색인 생성, 검색 결과 게재라는 세 단계로 설명합니다. 이 문서에서 가장 중요한 문장은 단계 설명이 아니라 마지막의 단서 조항입니다. 구글은 사이트가 자사의 기본 요건을 모두 지키더라도 “페이지를 크롤링하거나 색인을 생성하거나 게재할 것을 보장하지 않는다”고 명시합니다. 모든 페이지가 세 단계를 다 통과하는 것이 아니라는 뜻입니다.
이 전제를 받아들이면 SEO 진단의 순서가 자연스럽게 정해집니다. 3단계의 결과인 순위를 먼저 볼 것이 아니라, 1단계부터 차례로 어디서 멈췄는지 확인해야 합니다.
1단계 크롤링: 발견되지 않으면 시작도 못 한다
크롤링은 구글봇이라는 자동화 프로그램이 페이지의 텍스트·이미지·동영상을 내려받는 과정입니다. 그 앞에 발견이라는 관문이 있습니다. 구글이 URL을 알아내는 경로는 크게 셋입니다. 이미 방문한 적 있는 페이지를 다시 찾아가거나, 이미 알고 있는 페이지에서 링크를 추출해 새 URL을 얻거나, 사이트 소유자가 제출한 사이트맵을 읽는 것입니다.
두 번째 경로를 눈여겨볼 필요가 있습니다. 이미 구글이 알고 있는 페이지에 걸린 링크가 새 페이지를 발견하는 통로가 된다는 것 — 이것이 백링크의 첫 번째 기능입니다. 순위를 올리는 신호이기 이전에, 검색엔진이 내 페이지의 존재를 알게 되는 경로입니다. 아직 아무도 링크하지 않았고 사이트맵도 없는 페이지는 구글 입장에서 존재하지 않는 페이지와 같습니다.
크롤이 막히는 이유도 구글 문서가 명시하고 있습니다. robots.txt 규칙에 의한 차단, 서버가 요청을 제대로 처리하지 못하는 문제, 네트워크 이슈, 그리고 로그인해야만 볼 수 있는 페이지입니다. 마지막 항목은 특히 실무에서 자주 놓칩니다. 회원만 볼 수 있는 콘텐츠는 아무리 좋아도 검색 자산이 되지 않습니다.
세 번째 경로인 사이트맵도 오해가 많습니다. 사이트맵은 “여기 이런 URL들이 있습니다”라고 알려주는 발견 보조 수단이지, 색인을 요청하는 신청서가 아닙니다. 사이트맵에 넣었다고 크롤이 보장되지 않고, 크롤되었다고 색인이 보장되지도 않습니다. 그럼에도 제출할 가치는 분명합니다. 내부 링크가 닿지 않는 페이지나 새로 만든 섹션처럼 링크만으로는 발견되기 어려운 URL을 알리는 가장 확실한 통로이기 때문입니다. 발견의 세 경로 중 둘은 구글이 주도하고, 사이트맵만이 사이트 소유자가 직접 쥔 수단입니다.
2단계 색인: 내려받았다고 등록되는 것은 아니다
크롤이 끝나면 구글은 그 페이지가 무엇에 관한 내용인지 분석합니다. 본문 텍스트뿐 아니라 제목 요소, 이미지의 대체 텍스트 같은 핵심 태그를 함께 처리합니다. 이 단계에서 같이 일어나는 일이 중복 판정입니다. 내용이 비슷한 페이지들을 하나로 묶고 그중 가장 대표성 있는 URL을 고릅니다. 언어, 국가, 페이지 사용성에 관한 신호도 이때 수집되어 다음 단계로 넘어갑니다.
그리고 여기서도 탈락이 있습니다. 구글은 “색인 생성은 보장되지 않으며, 구글이 처리하는 모든 페이지의 색인이 생성되는 것은 아니다”라고 못 박습니다. 실패 원인으로 제시된 것은 낮은 콘텐츠 품질, 색인을 허용하지 않는 로봇 메타 규칙, 그리고 색인을 어렵게 만드는 사이트 설계입니다.
3단계 서빙: 색인에 있어도 보이지 않을 수 있다
마지막 단계에서 비로소 순위가 매겨집니다. 구글은 관련성이 “수백 가지 요인”으로 결정된다고 설명하며, 사용자의 위치와 언어, 사용 기기까지 고려한다고 밝힙니다. 같은 키워드라도 질의의 성격에 따라 결과의 형태 자체가 달라집니다. 자전거 수리점을 찾는 검색에는 지역 결과가, 자전거 디자인을 찾는 검색에는 이미지가 앞으로 나옵니다.
백링크는 세 단계에 걸쳐 작동합니다
백링크를 순위 신호로만 이해하면 절반만 본 것입니다. 1단계에서는 페이지를 발견시키는 통로이고, 2단계에서는 어떤 URL이 대표로 선정될지에 영향을 주는 신호이며, 3단계에서 비로소 순위 요인으로 계산됩니다. 링크를 넣었는데 변화가 없다면, 3단계의 경쟁에서 밀린 것인지 1·2단계에서 멈춘 것인지부터 갈라야 합니다. 저희가 링크 작업에 앞서 색인 상태를 먼저 확인하는 이유가 이것입니다. 색인되지 않은 페이지에 링크를 붙이는 것은 닫힌 문 앞에 손님을 세워두는 일입니다.