점검표로 보는 크롤 버짓

진단표 머리의 정의

크롤 버짓은 항목 이름표에 따라 Crawl Budget, 수집 여력 라는 표기로도 나온다.¹ 진단표 분류로는 테크니컬 SEO 용어 묶음에 들어간다.² 검색엔진 봇이 한 사이트를 돌며 일정 기간에 요청할 주소의 분량으로, 서버가 견디는 한계와 검색엔진의 수집 의욕이 함께 작용한다.

진단표에 들어온 흐름

홈페이지상위노출을 놓고 막는 자리를 추릴 때 크롤 버짓이 목록에 남게 된 흐름은 이렇다. 주소가 수십만 개로 늘어난 대형 사이트에서 새 글이 늦게 발견되는 일이 생기자, 수집 자원의 한계를 설명하는 개념으로 쓰이게 됐다.

처리되는 과정

무엇이 무엇을 바꾸는지 세워 보면 이 항목의 진행 순서는 이렇다. 서버 응답이 빠르고 오류가 적으면 요청 속도를 올리고 느려지면 줄이며, 주소의 인기와 갱신 빈도에 따라 다시 찾는 주기를 정한다.

체크 차례

차례를 정해 진행하는 진단은 SEO기술점검 항목이 맡는 범위다.³

• 판정을 내리기 전에 이 항목이 무엇으로 확인되는지 본다. 서치 콘솔 수집 통계에서 하루 요청 수와 평균 응답 시간, 파일 종류별 비중을 보고 서버 로그에서 봇이 실제로 긁은 경로를 센다.

• 결과를 받아 두었으면 일감으로 바꿔 둔다. 서버 로그로 봇 요청이 많은 경로를 순위대로 뽑아, 값이 끝없이 조합되는 주소는 수집을 막고 중요한 분류로 가는 내부 링크를 늘린다.

• 순서를 건너뛰었을 때 재발하는 대목을 적어 둔다. 작은 사이트에서 이 개념을 끌어와 중요한 페이지를 막으면 얻는 것 없이 색인 기회만 잃는다.

옆 칸 항목과 갈라 두는 가려내는 기준

진단이 겹치지 않게 구분해 둘 항목을 밝혀 둔다. 색인 여부와는 다른 층의 이야기다. 이쪽은 봇이 얼마나 가져가는지이고 색인은 가져간 것 가운데 무엇을 결과에 남기는지의 문제다.

가상의 상태

점검 결과가 읽히는 모습을 보기 위해 이 항목을 놓고 가정한 조건 하나를 들어 본다. 가령 필터 조건이 조합될 때마다 새 주소가 생기는 목록 페이지가 있다면, 봇 요청의 대부분이 거의 같은 목록을 반복해 받아 가는 상황이 된다.

확인란을 채우며 만나는 주장

의뢰 자리에서 듣는 설명 가운데 크롤 버짓에 대한 착각은 다음과 같다. 돈처럼 정해진 몫이 배정된다고 생각하기 쉬우나 서버 상태와 수요에 따라 늘고 줄며, 중소 규모 사이트에서는 병목이 아닌 경우가 많다.

맺음 요점

홈페이지상위노출을 두고 꾸리는 목록 머리말에 크롤 버짓을 간단히 적어 둔다면 아래와 같다. 봇의 방문량에는 한계가 있어, 주소가 많은 사이트일수록 그 여력이 어디에 쓰이는지가 중요해진다.

연관 항목 목록

같은 묶음으로 매어 둔 표제어로 리디렉션 체인과 소프트 404가 함께 얹혀 있다. 진단 색인 뒤쪽에는 사이트 구조와 클릭 뎁스 칸도 한데 모여 있다. 리디렉션 체인과 소프트 404가 요청을 낭비하는 전형적인 원인이고, 사이트 구조를 정리하면 수집이 중요한 쪽으로 모인다.