robots.txt 뜻과 헷갈리는 말

표제어 머리의 정의

robots.txt는 기록 서식에서는 Robots Exclusion Protocol, 로봇 배제 규약 라는 이름표로도 쓰인다.¹ 용어 분류로는 테크니컬 SEO 용어 칸에 들어간다.² 웹 서버 최상단에 두는 작은 텍스트 파일로, 수집 봇마다 들어와도 되는 경로와 들어오면 안 되는 경로를 적어 알린다.

이름이 붙은 경위

웹상위노출을 기준으로 말뜻을 맞춰 둘 때 robots.txt가 한 낱말로 굳은 경위는 이렇다. 초기 웹에서 수집 봇이 서버 자원을 과하게 끌어다 쓰는 일이 잦아, 운영자와 검색엔진이 서로 지킬 간단한 약속으로 자리 잡은 규약이다.

구분해 둘 말과의 사이의 금

쓰는 자리가 겹쳐 보여서 이 말과 헷갈리는 낱말 하나를 짚어 둔다. 메타 로봇과 견주면 적용 범위가 갈린다. 한쪽은 문서 하나에 붙는 지시이고 이 파일은 경로 묶음 단위로 서버 전체에 걸쳐 작동한다.

낱말 뒤의 기본 흐름

용어가 담은 흐름을 펼치면 원리는 이렇게 추려진다. 봇은 사이트를 긁기 전에 루트 경로의 이 파일을 먼저 읽고, 자기 이름이나 전체 봇을 가리키는 규칙 묶음을 찾아 허용과 차단 줄을 해석한다.

조사에 쓰는 절차

사이트 전체를 훑는 진단은 웹상위노출진단 쪽에서 이어진다.³ 브라우저 주소창에 도메인 뒤 파일 이름을 붙여 열어 보고, 서치 콘솔 설정 화면에서 구글이 마지막으로 읽어 간 내용과 응답 상태를 함께 본다.

용어를 맞출 때의 작업 내용

용어를 작업 지시로 바꿔 적으면 이어지는 조치는 아래와 같다. 배포 뒤 파일을 직접 열어 차단 줄 목록을 점검하고, 검색에 나와야 하는 분류 경로가 막혀 있으면 그 줄을 지운 다음 서치 콘솔에서 다시 읽히게 한다.

지적이 잦은 사고 유형

여러 기록에서 겹치는 대목을 추리면 이 말을 쓰다 겹치는 실수는 다음과 같다. 차단 규칙은 수집만 막기 때문에 이미 색인된 주소는 그대로 남을 수 있고, 차단된 경로에 걸어 둔 색인 제외 지시는 읽히지 못한다.

단순화한 경우

설명에 구체적인 모습을 붙이기 위해 이 말을 놓고 가정한 조건 하나를 들어 본다. 가령 개발 중에 전체 차단 줄을 넣어 두고 공개 뒤 지우지 않으면, 새 사이트가 몇 주 동안 검색 결과에서 거의 보이지 않는 사고가 난다.

바로잡을 오해 정리

질문 게시판의 답변 중에 robots.txt에 대한 착각은 다음과 같다. 비밀 경로를 적어 두면 숨겨진다고 여기기 쉽지만, 이 파일은 누구나 열어 볼 수 있어 오히려 감추려던 주소를 드러내는 셈이다.

끝에 적는 정리

웹상위노출을 목표로 삼은 사이트의 인계 문서에 robots.txt를 간추려 넣는다면 다음과 같다. 봇에게 어디까지 들어와도 되는지 알려 주는 출입 안내문이며, 색인 여부를 정하는 장치와는 역할이 다르다.

이어 볼 문서

이 칸 다음에 넘겨 볼 표제어로 메타 로봇과 노인덱스가 옆에 놓여 있다. 한 칸 더 내려간 자리에는 사이트맵과 llms.txt 표제어도 나란히 서 있다. 노인덱스가 색인 단계를 다루는 지시라면 이 파일은 그보다 앞선 수집 단계를 다루며, 사이트맵 위치를 적어 두는 자리로도 쓰인다.