메타 로봇을 사례로 짚어 보기

사례지 머리의 항목의 뜻

메타 로봇은 작성하는 쪽에 따라 Meta Robots, X-Robots-Tag 헤더 라는 표기로도 나온다.¹ 기록 분류로는 테크니컬 SEO 용어 갈래에 속한다.² 문서 하나를 두고 색인 여부, 링크 추적, 미리보기 글 표시 방식 등을 검색엔진에 지시하는 수단이다.

사례가 생긴 연원

홈페이지상위노출을 기준으로 사례를 갈라 볼 때 이 항목이 사례 대상이 된 과정은 이렇다. 사이트 전체 규칙만으로는 페이지마다 다른 사정을 담을 수 없어, 문서 단위로 세밀하게 지시할 방법이 필요해졌다.

예시용 사이트

원인이 결과로 이어지는 모습을 보기 위해 이 항목을 두고 가정한 장면 하나를 옮겨 둔다. 예를 들어 사내 자료 PDF를 결과에서 빼야 한다면 파일에는 태그를 넣을 자리가 없으니 서버 설정으로 헤더를 붙이는 방식을 쓴다.

결과를 낳은 과정

사례의 앞뒤를 이어 보면 구조는 이렇게 풀린다. HTML 머리 영역의 태그나 HTTP 응답 헤더에 지시어를 적으면, 봇이 문서를 받아 읽는 순간 그 지시를 적용한다.

기록에 남은 오류 유형

감점이 몰린 칸을 떼어 보면 메타 로봇과 이어진 위험은 이렇다. 서로 어긋나는 지시어를 함께 적으면 보수적인 쪽이 적용되기 쉽고, 수집이 막힌 경로에서는 지시가 전달되지 못한다.

측정에 쓰는 요령

여러 칸을 한꺼번에 채우는 진단은 웹상위노출진단 항목이 맡는 범위다.³ 소스에서 태그 값을 읽고, 이미지나 PDF처럼 머리 영역이 없는 파일은 요청 도구로 응답 헤더를 받아 지시어가 실려 나가는지 본다.

소견을 받고 한 처리

기록에 적힌 뒤처리를 펴 보면 정리되는 할 일은 아래와 같다. 색인 정책을 템플릿별로 표로 정리한 뒤 대표 페이지 몇 개의 소스와 응답 헤더를 함께 떠서, 표와 다른 지시가 붙은 곳을 찾아 고친다.

사례와 헷갈리는 항목과 가르는 자리

고치는 방법이 비슷해 보여서 메타 로봇과 가려낼 항목 하나를 적어 둔다. 캐노니컬 태그와 목적이 다르다. 한쪽은 대표 주소를 알리는 안내이고 이 수단은 색인과 표시 방식을 지시한다.

과장된 설명

작성 시점이 오래된 자료에서 이 항목에 대해 자주 틀리는 부분은 아래와 같다. 태그 형태만 있다고 아는 경우가 많으나 응답 헤더로도 같은 지시를 보낼 수 있어, 파일 종류에 상관없이 적용할 수 있다.

요지만 남긴 갈무리

홈페이지상위노출을 놓고 정리하는 조치 목록 옆에 이 항목을 간단히 적어 둔다면 아래와 같다. 문서 하나하나에 붙이는 검색엔진용 행동 지침이며 태그와 헤더 두 경로로 전달된다.

이어 볼 개념

이 칸 다음에 넘겨 볼 표제어로 노팔로우와 robots.txt가 색인에 올라앉아 있다. 더 들춰 볼 표제어로는 캐노니컬 태그와 노인덱스 칸도 같은 묶음에 들어 있다. 노인덱스와 노팔로우는 여기에 적는 대표적인 지시어이며, 사이트 전체를 다루는 robots.txt와 역할이 나뉜다.