사이트를 정성껏 만들어 띄웠는데, 정작 검색창에 회사 이름을 쳐도 우리 페이지가 보이지 않는다. 디자인이 부족해서가 아니다. 검색엔진의 로봇이 우리 사이트를 아직 제대로 읽지 못했기 때문이다. 검색 노출의 출발선은 화려한 콘텐츠가 아니라, 로봇에게 길을 안내하는 두 개의 작은 파일에서 시작된다.
1. robots.txt — 검색 로봇에게 건네는 한 장의 출입 안내문
robots.txt는 사이트 최상위 주소(example.com/robots.txt)에 놓이는 짧은 텍스트 파일이다. 검색 로봇이 사이트에 들어오면 가장 먼저 이 파일을 읽고 어디까지 둘러봐도 되는지를 확인한다.
- Allow와 Disallow: 공개할 영역과 막을 영역(관리자 페이지, 장바구니 등)을 명확히 구분한다.
- 사이트맵 위치 명시: 파일 안에 사이트맵 주소를 한 줄 적어두면 로봇이 곧장 찾아간다.
2. 사이트맵 — 우리 페이지 목록을 직접 손에 쥐여주기
사이트맵(sitemap.xml)은 사이트 안의 모든 페이지 주소를 정리한 목록표다. 로봇이 링크를 일일이 따라다니지 않아도, 이 한 장만 보면 사이트 전체 구조를 한눈에 파악한다.
- 새로 만든 페이지나 내부 링크가 적은 페이지일수록 사이트맵 등록의 효과가 크다.
- 페이지가 늘어날 때마다 자동으로 갱신되게 해두면 따로 손이 가지 않는다.
3. 만들었다고 끝이 아니다 — 서치 콘솔에 직접 제출
파일만 올려두고 손을 놓으면, 로봇이 우리 사이트를 알아서 찾아올 때까지 무작정 기다리게 된다. 구글 서치 콘솔과 네이버 서치어드바이저에 사이트를 등록하고 사이트맵을 제출하면, 검색에 반영되는 속도가 눈에 띄게 빨라진다.
4. 한 줄 실수가 사이트를 통째로 숨긴다
robots.txt는 강력한 만큼 위험하다. 실무에서 가장 자주 마주치는 사고는 이렇다.
- Disallow: / — 단 한 줄로 사이트 전체가 검색에서 사라진다. 개발 중 막아둔 설정을 그대로 운영 사이트에 복사하면 벌어지는 일이다.
- noindex 방치 — 테스트 서버에 걸어둔 색인 차단 태그를 떼지 않은 채 오픈한다.
5. 띄운 뒤에는 색인 현황을 정기적으로 들여다본다
서치 콘솔의 색인(커버리지) 리포트는 몇 개 페이지가 검색에 등록됐고 어디서 막혔는지를 보여준다. 한 달에 한 번만 확인해도 누락이나 오류를 빠르게 잡아낼 수 있다.
robots.txt와 사이트맵은 화면에 드러나지 않지만, 고객이 우리를 검색으로 처음 만나는 길목을 여는 파일이다. CYAN은 작은 회사의 사이트를 만들 때 이 검색 노출의 기본기를 처음부터 함께 챙긴다. 잘 만든 사이트가 검색 결과에서도 제대로 보이도록, 보이지 않는 곳까지 설계하는 것이 우리의 일이다.