#검색_형님
문을 여시오!!!
검색로봇 수집 허용하기
지난주에 형님 블로그에 모바일에서 잘 수집, 노출되는 문서 만들기 가이드에서
모바일 환경에 최적화된 사이트라는 표시를 다는 방법을 알려드렸어요.
운영하는 사이트에 메타태그도 달았는데 검색에서 보이지 않는 다면?!
우선 사이트가 검색에 반영되지 않도록 설정했는지 확인해봐야 합니다,
블로그서비스에서는 검색허용 옵션을 선택해서, 검색 노출을 비허용할 수 있어요,
그런데 사이트들은 글을 작성하는 페이지(CMS라고도 부르죠?!) 가 없는 경우도 있어서
자기도 모르게 대문에 자물쇠가 걸려있는 것은 아닌지 확인해보셔야해요.
검색로봇이 웹을 돌아다니면서 웹페이지를 수집합니다. 검색로봇이 우연하게 수집하기도 하지만,
웹마스터도구 내 신디케이션 처럼 요청을 통해 검색에 반영하는 경우에도, 수집해도 되는지 확인하기 위해 방문을 하게 되어요. 그때 검색 로봇에서 사이트에서 웹페이지들을 수집해도 될지 말지 표시해둘 수 있는데요,
바로 로봇룰(Robot Rule)을 통해서입니다.
이것도 길다 싶으시다면, 아래 딱 두가지만 먼저 확인해보세요!
관리하시는 홈페이지 주소가 blog.naver.com이라면, 주소 뒤에 /robots.txt를 넣어서 확인해보시면 되어요.
blog.naver.com/robots.txt가 되겠죠?!
자 로봇룰을 열어보셨다면, 이제 어떤 내용인지 살펴보아요.
1. 우선 로봇룰에 아래처럼 네이버 검색만 막은 것은 아닌지 확인해보세요
User-agent: Yeti
Disallow: /
User-agent는 검색 로봇 이름인데요, 네이버 검색로봇 이름은 예띠, Yeti에요!
2. Yeti를 막은것이 아니라면, 아래처럼 모든 검색 로봇이 수집해가지 못하도록 막은 것은 아닌지 확인해보아요
User-agent: *
Disallow: /
나도 모르게 위와 같은 로봇룰로 수집을 할 수 없게 막혀있는 경우가 있으니, 내가 직접 셋팅한적이 없다고 하더라도 가장 먼저 확인해보아야해요 :)
그리고 검색 반영하려면 글만 잘 반영하면 된다고 생각하셔서, 홈페이지 모습에 대한 javascript( ~.js 같은 파일), 스타일시트 (~.css 같은 파일)가 있는 곳은 방문 못하게 하는 경우도 있는데요,
모바일에 최적화된 페이지라는걸 검색 로봇이 접근해서 알 수 있도록 해주셔야해요 :) 로봇룰로 막은 것은 아닌지 확인해보아요 :)
수집 로봇이 JavaScript(.js)와 스타일시트(.css) 같은 화면 구성에 필요한 리소스에 접근할 수 있어야 하며, 로봇 배제 룰에 의해 차단되지 않아야 합니다.
|
힘들게 만든 나의 모바일 웹사이트,
네이버 검색로봇이 방문해서 수집할 수 있도록 문을 열어 주세요 :)
