구글블로그를 운영하려면 기본적으로 세팅해야 하는 사항들이 있다고 하는데요, 특히 수익형 블로그, 즉 블로그를 통해 수익 창출이 목표인 경우에는 검색엔진 최적화 작업이 필수라고 합니다. 그래서 저도 robots.txt 설정 방법에 대해서 알아보고 진행해보았습니다.
그런데, robots.txt가 뭔가요? 왜 해야 하는 것인가요? 의문이 생기기 시작하여 과연 robots.txt가 뭘 하는 것이고 왜 해야 하는 것인지, 어떻게 하는 것 인지에 대해 알아보겠습니다.
1. robots.txt는 무엇?
robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. IETF에서 2022년 9월에 이에 대한 표준화 문서를 발행하였습니다. robots.txt 파일은 항상 사이트의 루트 디렉터리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 합니다. <출처 : 네이버 서치어드바이저 가이드>
즉, 검색엔진 크롤러가 웹사이트에서 접근해야 할 곳과 접근해서는 안 되는 곳을 지정하도록 하는 파일이라는 것입니다.
2. robots.txt 왜 설정 해야 하나?
robots.txt을 설정하는 이유는 과도한 크롤링 방지, 크롤링 최적화, 사이트맵 위치 제공하는 것이 목적이라고 합니다.
과도한 크롤링 방지는 말 그대로 검색엔진 크롤러의 과도한 요청으로 인한 서버 부하를 방지하고, 이를 통해 웹사이트의 성능을 향상시킬 수 있으며, 크롤링 최적화는 검색엔진 크롤러의 일일 요청 수를 효율적으로 활용하여 새로운 콘텐츠를 빠르게 색인하도록 하는 것이며, 사이트맵 위치 제공을 함으로서 웹사이트의 콘텐츠를 검색엔진에서 더 잘 발견하도록 합니다.
따라서, 운영하고자 하는 사이트에 robots.txt 적용을 통해 검색엔진 최적화를 관리하는 것이라고 보면 됩니다.
3. 구글블로그에서 robots.txt를 설정하는 방법
구글블로그에서 robots.txt를 설정하는 방법은 의외로 간단합니다. 다른 사이트에서 처럼 파일을 업로드 하지 않아도 되고, 블로그스팟의 설정 메뉴에서 해당 문구를 넣고 저장해주면 됩니다. 다음은 robots.txt 규칙 예제입니다. 해당 예제 중 설정하고 싶은 예제를 참고하여 설정하면 됩니다.
 |
| <출처 : 네이버 서치어드바이저 : robots.txt 규칙 예제> |
저는 모든 검색엔진의 크롤링을 허용하는 걸로 해서 다음과 같이 설정하였습니다.
- 작성 내용 -
User-agent: *
- 용어 설명 -
- User-agent : 어떤 검색엔진 크롤러를 지정할 것인지 (예: *는 모든 크롤러를 의미)
- Disallow : 크롤링이 제한되는 디렉토리를 지정 (예: /private/)
- Allow : 특정 디렉토리를 크롤링 허용 (예: /public/)
- Sitemap : 검색엔진 로봇이 웹사이트의 사이트맵을 참조할 수 있도록 설정하는 명령어
설정 방법은 아래 메뉴로 이동해서 ‘맞춤 robots.txt 사용 설정’ 스위치를 켜고, 맞춤 robots.txt 내용을 작성해주면 됩니다.
[메뉴이동 : 구글블로그 로그인 → 설정 → 크롤러 및 색인 생성 → 맞춤 robots.txt 사용 설정, 맞춤 robots.txt]
 |
| 블로그스팟 설정 - 크롤러 및 색인 생성 설정 전 화면 |
 |
| 맞춤 robots.txt 사용설정 켜기 |
 |
| 맞춤 robots.txt 내용 입력 하기 |
 |
| 블로그스팟 설정 - 크롤러 및 색인 생성 설정 완료 후 화면 |
robots.txt 파일을 설정하지 않으면 검색엔진 로봇이 모든 페이지를 수집할 수 있으며, 이 경우 민감한 정보가 포함된 페이지가 검색 결과에 노출될 가능성이 있습니다. 또한, 웹사이트의 로딩 시간이 길어지고, 서버의 성능 저하가 발생할 수 있어 robots.txt 파일을 설정하여 웹 사이트의 콘텐츠를 제어하고 데이터를 보호하는 것이 중요하다고 볼 수 있습니다.
즉, robots.txt 파일 설정은 블로그 검색 엔진을 최적화하여 불필요한 서버 부하를 줄이고, 블로그 성능을 향상시키는데 도움을 줄 수 있으니, 설정하는 것이 좋습니다. 그리고 내 블로그 수익화 운영에 도움이 된다고 하고, 설정하는데 크게 어려운 것은 없으니 해보시는 것을 추천합니다.