Amazon lightsail bitnami robots.txt 추가하기

네이버 웹마스터 도구에서 확인한 결과 아래와 같이 robots.txt 가 없다고 나온다. 

Amazonlightsail 의 인스턴스에서 robots.txt 를 추가해 보자. 

콘솔에서 cd /opt/bitnami/apps/wordpress/htdocs 로 이동

nano robots.txt 로 robots.txt 생성

네이버 검색로봇만 접근 가능하게 설정

User-agent: Yeti
Allow: /

모든 검색엔진의 로봇에 대하여 접근 가능하게 설정

User-agent: *
Allow: /

사이트의 루트 페이지만 접근 가능하게 설정

User-agent: *
Disallow: /
Allow: /$

참고: http://www.chrisjmendez.com/2017/04/25/aws-modifying-robots-txt-within-a-bitnami-ec2-instance/