Robots.txt 파일 설정

Status

To Do

Define

크롤링 허용/비허용 페이지를 명확히 설정.

작업 내용

•

중요하지 않은 페이지나 민감한 데이터를 포함한 페이지 차단.

•

Disallow 및 Allow 규칙을 사용하여 검색 엔진 크롤링 최적화.

•

Robots.txt Validator를 사용해 파일 유효성 검사.