목록크롤러 (1)

BEER&DEV

<Next.JS 14 - SEO> SSR 웹 애플리케이션과 웹 크롤러 로봇

"내 블로그가 어떻게 구글에 노출이 되는 거지?" 로봇이 웹사이트를 크롤링할 때 어떤 부분을 허용하고 어떤 부분을 차단할지를 결정하는 중요한 파일이 있습니다. 그 파일은 바로 "robots.txt"입니다. 이 파일은 웹사이트의 루트 디렉터리에 위치하며, 검색 엔진 로봇에게 특정 지침을 제공합니다. "robots.txt" 파일은 특정 로봇에 대한 지시를 설정하는 데 사용됩니다. 아래처럼 크게 두 가지로 나눠 볼 수 있습니다. "User-agent" 부분에서는 어떤 로봇에게 적용할지를 지정하고, "*"는 모든 로봇을 의미합니다. "Disallow"는 크롤링에서 제외할 디렉터리나 파일을 지정하며, "Allow"는 허용하는 부분을 나타냅니다. 예를 들어, "Disallow: /private/"는 "/privat..
생활/블로그 2024. 1. 8. 14:58
이전 Prev 1 Next 다음