반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
Tags
- java
- 오라클
- oracle
- Layer4
- Layer
- ip 할당
- SQLD
- 함수형
- 자바8
- class
- Packet
- 자격증
- Router
- 자바
- Python
- Mac
- Next
- dhcp
- nextjs
- frame
- Linux
- 네트워크
- 프로그래밍
- next.js
- network
- 포트
- Port
- Layer2
- OSI
- 스위치
Archives
- Today
- Total
목록seo (1)
BEER&DEV
<Next.JS 14 - SEO> SSR 웹 애플리케이션과 웹 크롤러 로봇
"내 블로그가 어떻게 구글에 노출이 되는 거지?" 로봇이 웹사이트를 크롤링할 때 어떤 부분을 허용하고 어떤 부분을 차단할지를 결정하는 중요한 파일이 있습니다. 그 파일은 바로 "robots.txt"입니다. 이 파일은 웹사이트의 루트 디렉터리에 위치하며, 검색 엔진 로봇에게 특정 지침을 제공합니다. "robots.txt" 파일은 특정 로봇에 대한 지시를 설정하는 데 사용됩니다. 아래처럼 크게 두 가지로 나눠 볼 수 있습니다. "User-agent" 부분에서는 어떤 로봇에게 적용할지를 지정하고, "*"는 모든 로봇을 의미합니다. "Disallow"는 크롤링에서 제외할 디렉터리나 파일을 지정하며, "Allow"는 허용하는 부분을 나타냅니다. 예를 들어, "Disallow: /private/"는 "/privat..
생활/블로그
2024. 1. 8. 14:58