구글: 두 판 사이의 차이

내용 삭제됨 내용 추가됨
잔글 61.74.92.42(토론)의 편집을 183.101.189.6의 마지막 판으로 되돌림
Sasabusa (토론 | 기여)
편집 요약 없음
62번째 줄:
크롤러는 과거 크롤링으로 만들어진 웹 주소 목록과 웹사이트 소유자가 제공한 사이트맵에서 크롤링을 시작한다. 웹사이트를 방문한 크롤러는 사이트에 있는 링크를 사용하여 다른 페이지를 찾는다. 크롤링하는 동안 새로운 사이트, 기존 사이트의 변경사항, 깨진 링크를 주의 깊게 살핀다. 크롤링할 사이트, 크롤링 횟수 및 각 사이트에서 가져올 페이지 수는 컴퓨터 프로그램이 결정한다.
 
구글에서는 사이트 소유자에게 [https://www.google.com/webmasters/#?modal_active=none 웹마스터 도구]를 제공하여 사이트 소유자가 구글에서 사이트를 크롤링하는 방법의 세부 사항까지 스스로 결정할 수 있도록 한다. 사이트 소유자는 페이지를 어떻게 처리할 것인지에 관해 자세한 지침을 제공할 수 있으며, 재크롤링을 요청하거나 '[https://support.google.com/webmasters/answer/6062608?hl=ko robots.txt]'라는 파일을 사용하여 아예 페이지가 크롤링되지 않도록 할 수도 있다. 구글은 비용을 받고 특정 사이트를 더 자주 크롤링하지 않으며 사용자에게 [https://www.must1st.com/kwa-service 최고의 검색결과를검색결과]를 보장하기 위하여 모든 웹사이트에 동일한 도구를 제공한다.<ref>{{웹 인용|url=https://www.google.com/search/howsearchworks/crawling-indexing/|제목=How Google Search Works {{!}} Crawling & Indexing|확인날짜=2018-06-17}}</ref>
 
=== 검색 알고리즘 ===