如何為您的網站來設定搜尋引擎

Yahoo! 奇摩 及 Google 的搜尋引擎,會透過一個所謂搜尋機械人 (Robot) 或搜尋引擎漫遊器的程式,自動到網路上搜尋並收錄網頁資料,而搜尋機械人在搜尋時,會自動去查閱被搜尋的網站的根目錄下,是否已建立一個 robots.txt 的檔案,並用來判斷要收錄或是不收錄哪些網頁。robots.txt 檔名必須全部為小寫,主要語法如下:

1.
User-Agent:
遵循以下規則的 Robot

範例:
User-Agent: *
表示以下的設定套用至所有的 Robot
User-Agent: Slurp
Slurp 是 Yahoo! crawler 的名稱,這設定表示以下的設定套用到 Yahoo 的 Slurp 這個 Robot
   
2. Disallow:
表示在這個目錄之下的網頁不接受 Robot 抓取

範例:
Disallow: /
表示根目錄下所有的網頁都不接受抓取
Disallow: /news
表示只有 news 這個目錄下的網頁不接受抓取
   
3. 範例:
User-agent: *
Disallow: /admin/
Disallow: /tmp/

表示所有 Robot 都不能抓取“/admin/” 和“/tmp/” 目錄下的網頁。


更多 robots.txt 的相關說明請可參考: