如何禁止子網域加入搜尋索引,避免網頁曝光

看文本文,你會學到兩種禁止子網域,被加入搜尋索引的方式。

假設有個網站,網站中有個屬於子網域的目錄,這個子網域可能是用來測試,或是任何原因不希望網頁被加入搜尋引擎索引,也就是不想被 Google 搜尋到。

請參考一下 3 個簡單的方式:

1. 使用 robots.txt 檔案

檔案內容範例:

User-agent: *
Disallow: /

將檔案放在子網域的目錄中即可。

測試方式: 透過 robots.txt 測試工具來測試 robots.txt

robots.txt 並不能百分百保證網頁不會加入索引,只是告訴 Google 檢索器不要檢索哪些網頁。

2. 使用 meta 標籤

在子網域目錄中的網頁加入 meta 標籤。

<meta name="robots" content="noindex"/>

上面標籤需要放在 <head> </head> 之間 。

使用 meta 標籤的方式,可以保證 Google 不會將這個網頁顯示在搜尋結果中。

測試方式: 使用網址檢查工具

3. 不要建立任何連結

網頁內容不要有任何對外連結,也不要有任何網頁連進來,這樣可以避免爬蟲自動找到網頁,爬蟲找不到,自然就無法加入索引。

什麼是爬蟲

爬蟲是一種軟體程式,會自動讀取網頁內容,截取網頁連結,由這些連結發現其它網頁,搜尋引擎就是這樣爬取整個網路。

為了方便搜尋引擎讀取你的網站,提升搜尋排名,可以提交 sitemap.xml,這樣搜尋引擎就可以精確快速的爬取網站所有內容。

參考資料: