谷歌的約翰·穆勒（John Mueller）在Reddit上回答了一個關于常用機器人元標簽的問題，以及如果它丟失會發(fā)生什么。穆勒的回答雖然是有道理的，而且是有據(jù)可查的，但可能仍然會讓許多出版商和SEO感到驚訝。

機器人元標記

HTML meta 元素傳達元數(shù)據(jù)。元數(shù)據(jù)是 Googlebot 等抓取工具可以讀取的機器可讀信息。

元元素有很多種，如元描述元素，但機器人元元素的不同之處在于它可以控制搜索引擎爬蟲。

機器人元標記傳達的信息稱為指令，這意味著機器人爬蟲有義務遵守機器人元標記中的指令。

機器人元有很多方向可以傳遞，但下面的元標記是與約翰·穆勒回答的問題相關的。

noindex， no follow 元標記：

<meta name="robots" content="noindex, nofollow">

上面的元標簽告訴搜索引擎爬蟲不要索引網(wǎng)頁上的內容，也不要點擊任何鏈接。

最常見的元標記之一是這個，它命令搜索引擎索引內容并跟蹤所有鏈接：

<meta name="robots" content="index, follow">

雖然上面的元標記很常見，但對它存在很大的誤解。有一種推理是，因為 Google 支持 nofollow，那么它必須暗示 Google 支持 follow 指令。

我發(fā)現(xiàn)很多權威網(wǎng)站都說谷歌使用元機器人索引，關注元標簽。

但實際上，這并不是谷歌使用這些指令的方式，正如約翰·穆勒（John Mueller）在他的回答中明確指出的那樣。

Смотритетакже： 如果 Meta Robots 標簽影響搜索排名，Google Answers

省略 Meta Robots 索引標簽有什么影響？

Reddit上的人問了以下問題：

“我對我正在開發(fā)的網(wǎng)站有點困惑。

所以，這就是我工作的大多數(shù)網(wǎng)站上的元片段的樣子：

<meta name=’robots’ content=’index，請關注….

但是，在手頭的網(wǎng)站上，它缺少“索引”標簽。

我的問題是：網(wǎng)站缺少’索引’標簽有什么影響。

約翰·穆勒（John Mueller）回答說：

“’索引’機器人元標簽沒有任何功能（至少在谷歌中）——它被完全忽略了。也“關注”。

谷歌有 https://developers.google.com/search/docs/crawling-indexing/special-tags 和 https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag 來記錄具有功能的元標記。你可以使用其他任何東西，它將被忽略。<meta name=“robots” content=“topranking bestcheese”>如果你想讓人們失望，這是一個選擇。”

為什么谷歌忽略機器人索引和關注

Google 忽略機器人索引和關注元標記的簡單原因是因為索引和關注是默認設置。

索引和跟蹤鏈接是搜索引擎機器人所做的，他們不必被告知索引內容和跟蹤鏈接，因為這是他們的目的。

Google 關于機器人標簽的文檔建議

“默認值為 index、follow，無需指定?！?/p>

Google 有效指令的完整列表在這里。

如果您要使用的機器人元未在此處列出，則Googlebot將忽略它。

相關新聞： 如何控制 Googlebot 與您的網(wǎng)站的互動

索引、跟隨完全沒用嗎？

誠然，有據(jù)可查且官方表明，當涉及到 Googlebot 時，<meta name=“robots” content=“index， follow”> 是對 HTML 空間的浪費，被 Googlebot 忽略。

Bing 處理索引，以類似的方式遵循，但略有不同，如元標記的官方 Bing 文檔中所述。

這是 Bing 的文檔對 index 指令的說明：

“默認情況下，我們假設是”索引“，但如果需要，您可以使用 <meta name=”robots“ content=”index“> 來明確聲明我們可以索引頁面?！?/p>

這就是它對以下指令的說法：

“默認情況下，我們假設”跟隨“，但如果需要，您可以明確聲明”跟隨”。

在我從事 SEO 創(chuàng)建網(wǎng)站、優(yōu)化網(wǎng)站和排名的 20+ 年工作中，我一直認為給機器人提供他們所期望的東西并盡量不給他們任何意想不到的東西是一個很好的政策。因此，如果不需要元描述，那么我的沖動就是將其排除在外，因為優(yōu)化的全部意義在于使搜索引擎盡可能容易地索引和理解內容，這意味著要擺脫任何可能與該目標相悖的東西。

在這種情況下，它很可能不會以某種方式產生影響。

但。。。還有另一種方法可以跟蹤和索引絆倒人們。

一些發(fā)布商使用此漫游器元標記：

<meta name="robots" content="noindex, follow">

一些網(wǎng)站建議，如果頁面沒有被索引，使用“follow”指令會迫使搜索引擎跟蹤鏈接。

但是，如果存在“noindex”指令，原因很簡單，即 Google 無法跟蹤未編入索引的頁面上的鏈接，則情況并非如此。如果它不在索引中，則這些頁面上的鏈接不在索引中。