關閉Cloudflare的機器人對抗模式

這幾天發現放在Netlify的網站，很多網頁（包括首頁）慢慢被Google擋掉。到Cloudflare看一下紀錄，其中防火牆封鎖掉不少Googlebot，看起來像是「機器人對抗模式」造成的。到Google Search Console檢查網址出現403，索性關閉「機器人對抗模式」，「封鎖AI機器人」則保持開啟，再測試一次檢查網址，結果為「網址不在Google服務中」，表示允許建立索引。

比較奇怪的是沒放在Netlify的網站（網域），沒有被影響，但還是全都關閉「機器人對抗模式」，而且也怕誤鎖其他搜尋機器人。如果怕有害的機器人消耗流量，建議到WAF設定規則阻擋。

關閉Netlify的「Prerendering」功能

因為該網站用11ty建立的，在Netlify有一項新的Prerendering → Enable prerendering with Netlify，須取消勾選，不然也會影響SEO，因為靜態網站不需要該功能。

Netlify Prerendering

在Google Search Console可以看到首頁沒被索引。
網站首頁未編入索引

5xx頁面越來越多。
伺服器錯誤（5xx）

403頁面也是越來越多。
因拒絕存取（403）而遭到封鎖

在Google Search Console看到這些紀錄慢慢增多明顯是不正常的現象。關閉「機器人對抗模式」和「Prerendering」功能之後，隔天看到首頁可以被Google搜尋到，逐漸恢復正常了。

參考文章：