搜索引擎不抓取頁面 服務器端的五個問題
日期：2021-09-09 瀏覽： 457
1、錯誤的封禁
在百度的robots.txt的更新上，如果多次點擊“檢測并更新”就會出現時常可以更新，但是又時常無法更新的問題。如此一來：不應當被收錄的東西，在robots.txt上禁止的被收錄了，又刪除就很正常了。那么它的問題是什么呢？并非服務器負載過度，而是因為防火墻錯誤的將部分Baiduspider列入了黑名單。
2、服務器異常
常規的服務器就不說了，大家都知道的，北上廣的一般都不錯。不過有一些特殊服務器，想必絕大多數的站長都不知道吧？例如西部數碼的“港臺服務器”就很有趣，真的是港臺的嗎？本身機房在國內，還算什么港臺？為了逃避備案而用一個港臺的IP，數據全部在國內。
這樣有什么不好呢？我們會發現：站點的服務器是經過CDN的，哪怕是你上傳的一張圖片，都會顯示為“302狀態碼”，訪問速度是提升上去了，可是這樣利于SEO嗎？
3、獲取不到真實IP
規模較大的網站，一般都會使用CDN加速，但是有些站點不僅僅對“設備”使用了CDN加速，而且還對Spider使用了加速功能。后的結果是什么呢？如果CDN節點不穩定，那么對網站spider來講，這個問題將是致命的。
很多大型站點開放CDN的原因就是容易被攻擊，這個時候如果不做“蜘蛛回源”就可想而知了。你的站點做了CDN了嗎？請登錄百度站長平臺查看一下spider是否可以抓取真實IP地址吧!
- 上一篇：仿真美容硅膠假肢，3D技術真假難辨
- 下一篇：SEO新手剛入職需要做哪些事情
