長沙百度優(yōu)化指南之如何正取看待百度蜘蛛爬行抓取網(wǎng)站內(nèi)容
- 作者:admin
- 發(fā)表時(shí)間:2022-08-19 15:31:00
- 來源:
百度蜘蛛會(huì)一直抓我的網(wǎng)站嗎?
一般會(huì)的,若網(wǎng)站持續(xù)生產(chǎn)新資源、更新內(nèi)容等,蜘蛛會(huì)持續(xù)抓取的。需要提醒的是,若網(wǎng)站需要百度蜘蛛抓取一定不要做任何封禁哦。(封禁相關(guān)參考下文內(nèi)容)
此外,您也可以檢查網(wǎng)站訪問日志,及時(shí)判斷正確的百度蜘蛛,以防止有人惡意冒充百度蜘蛛來頻繁抓取您的網(wǎng)站。
百度蜘蛛頻繁光顧網(wǎng)站,導(dǎo)致網(wǎng)站服務(wù)器壓力大,怎么辦?
若發(fā)現(xiàn)百度蜘蛛頻繁抓取,可能是因?yàn)橐韵?個(gè)原因。
(1)網(wǎng)站存在新生產(chǎn)資源、更新內(nèi)容待抓取更新;
(2) 可能存在惡意冒充百度蜘蛛,可以通過上文Q2“如何識(shí)別正常百度蜘蛛”的方法排查問題;
若百度蜘蛛抓取頻次過高,造成網(wǎng)站服務(wù)異常,可以通過百度搜索資源平臺(tái)-【抓取頻次】工具調(diào)整頻次。