安徽蜘蛛抓取有什么影響因素
文章出處:本站 人氣:2373 發(fā)表時(shí)間:2018-06-20 14:17:39
對(duì)于蜘蛛抓取有什么影響因素?自然是需要先了解這個(gè)“蜘蛛”。百度蜘蛛活躍,抓取網(wǎng)頁(yè)的頻率和數(shù)量都非常大。百度蜘蛛幾乎每天都會(huì)訪問(wèn)你的新站,并且至少抓取幾十個(gè)網(wǎng)頁(yè)。大量捕獲是百度的強(qiáng)項(xiàng),其他任何搜索引擎都沒(méi)辦法相比。但是百度中文網(wǎng)頁(yè)數(shù)目并不是大的,百度蜘蛛抓取的頻率和網(wǎng)頁(yè)更新情況有關(guān)。天天更新的網(wǎng)站定會(huì)吸引百度蜘蛛更頻繁的訪問(wèn),百度對(duì)天天更新的站敏感,徹底換內(nèi)容更敏感。
如何引導(dǎo)蜘蛛分類(lèi)定位抓取?
對(duì)不同的頁(yè)面進(jìn)行分類(lèi)定位抓取監(jiān)控模式,即要對(duì)不同類(lèi)別的頁(yè)面進(jìn)行分類(lèi)處理。雖說(shuō)抓取時(shí)間縮短了,頁(yè)面靈活度也提升了,不過(guò)范圍太廣了,沒(méi)有辦法監(jiān)控到所有頁(yè)面的更新情況。即使不同網(wǎng)站存在有相同類(lèi)別的頁(yè)面,也會(huì)有更新周期很大的問(wèn)題。因此,結(jié)合增量抓取的方式完成頁(yè)面監(jiān)控更新。
如何提升搜索引擎定期抓取?
蜘蛛的習(xí)性我們應(yīng)該多少有點(diǎn)了解,它是定期抓取的。也就是說(shuō),蜘蛛會(huì)定期的更新收錄的內(nèi)容,那些舊的頁(yè)面、不存在的頁(yè)面都會(huì)被替換車(chē)新的頁(yè)面,并且還把之前不存在的頁(yè)面存儲(chǔ)為新頁(yè)面;這抓取特點(diǎn)使得更新周期變長(zhǎng),但對(duì)收錄所有頁(yè)面是有好處的。
蜘蛛的每次更新包含了所有頁(yè)面,因此頁(yè)面權(quán)重也會(huì)被重新計(jì)算得到。如你的網(wǎng)站是企業(yè)站,在頁(yè)面較少、內(nèi)容更新緩慢的情況下,也是很適合蜘蛛這樣的習(xí)性的;另方面也說(shuō)明了長(zhǎng)時(shí)間的更新周期使得網(wǎng)站無(wú)法向用戶(hù)呈現(xiàn)實(shí)時(shí)的動(dòng)態(tài)。