- N +

搜索引擎和搜索引擎蜘蛛詳解

什么是搜索引擎?

搜索引擎,即search engine,簡單點說,就是萬維網環境中的信息檢索系統(包括目錄服務和關鍵字檢索兩種服務方式)。就是為了使網民搜索信息的速度更加快捷、準確,專門在Internet上執行信息搜索任務。常見的搜索引擎有百度、谷歌、搜搜等。

搜索引擎和搜索引擎蜘蛛詳解

什么是搜索引擎蜘蛛?

搜索引擎蜘蛛又稱為網絡爬蟲。是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。搜索引擎蜘蛛是一個自動抓取互聯網上網頁內容的程序,每個搜索引擎都有自己的蜘蛛。

國內各大搜索引擎蜘蛛名稱:百度:百度spider、谷歌:googlebot、搜狗:sogouspider、搜搜:Sosospider、360搜索:360Spider、有道:YodaoBot、雅虎:YahooSlurp、必應:msnbot、Msn:msnbot等。

搜索引擎蜘蛛爬行

搜索引擎蜘蛛是一個程序,這個程序是為把互聯網上的網頁讀取后放入搜索引擎緩存數據庫中而設計的。所指的爬行,就是搜索引擎蜘蛛程序按網址進行取回網頁內容的過程,因搜索引擎機器人稱蜘蛛程序,所以有人將這一過程稱做爬行(蜘蛛行動是沿網爬行的)。只要提供一個網址給此程序,他就會自動提取回該網址對應的網頁,并且可以沿此網頁上的鏈接網址,進一步的提取其它的對應的網頁。

怎么屏蔽搜索引擎蜘蛛抓取

robots.txt文件規則的寫法很簡單,比如需要屏蔽某一個搜索引擎的蜘蛛訪問所有目錄,就這樣寫:

User-agent:Googlebot

Disallow:/

再比如禁止所有蜘蛛訪問、抓取某一個目錄則:

User-agent:*

Disallow:/admin/

以上就是進行搜索引擎的的一個詳細講解,如果些什么沒有講到或者想了解的地方,可以進行在線咨詢或者留言。

返回列表
上一篇:網站優化五個細節讓用戶愛上你的網站
下一篇:企業網站推廣的方法和技巧有哪些?