什麽是搜索引擎及搜索引擎的工作原理
搜索引擎(Search Engine)是指根據壹定的策略、運用特定的計算機程序從互聯網上搜集信息,在對信息進行組織和處理後,為用戶提供檢索服務,將用戶檢索相關的信息展示給用戶的系統。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。
工作原理
第壹步:爬行
搜索引擎是通過壹種特定規律的軟件跟蹤網頁的鏈接,從壹個鏈接爬到另外壹個鏈接,像蜘蛛在蜘蛛網上爬行壹樣,所以被稱為“蜘蛛”也被稱為“機器人”。搜索引擎蜘蛛的爬行是被輸入了壹定的規則的,它需要遵從壹些命令或文件的內容。
第二步:抓取存儲
搜索引擎是通過蜘蛛跟蹤鏈接爬行到網頁,並將爬行的數據存入原始頁面數據庫。其中的頁面數據與用戶瀏覽器得到的HTML是完全壹樣的。搜索引擎蜘蛛在抓取頁面時,也做壹定的重復內容檢測,壹旦遇到權重很低的網站上有大量抄襲、采集或者復制的內容,很可能就不再爬行。
第三步:預處理
搜索引擎將蜘蛛抓取回來的頁面,進行各種步驟的預處理。
⒈提取文字
⒉中文分詞
⒊去停止詞
⒋消除噪音(搜索引擎需要識別並消除這些噪聲,比如版權聲明文字、導航條、廣告等……)
5.正向索引
6.倒排索引
7.鏈接關系計算
8.特殊文件處理
除了HTML 文件外,搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型,如
PDF、Word、WPS、XLS、PPT、TXT 文件等。我們在搜索結果中也經常會看到這些文件類型。 但搜索引擎還不能處理圖片、視頻、Flash
這類非文字內容,也不能執行腳本和程序。
第四步:排名
用戶在搜索框輸入關鍵詞後,排名程序調用索引庫數據,計算排名顯示給用戶,排名過程與用戶直接互動的。但是,由於搜索引擎的數據量龐大,雖然能達到每日都有小的更新,但是壹般情況搜索引擎的排名規則都是根據日、周、月階段性不同幅度的更新。
選擇
與網站內容相關
搜索次數多,競爭小
主關鍵詞,不可太寬泛
主關鍵詞,不太特殊
商業價值
提取文字
中文分詞
去停止詞
消除噪聲
去重
正向索引
倒排索引
鏈接關系計算
特殊文件處理