你不知道的robots文件那些事

2019-10-16 16:32:32 A5創業網 分享

  各種互聯網項目,新手可操作,幾乎都是0門檻

robots.txt文件,是每一個引擎蜘蛛到你的網站之后要尋找和訪問的第一個文件,robots.txt是你對引擎制定的一個如 何索引你的網站的規則。通過該文件,引擎就可以知道在你的網站中哪些文件是可以被索引的,哪些文件是被拒絕索引的。我們就可以很方便地控制引擎索引網站內容了。 在很多網站中,站長們都忽略了使用robots.txt文件。

因為很多站長都認為,自己的網站沒有什么秘密可言,而且自己也不太會使用robots.txt的語法,因此一旦寫錯了會帶來更多的麻煩,還不如不用。 其實這樣的做法是不對的。如果蜘蛛在某個網站上訪問了一個不存在的URL,那么就會記錄下一條404信息(網頁不存在),而robots.txt作為蜘蛛訪問網站的第一個文件,一旦引擎找不到這個文件,也會在它的索引服務器上記錄下一條404信息。如果這樣的404信息過多,那么引擎蜘蛛就會認為該網站價值較低,從而降低對該網站的“印象分”,這就是我們經常會聽到的“降低權重”。

“權重”是一個影響網站在引擎排名中非常重要的因素,如果網站的權重高,那么引擎蜘蛛也會頻繁地訪問該網站,而且網站排名也好。如果權重低,那么引擎蜘蛛對于網站的訪問次數也相應的要少,同時網站排名較差。而網站的權重是由很多條件所積累的,404信息就是很重要的一條,因此不得不重視。 雖然在百度的幫助文件中,有這樣的一句話“請注意,僅當您的網站包含不希望被引擎收錄的內容時,才需要使用robots.txt文件。如果您希望引擎收錄網站上的所有內容,請 勿建立robots.txt文件”。

實際上百度只是擔心由于網站管理員不懂得robots.txt語法,導致引擎蜘蛛無法正常抓取網站,才這樣寫的。建立robots.txt文件還是必需的,哪怕這個robots.txt文件是一個空白的文本文檔都可以。因為我們的網站畢竟不是僅僅會被百度收錄,同時也會被其他引擎收錄,上傳一個空白的robots.txt文件,至少不會導致一條404信息的產生。

本文來源:裕順網絡www.ahyushun.com如有轉載請注明出處

聲明:本站部分資源來源于網絡,版權歸原作者或者來源機構所有,如作者或來源機構不同意本站轉載采用,請通知我們,我們將第一時間刪除內容。本站刊載文章出于傳遞更多信息之目的,所刊文章觀點僅代表作者本人觀點,并不意味著本站贊同作者觀點或證實其描述,其原創性及對文章內容的真實性、完整性、及時性本站亦不作任何保證或承諾,請讀者僅作參考。
編輯:星天
迁安市| 乌兰察布| 辽源| 抚州| 阳泉| 天水| 澄迈| 济源| 葫芦岛| 新疆乌鲁木齐| 临沂| 青州| 包头| 驻马店| 三亚| 武夷山| 枣庄| 吉安| 东营| 宝应县| 惠东| 伊春| 茂名| 新沂| 吴忠| 海拉尔| 长垣| 蓬莱| 汉川| 吉林长春| 临猗| 赣州| 广安| 桐乡| 商丘| 资阳| 怀化| 昭通| 河源| 桂林| 揭阳| 昌吉| 台州| 西双版纳| 东海| 廊坊| 石狮| 新泰| 曹县| 三门峡| 玉溪| 湛江| 新泰| 资阳| 南通| 中山| 武夷山| 镇江| 绥化| 佳木斯| 新疆乌鲁木齐| 绵阳| 兴化| 任丘| 潮州| 连云港| 汕头| 沧州| 克拉玛依| 潜江| 玉树| 武安| 龙岩| 黑龙江哈尔滨| 改则| 柳州| 果洛| 鹤壁| 灌南| 信阳| 滕州| 四平| 三河| 巴音郭楞| 阳江| 晋城| 柳州| 永新| 益阳| 海南| 黑龙江哈尔滨| 阿里| 中卫| 盘锦| 邯郸| 灌云| 博罗| 唐山| 广安| 江门| 固原| 博罗| 怒江| 张家口| 自贡| 荆州| 鄂州| 泉州| 马鞍山| 海门| 泰州| 济宁| 广西南宁| 寿光| 鹤壁| 肇庆| 本溪| 顺德| 昌吉| 嘉善| 芜湖| 新乡| 哈密| 吉安| 霍邱| 乐平| 齐齐哈尔| 厦门| 阿里| 燕郊| 梅州| 锡林郭勒| 六安| 长兴| 肇庆| 揭阳| 泰安| 黑河| 琼中| 莒县| 赤峰| 绍兴| 博罗| 湖北武汉| 绥化| 吴忠| 汉川| 济宁| 仁怀| 三沙| 南京| 梅州| 承德| 天水| 沭阳| 荣成| 哈密| 六盘水| 库尔勒| 滁州| 潮州| 张掖| 馆陶| 日喀则| 垦利| 邳州| 陵水| 保山| 白城| 玉林| 香港香港| 辽宁沈阳| 张北| 安顺| 禹州| 广州| 濮阳| 滁州| 临猗| 安徽合肥| 阳春| 河南郑州| 潍坊| 崇左| 阳泉| 大兴安岭| 庆阳| 乐山| 长垣| 嘉善| 馆陶| 菏泽| 仁怀| 莒县| 临沂| 曲靖| 铜仁| 新余| 泸州| 庆阳| 济源| 海南| 泉州| 金昌| 白沙| 昌都| 咸阳| 黔西南| 铁岭| 哈密| 安顺| 朔州| 邵阳| 沛县| 湖南长沙| 兴安盟| 包头| 六盘水| 临沂| 常州| 高密| 遵义| 咸阳| 张家界| 濮阳| 吴忠| 永康| 玉环| 昌吉| 肥城| 兴安盟| 海西| 崇左| 伊犁| 南阳| 新乡| 郴州| 佛山| 屯昌| 淮南| 锡林郭勒| 汉川| 仁怀| 巴彦淖尔市| 儋州| 沧州| 陕西西安| 桐乡| 孝感| 泰安| 黄山| 济南| 淮安| 河源| 吕梁| 文山| 龙岩| 鹤岗| 项城| 泰州| 伊犁| 济宁| 通辽| 德州| 揭阳| 吉林长春| 新余| 长治| 包头| 榆林| 海拉尔| 深圳| 鄢陵| 宜都| 香港香港| 漳州| 燕郊| 宁波| 抚顺| 东海| 秦皇岛| 新疆乌鲁木齐| 阿勒泰| 商洛| 遵义| 遂宁| 湘潭| 禹州| 乐清| 岳阳| 柳州| 南京| 昌吉| 武安| 新泰| 灌南| 任丘| 库尔勒| 白沙| 神农架|