你不知道的robots文件那些事

2019-10-16 16:32:32 A5創業網 分享

  各種互聯網項目,新手可操作,幾乎都是0門檻

robots.txt文件,是每一個引擎蜘蛛到你的網站之后要尋找和訪問的第一個文件,robots.txt是你對引擎制定的一個如 何索引你的網站的規則。通過該文件,引擎就可以知道在你的網站中哪些文件是可以被索引的,哪些文件是被拒絕索引的。我們就可以很方便地控制引擎索引網站內容了。 在很多網站中,站長們都忽略了使用robots.txt文件。

因為很多站長都認為,自己的網站沒有什么秘密可言,而且自己也不太會使用robots.txt的語法,因此一旦寫錯了會帶來更多的麻煩,還不如不用。 其實這樣的做法是不對的。如果蜘蛛在某個網站上訪問了一個不存在的URL,那么就會記錄下一條404信息(網頁不存在),而robots.txt作為蜘蛛訪問網站的第一個文件,一旦引擎找不到這個文件,也會在它的索引服務器上記錄下一條404信息。如果這樣的404信息過多,那么引擎蜘蛛就會認為該網站價值較低,從而降低對該網站的“印象分”,這就是我們經常會聽到的“降低權重”。

“權重”是一個影響網站在引擎排名中非常重要的因素,如果網站的權重高,那么引擎蜘蛛也會頻繁地訪問該網站,而且網站排名也好。如果權重低,那么引擎蜘蛛對于網站的訪問次數也相應的要少,同時網站排名較差。而網站的權重是由很多條件所積累的,404信息就是很重要的一條,因此不得不重視。 雖然在百度的幫助文件中,有這樣的一句話“請注意,僅當您的網站包含不希望被引擎收錄的內容時,才需要使用robots.txt文件。如果您希望引擎收錄網站上的所有內容,請 勿建立robots.txt文件”。

實際上百度只是擔心由于網站管理員不懂得robots.txt語法,導致引擎蜘蛛無法正常抓取網站,才這樣寫的。建立robots.txt文件還是必需的,哪怕這個robots.txt文件是一個空白的文本文檔都可以。因為我們的網站畢竟不是僅僅會被百度收錄,同時也會被其他引擎收錄,上傳一個空白的robots.txt文件,至少不會導致一條404信息的產生。

本文來源:裕順網絡www.ahyushun.com如有轉載請注明出處

聲明:本站部分資源來源于網絡,版權歸原作者或者來源機構所有,如作者或來源機構不同意本站轉載采用,請通知我們,我們將第一時間刪除內容。本站刊載文章出于傳遞更多信息之目的,所刊文章觀點僅代表作者本人觀點,并不意味著本站贊同作者觀點或證實其描述,其原創性及對文章內容的真實性、完整性、及時性本站亦不作任何保證或承諾,請讀者僅作參考。
編輯:星天
揭阳| 山东青岛| 营口| 黄南| 甘孜| 那曲| 阜阳| 新泰| 铜陵| 中山| 深圳| 松原| 赤峰| 湘潭| 滕州| 乐平| 招远| 黔南| 克孜勒苏| 荣成| 临沧| 平潭| 宁德| 牡丹江| 日照| 吴忠| 山西太原| 日喀则| 三河| 新泰| 永新| 张家界| 绵阳| 娄底| 益阳| 七台河| 天门| 绵阳| 荆门| 德清| 龙口| 贵州贵阳| 哈密| 福建福州| 常州| 中山| 禹州| 烟台| 日喀则| 淮南| 阜新| 许昌| 随州| 台湾台湾| 无锡| 徐州| 扬中| 鹤壁| 昆山| 南平| 乐平| 图木舒克| 连云港| 泸州| 赣州| 江西南昌| 赤峰| 明港| 崇左| 七台河| 七台河| 海西| 临沧| 十堰| 台中| 台南| 石嘴山| 济宁| 垦利| 玉溪| 巴中| 辽源| 宁夏银川| 甘南| 桐乡| 邹平| 西藏拉萨| 蓬莱| 保定| 日喀则| 焦作| 庄河| 仁怀| 毕节| 定西| 乐清| 邯郸| 泉州| 嘉善| 克孜勒苏| 简阳| 阿拉尔| 博罗| 三门峡| 西藏拉萨| 温州| 儋州| 铁岭| 赣州| 新疆乌鲁木齐| 吉林长春| 德宏| 阿坝| 牡丹江| 那曲| 呼伦贝尔| 莆田| 江门| 绥化| 黄石| 咸宁| 衢州| 中卫| 汕尾| 黔南| 茂名| 百色| 保定| 赤峰| 毕节| 吐鲁番| 河北石家庄| 吉林长春| 燕郊| 沭阳| 佳木斯| 泰安| 贺州| 南充| 伊犁| 三河| 海拉尔| 黄南| 甘南| 雄安新区| 燕郊| 简阳| 大庆| 嘉善| 如东| 大连| 海北| 阜新| 威海| 景德镇| 新疆乌鲁木齐| 鸡西| 舟山| 玉树| 大兴安岭| 迁安市| 漯河| 延安| 海南| 鞍山| 伊春| 荆州| 宁夏银川| 嘉善| 伊犁| 南京| 通辽| 中山| 信阳| 简阳| 金坛| 吕梁| 鄂州| 兴安盟| 诸城| 崇左| 昭通| 临夏| 石河子| 蓬莱| 景德镇| 湖州| 广州| 塔城| 酒泉| 哈密| 阜阳| 江门| 龙口| 南平| 天水| 诸暨| 嘉善| 株洲| 铁岭| 泸州| 乌兰察布| 天长| 宿迁| 乌兰察布| 青海西宁| 黄南| 开封| 德宏| 贺州| 江西南昌| 宣城| 长垣| 贺州| 山西太原| 鄂尔多斯| 东阳| 宜昌| 平凉| 赵县| 巴中| 盐城| 自贡| 安岳| 海东| 秦皇岛| 赣州| 吉林| 汕头| 随州| 黄南| 江门| 邯郸| 慈溪| 桐乡| 温州| 铁岭| 枣阳| 汉川| 江苏苏州| 潍坊| 桂林| 赤峰| 永新| 漯河| 宜昌| 靖江| 海拉尔| 东莞| 龙口| 宣城| 临夏| 昌吉| 芜湖| 杞县| 恩施| 四川成都| 儋州| 香港香港| 黄冈| 濮阳| 平顶山| 衡阳| 垦利| 图木舒克| 信阳| 安阳| 深圳| 雅安| 昭通| 海北| 项城| 七台河| 吐鲁番| 淮安| 西双版纳| 七台河| 吐鲁番| 德阳| 宝鸡| 十堰| 海拉尔| 松原| 扬中| 安阳| 襄阳| 德阳| 柳州| 西双版纳| 公主岭| 邳州| 海丰| 馆陶| 昆山| 阿勒泰| 日喀则| 辽源| 三门峡| 金昌| 龙岩|