亚洲色无码中文字幕手机在线-亚洲色一区二区三区四区-亚洲色域网-亚洲色欲久久久久综合网-亚洲色欲久久久综合网-亚洲色欲久久久综合网东京热

6、什么是Robots?Robots.txt文件放在哪里?

發(fā)布時(shí)間:2019-11-12 19:49:23   瀏覽人數(shù): 14845 次  

答:搜索引擎通過一種程序robot(又稱spider),自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。

可以在網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt,在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問的部分,這樣,該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內(nèi)容。

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說,當(dāng)robots訪問一個(gè)網(wǎng)站(比如http://www.abc.com)時(shí),首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件,如果機(jī)器人找到這個(gè)文件,它就會(huì)根據(jù)這個(gè)文件的內(nèi)容,來確定它訪問權(quán)限的范圍。


資料來源網(wǎng)絡(luò),僅供學(xué)習(xí)交流,如您發(fā)現(xiàn)本文中有涉嫌抄襲,請(qǐng)發(fā)送郵件至:support@iisp.com,一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。


上一篇:7、什么是外鏈?如何做?
下一篇:5、什么是sitemap?

旗下網(wǎng)站:耐思智慧 - 淘域網(wǎng) - 我的400電話 - 中文域名:耐思尼克.cn 耐思尼克.top

耐思智慧 © 版權(quán)所有 Copyright © 2000-2025 IISP.COM,Inc. All rights reserved

備案號(hào)碼: 粵ICP備09063828號(hào)  公安備案號(hào): 公安備案 粵公網(wǎng)安備 44049002000123號(hào)  域名注冊(cè)服務(wù)機(jī)構(gòu)許可:粵D3.1-20240003 CN域名代理自深圳萬維網(wǎng)

聲明:本網(wǎng)站中所使用到的其他各種版權(quán)內(nèi)容,包括但不限于文章、圖片、視頻、音頻、字體等內(nèi)容版權(quán)歸原作者所有,如權(quán)利所有人發(fā)現(xiàn),請(qǐng)及時(shí)告知,以便我們刪除版權(quán)內(nèi)容

本站程序界面、源代碼受相關(guān)法律保護(hù), 未經(jīng)授權(quán), 嚴(yán)禁使用; 耐思智慧 © 為我公司注冊(cè)商標(biāo), 未經(jīng)授權(quán), 嚴(yán)禁使用

法律顧問:珠海知名律師 廣東篤行律師事務(wù)所 夏天風(fēng) 律師

主站蜘蛛池模板: 色综合综合色综合色综合 | 亚洲国产精品久久久久婷婷老年 | 亚洲水蜜桃久久综合网站 | 欧美成人xxxxxxxx在线 | 亚洲精品国产免费 | 亚洲精品毛片久久久久久久 | 欧美精品一区在线看 | 九色九色九色在线综合888 | 亚洲免费精品 | 九九视频在线观看视频6偷拍 | 欧美精品久久久久久久影视 | 777奇米影音 | 久久久久国产一级毛片高清版 | 久久婷婷丁香七月色综合 | 福利视频免费看 | 国产日产欧产美一二三区 | 青草免费视频 | 青青热久久国产久精品 | 国产精品久久久久久久久久一区 | 色综合久久最新中文字幕 | 国产精品久久久久久一区二区 | 四虎影视在线永久免费观看 | 久久久久这里只有精品 | 伊人久久成人成综合网222 | 9热在线精品视频观看 | 伊人久久大香线蕉综合bd高清 | 婷婷亚洲综合一区二区 | 草的爽免费视频 | 性欧美另类老妇高清 | 手机看片福利久久 | 色综合久久综合欧美综合网 | 亚洲福利影院 | 精品一久久香蕉国产线看观 | 美女精品久久久久久国产潘金莲 | 91精品国产色综合久久 | 欧美aa一级片 | 日日干天天射 | 91最新91精品91蝌蚪 | 国产成人视屏 | 毛片女人毛片一级毛片毛片 | 日韩精品一区二区三区中文3d |