1樓：匿名使用者
你想哪些搜尋引擎的蜘蛛索引就你允許，反之就禁止唄。要禁止蜘蛛爬取你的重要資料夾，比如存放使用者密碼資訊的
robots.txt禁止訪問特定目錄下的部分檔案怎麼寫？
2樓：手機使用者
生動的叫做「蜘蛛」
蜘蛛在爬去**頁面之前，會先去訪問**根目錄下面的一個檔案，就是robots.txt。這個檔案其實就是給「蜘蛛」的規則，如果沒有這個檔案，蜘蛛會認為你的**同意全部抓取網頁。
robots.txr檔案是一個純文字檔案，可以告訴蜘蛛哪些頁面可以爬取（收錄），哪些頁面不能爬取。
舉個例子：建立一個名為robots.txt的文字檔案，然後輸入
user-agent: * 星號說明允許所有搜尋引擎收錄
disallow: index.php? 表示不允許收錄以index.php?字首的連結，比如index.php?=865
disallow: /tmp/ 表示不允許收錄根目錄下的tmp目錄，包括目錄下的檔案，比如tmp/232.html
3樓：祥騰資訊
不想被掃描到的,寫上絕對路徑,
基本上可以理解為一一對應,總之絕對路徑
國家明令禁止使用的農藥有哪些,國家明令禁止出國展出的六十四件國寶級文物是哪些文物
核桃無公害bai生產，必du須按照無公害果品生產操zhi作規程進行，在dao生產上禁止使用高殘留專 高毒和劇屬毒的農藥，禁止使用 三致 致畸 致癌 致突變 作用的農藥，禁止使用無 三證 農藥登記證 生產許可證 生產批號 的農藥。中華人民共和國農業部2002年第199號公告公佈了國家明令禁止使用和不得...
國際航班哪些東西禁止託運，乘坐國際航班哪些東西不能帶
回答您好 親 我是小星，很高興為您服務，您的問題我已收到，看完會及時回覆，追問後，因為單子太多會依次回答，不會不回答的，請耐心等待哦 親！親 您請稍等一下哦！正在為您查詢 親您稍等哦 親這邊為您查詢到了國際航班托執行李的相關規定哦 1.乘坐國際航班，手提行李的總重量不能高於7公斤，每件行李的體積也不...
電腦開機啟動項哪些可以禁止
1.msascui.exe 微軟反間諜windows defender的程式 2.ndstray.exe 東芝筆記本toshiba的configfree系統托盤程式，用於切換網路裝置 3.cffncenabler.exe 灰鴿子木馬，該病毒修改登錄檔建立系統服務access實現自啟動，病毒執行後連線...