溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關robots禁止抓取php的方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
robots禁止抓取php的方法：1、在robots.txt文件里寫入“Disallow: /*?*”；2、在robots.txt文件里添加規則“User-agent:* Allow: .html$ Disallow: /”即可。
robots禁止搜索引擎抓取php動態網址
所謂的動態網址也就是指URL中包括 ？，& 等字符類的網址，如：news.php?lang=cn&class=1&id=2，當我們在開啟了網站的偽靜態之后，為了網站的SEO，就很有必要避免搜索引擎抓取我們網站的動態網址。
為什么要這么做？因為搜索引擎在對相同的頁面抓取兩次之后但最后判定為同一個頁面的時候會而對網站做些觸發的，具體是怎么處罰的，這個不太清楚，總之是不利于整個網站的SEO的。那么該如何禁止搜索引擎抓取我們網站的動態網址呢？
利用robots.txt文件即可解決這個問題，請看下面的詳細操作。
我們知道動態頁面都有一個共同的特征，就是在鏈接里會帶有"?"這個問號的符號，因此我們可以在robots.txt文件里寫入如下這樣的規則：
User-agent: * Disallow: /*?*
這樣即可禁止搜索引擎抓取整個網站的動態鏈接了。另外如果我們只想讓搜索引擎抓取指定類型文件，如html格式的靜態頁面，可在robots.txt里面加入如下這樣的規則：
User-agent: * Allow: .html$ Disallow: /
另外記得一定要將寫好的robots.txt文件放在你網站的根目錄中哦，不然是不起作用的。另外寫入規則有一個簡便的捷徑，登陸google網站管理員工具，只接在里面寫入規則后，生成robots.txt文件即可。
關于“robots禁止抓取php的方法”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
