溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章給大家分享的是有關網站日志中的不完整url或莫名其妙的url抓取的分析，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
在分析日志的過程中，往往會發現404狀態下有一些或者很多的不完整的url或者比原url多出字段的莫名其妙的網站本身不存在的url的抓取。在群里面也見有人問過類似的情況，覺得這是一個大家普遍都會遇見的問題，有猜測過有可能是被別人采集才導致這樣的問題出現，在上課的時候問過國平老大，當時國平老大說有可能是爬蟲在抓取url的時候下載不完整，但是這都沒有一個具體的數據來支撐，總是覺得很朦朧沒把握。
現在，google管理員工具可以很清晰的用數據為你揭曉這其中的詫異了，google管理員工具是國平老大非常推崇的一個seo工具，有人覺得做百度的人不需要google的東西，因為百度和google的算法有差別，那下面介紹google管理員的這個功能可以告訴你這樣的想法是大錯特錯的，管理員工具是一個按照網站seo各項考核標準制定的一個最最權威的seo工具，做seo需要的數據，絕大部分都可以從這里面獲取，下面就來介紹管理員工具的這個功能（好像是最近更新的，以前不是這樣子）。
首頁看下百度日志里面的怪異404
這些url的入口在哪里呢？搜索引擎是從什么地方獲取這些url的？
Google告訴你
首先介紹下google管理員工具關于抓取錯誤的功能
下面是另一個網站由于改版問題沒做跳轉和抓取攔截所造成的找不到抓取錯誤，有一很完整的曲線可以讓你很清晰的看見網站存在的這方面的問題的變化趨勢
和服務器問題造成的抓取錯誤
接第一張圖（同一個網站）
一開始從日志中觀察到這些錯誤，但是不知道這些錯誤的來源
現在可以知道這些錯誤的url是從何而來
點擊第102條，彈出下面的框，url不在sitemap中，但是在自己的其他網站里面出現，說明網址是網站自身存在的但是已經被刪除了
點擊第110條，彈出下面的框，可以看到搜索引擎是從其他網站過來的（或是采集站，或是其他）
點擊進入具體的來源頁面可以看到
至此，可以很明確的知道，到底網站日志里面的出現的那些莫名其妙的url到底是怎么回事了，是自己站內存在的還是站外錯誤構成的。
以上就是網站日志中的不完整url或莫名其妙的url抓取的分析，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
