溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章為大家展示了如何使用JAVA來寫個爬蟲，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
這篇文章其實是我很早之前就寫好了的，這次重新整理一下。Java寫爬蟲可能很多朋友沒有去試過，可能是由于這方面的資料比較少，也可能是Python寫爬蟲過于的方便。
基本概念
jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.
上面是官方給的jsoup官方解釋，中文意思是 jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作數據。
總的來說，就是可以幫我們解析HTML頁面，并且可以抓取html里面的內容。
開始寫代碼
public static void main(String[] args) { try { //下面這行代碼是連接我們的目標站點，并且get到他的靜態HTML代碼 Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get(); //我們把獲取到的document打印一下，看看里面到底是啥？ System.out.println(document); } catch (IOException e) { e.printStackTrace(); } }看我們代碼運行后的結果：
你會發現我們通過這一句就獲得了“菜鳥筆記”這個網站的HTML源碼
我們來分析一下這串html源碼
發現這兩個正是我們所想要得到的數據，我們繼續抓取
public static void main(String[] args) { try { Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get(); //底下一行代碼是我們進一步抓取到具體的HTML模塊，div表示<div>標簽， //后面的post-intro表示的是div的class //由于div.post-intro這個標簽有多個(每個標題有一個)，所以我們先獲取到它的所有 Elements elements=document.select("div.post-intro"); //我們來遍歷一下，因為div.post-intro有很多個 for(int i=0;i<elements.size();i++) { //下面一行我們獲取到文章的標題，可以結合圖片來分析 // get(i)是為了獲取每個div里面的<a>標簽。后面的text()，就是獲取<a></a>中的內容 String title=elements.select("a").get(i).text(); //attr是獲取<a href="">里面的屬性 String url=elements.select("a").get(i).attr("href"); //分別打印出來 System.out.println(title); System.out.println("http://www.runoob.com/"+url); } } catch (IOException e) { e.printStackTrace(); } }
上述內容就是如何使用JAVA來寫個爬蟲，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
