您好,登錄后才能下訂單哦!
本篇內容介紹了“Python怎么爬取論壇文章保存成PDF”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
Python 3.6
Pycharm
wkhtmltopdf
pdfkit
requests
parsel
安裝Python并添加到環境變量,pip安裝需要的相關模塊即可。
將CSDN這上面的文章內容爬取保存下來,保存成PDF的格式。
如果想要把網頁文章內容保存成PDF,首先你要下載一個軟件 wkhtmltopdf 不然你是沒有辦法實現的。可以自行去百度搜索下載,也可以找上面的 交流群 下載。
前幾篇文章已經講了,關于文字方面的爬取方式,對于爬取文本內容還是沒有難度了吧。
想要獲取文章內容,首先就要爬取每篇文章的url地址。
具體分析的流程之前的文章也有分享過,這里就跳過了。
python爬取CSDN博客文章并制作成PDF文件
import pdfkit import requests import parsel html_str = """ <!doctype html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Document</title> </head> <body> {article} </body> </html> """ def save(article, title): pdf_path = 'pdf\\' + title + '.pdf' html_path = 'html\\' + title + '.html' html = html_str.format(article=article) with open(html_path, mode='w', encoding='utf-8') as f: f.write(html) print('{}已下載完成'.format(title)) # exe 文件存放的路徑 config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe') # 把 html 通過 pdfkit 變成 pdf 文件 pdfkit.from_file(html_path, pdf_path, configuration=config) def main(html_url): # 請求頭 headers = { "Host": "blog.csdn.net", "Referer": "https://blog.csdn.net/qq_41359265/article/details/102570971", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36", } # 用戶信息 cookie = { 'Cookie': '你自己的cookie' } response = requests.get(url=html_url, headers=headers, cookies=cookie) selector = parsel.Selector(response.text) urls = selector.css('.article-list h5 a::attr(href)').getall() for html_url in urls: response = requests.get(url=html_url, headers=headers, cookies=cookie) # text 文本(字符串) # 遭遇了反扒 # print(response.text) """如何把 HTML 變成 PDF 格式""" # 提取文章部分 sel = parsel.Selector(response.text) # css 選擇器 article = sel.css('article').get() title = sel.css('h2::text').get() save(article, title) if __name__ == '__main__': url = 'https://blog.csdn.net/fei347795790/article/list/1' main(url)
“Python怎么爬取論壇文章保存成PDF”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。