91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python怎么爬取論壇文章保存成PDF

發布時間:2021-11-23 11:24:28 來源:億速云 閱讀:213 作者:iii 欄目:大數據

本篇內容介紹了“Python怎么爬取論壇文章保存成PDF”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

基本開發環境

  • Python 3.6

  • Pycharm

  • wkhtmltopdf

相關模塊的使用

  • pdfkit

  • requests

  • parsel

安裝Python并添加到環境變量,pip安裝需要的相關模塊即可。

一、目標需求

將CSDN這上面的文章內容爬取保存下來,保存成PDF的格式。

二、網頁數據分析

如果想要把網頁文章內容保存成PDF,首先你要下載一個軟件 wkhtmltopdf 不然你是沒有辦法實現的。可以自行去百度搜索下載,也可以找上面的 交流群 下載。

Python怎么爬取論壇文章保存成PDF


前幾篇文章已經講了,關于文字方面的爬取方式,對于爬取文本內容還是沒有難度了吧。

想要獲取文章內容,首先就要爬取每篇文章的url地址。


具體分析的流程之前的文章也有分享過,這里就跳過了。

python爬取CSDN博客文章并制作成PDF文件

完整實現代碼

import pdfkit
import requests
import parsel

html_str = """
<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document</title>
</head>
<body>
{article}
</body>
</html>
"""


def save(article, title):
    pdf_path = 'pdf\\' + title + '.pdf'
    html_path = 'html\\' + title + '.html'
    html = html_str.format(article=article)
    with open(html_path, mode='w', encoding='utf-8') as f:
        f.write(html)
        print('{}已下載完成'.format(title))
    # exe 文件存放的路徑
    config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe')
    # 把 html 通過 pdfkit 變成 pdf 文件
    pdfkit.from_file(html_path, pdf_path, configuration=config)


def main(html_url):
    # 請求頭
    headers = {
        "Host": "blog.csdn.net",
        "Referer": "https://blog.csdn.net/qq_41359265/article/details/102570971",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36",
    }
    # 用戶信息
    cookie = {
        'Cookie': '你自己的cookie'
    }
    response = requests.get(url=html_url, headers=headers, cookies=cookie)
    selector = parsel.Selector(response.text)
    urls = selector.css('.article-list h5 a::attr(href)').getall()
    for html_url in urls:
        response = requests.get(url=html_url, headers=headers, cookies=cookie)
        # text 文本(字符串)
        # 遭遇了反扒
        # print(response.text)
        """如何把 HTML 變成 PDF 格式"""
        # 提取文章部分
        sel = parsel.Selector(response.text)
        # css 選擇器
        article = sel.css('article').get()
        title = sel.css('h2::text').get()
        save(article, title)


if __name__ == '__main__':
    url = 'https://blog.csdn.net/fei347795790/article/list/1'
    main(url)

Python怎么爬取論壇文章保存成PDF

Python怎么爬取論壇文章保存成PDF

“Python怎么爬取論壇文章保存成PDF”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

新干县| 东丰县| 宣恩县| 县级市| 沅江市| 宁武县| 和政县| 光泽县| 庄浪县| 常州市| 思茅市| 南靖县| 长寿区| 安西县| 桂平市| 灵山县| 涞源县| 鄂伦春自治旗| 丹凤县| 济宁市| 怀仁县| 故城县| 武安市| 隆化县| 黄平县| 阳谷县| 清水河县| 涿州市| 新昌县| 临西县| 茶陵县| 孝义市| 武冈市| 苗栗市| 永靖县| 石渠县| 兴和县| 隆安县| 三原县| 高碑店市| 松滋市|