91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

Scrapy如何處理相對路徑和絕對路徑

小樊
99
2024-05-15 10:24:20
欄目: 編程語言

在Scrapy中處理相對路徑和絕對路徑可以通過在提取數據時使用相應的方法來實現。

對于相對路徑,可以使用response.urljoin()方法來將相對路徑轉換為絕對路徑。例如:

from scrapy.http import HtmlResponse

response = HtmlResponse(url='http://example.com/page1', body=b'<a href="/page2">Page 2</a>')
relative_url = response.css('a::attr(href)').extract_first()
absolute_url = response.urljoin(relative_url)

print(absolute_url)
# Output: http://example.com/page2

這樣可以確保提取到的鏈接始終是絕對路徑。

另外,如果要在Spider中處理相對路徑和絕對路徑,也可以直接使用response.urljoin()方法。例如:

from scrapy.spiders import Spider

class MySpider(Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/page1']

    def parse(self, response):
        relative_url = response.css('a::attr(href)').extract_first()
        absolute_url = response.urljoin(relative_url)

        yield {
            'url': absolute_url
        }

這樣可以在Spider中直接處理相對路徑和絕對路徑。

0
托里县| 岳普湖县| 南皮县| 灵川县| 剑阁县| 徐闻县| 招远市| 乌拉特前旗| 博客| 龙川县| 松溪县| 灵丘县| 崇文区| 开封市| 正宁县| 启东市| 玉林市| 馆陶县| 湘阴县| 卢龙县| 开化县| 罗山县| 邵阳市| 肇庆市| 乐昌市| 清新县| 县级市| 峨山| 普洱| 焦作市| 信丰县| 永修县| 福建省| 望奎县| 新巴尔虎左旗| 阜阳市| 临猗县| 香格里拉县| 福贡县| 博兴县| 察哈|