溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關python爬蟲怎么定時獲取網頁數據的內容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。
在代碼方面，我們用time函數表明想要查取的時間間隔和截止時間就可以了。
#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime
#請求數據
def get_data():
#Headers 里面大小寫均可
url = ''
headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
data=requests.get(url,headers=headers)
# print(data.text)
#解析數據
soup=BeautifulSoup(data.text,'html.parser')
print(datetime.now(),soup)
return soup
if __name__ == '__main__':
get_data()
while True:
if datetime.now() < datetime(2018, 9,8, 23, 59, 59): # 查詢截止時間為2018-9-8 23:59:59
get_data()
time.sleep(600) # 每隔一個小時查詢一次
else:
print("已到截止時間，停止取數。")
break感謝各位的閱讀！關于python爬蟲怎么定時獲取網頁數據就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
