91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python爬取豆瓣視頻信息代碼實例

發布時間:2020-10-23 18:59:05 來源:腳本之家 閱讀:151 作者:一只帥氣的IT小昂 欄目:開發技術

這篇文章主要介紹了Python爬取豆瓣視頻信息代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

這里是爬取豆瓣視頻信息,用pyquery庫(jquery的python庫)。

一:代碼

from urllib.request
import quotefrom pyquery
import PyQuery as pqimport requestsimport pandas as pddef get_text_page
	(movie_name): ''
'  函數功能:獲得指定電影名的源代碼  參數:電影名  返回值:電影名結果的源代碼  '
''
url =
	'https://www.douban.com/search?q=' +
	movie_name headers = {
		'Host': 'www.douban.com',
		'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
	}
r = requests.get(url, headers = headers,
	timeout = 5) return r.textdef get_last_url(
	this_text): ''
'  函數功能:根據指定的源代碼得到最終的網頁地址  參數:搜索結果源代碼  返回值:最終的網頁地址  '
''
doc = pq(this_text) lis = doc(
		'.title a').items() k = 0 this_str =
	''
for i in lis: #print('豆瓣搜索結果為:{0}'.format(
	i.text()))# print('地址為:{0}'.format(i.attr
	.href))# print('\n') if k == 0:
	this_str = i.attr.href k += 1
return this_strdef the_last_page(
	this_url): ''
'  函數功能:獲得最終電影網頁的源代碼  參數:最終的地址  返回值:最終電影網頁的源代碼  '
''
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
}
r = requests.get(this_url, headers =
	headers, timeout = 20) return r.textdef the_last_text(
	this_text, movie_name): ''
'  函數功能:獲得每一項的數據  參數:爬取頁面的源代碼  返回值:返回空  '
''
doc = pq(this_text)# 獲取標題 title = doc(
		'#content h2').text()# 獲取海報 photo =
	doc('.nbgnbg img') photo_url = photo.attr
	.src r = requests.get(photo_url) with open(
		'{m}.jpg'.format(m = movie_name),
		'wb') as f: f.write(r.content)# 電影信息 message =
	doc('#info').text()# 豆瓣評分 grade = doc(
		'#interest_sectl').text()# 劇情 things =
	doc('.related-info').text() with open(
		'{0}.txt'.format(movie_name), 'w+') as f:
	try: f.writelines([title, '\n', '\n\n',
		message, '\n\n', grade, '\n\n',
		things
	]) except: f.writelines([title, '\n',
		'\n\n', message, '\n\n', grade
	])# 演員# 演員名 name = [] person_name =
	doc('.info').items() for i in
	person_name: name.append(i.text())# 演員圖片地址 person_photo =
	doc('#celebrities') j = 0
for i in person_photo.find('.avatar').items():
	m = i.attr('style') person_download_url =
	m[m.find('(') + 1: m.find(')')]# 下載演員地址 r =
	requests.get(person_download_url) try:
	with open('{name}.jpg'.format(name =
		name[j]), 'wb') as f: f.write(r.content) except:
	continue j += 1 def lookUrl(this_text,
		my_str): ''
'  函數功能:獲得觀看鏈接  參數:爬取頁面的源代碼  返回值:返回空  '
''
doc = pq(this_text) all_url = doc(
	'.bs li a').items() movie_f = [] movie_url = []
for i in all_url: movie_f.append(i.text()) movie_url
	.append(i.attr.href) dataframe = pd.DataFrame({
		'觀看平臺': movie_f,
		'觀看地址': movie_url
	}) dataframe.to_csv(
		"{movie_name}的觀看地址.csv".format(
			movie_name = my_str), index = False,
		encoding = 'utf_8_sig', sep = ',') def main():
	name = input('') my_str = name movie_name =
	quote(my_str) page_text =
	get_text_page(movie_name)# 得指定電影名的源代碼 last_url =
	get_last_url(page_text)# 根據指定的源代碼得到最終的網頁地址 page_text2 =
	the_last_page(last_url)# 獲得最終電影網頁的源代碼 the_last_text(
		page_text2, my_str)# 獲得每一項的數據 lookUrl(
		page_text2, my_str)# 得到并處理觀看鏈接main()

二:結果如下(部分例子)

1.輸入天氣之子

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

2.輸入百變小櫻魔法卡

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

必須是已經上映的電影才有觀看地址

3.獨立日

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

Python爬取豆瓣視頻信息代碼實例

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

乌鲁木齐县| 南和县| 原阳县| 辉县市| 元阳县| 济源市| 兴安县| 得荣县| 鄂州市| 湘潭县| 宁都县| 桐庐县| 叶城县| 郑州市| 合阳县| 通河县| 冀州市| 广昌县| 隆昌县| 崇礼县| 惠安县| 汉沽区| 青浦区| 金堂县| 彭水| 家居| 揭西县| 临桂县| 双峰县| 桐梓县| 尉氏县| 祥云县| 池州市| 游戏| 正蓝旗| 密山市| 七台河市| 肥西县| 登封市| 神池县| 报价|