python中如何實現請求服務器

這篇文章主要介紹了python中如何實現請求服務器，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一、http請求

1、http請求方式：get和post

get一般用于獲取/查詢資源信息，在瀏覽器中直接輸入url+請求參數點擊enter之后連接成功服務器就能獲取到的內容，post請求一般用于更新資源，通過form表單或者json、xml等其他形式提交給服務器端，然后等待服務器端給返回一個結果的方式（這個返回結果一般就是被修改之后的是否成功的狀態，或者是修改后的最新數據table等）。

http請求，不論是get還是post請求，都會包含幾個部分，分別是header，cookie，get會有param，post會有body。

這個可以通過fiddler里面抓包就可以拿到需要的Headers，一般需要設置的值可能有：

header = {
 "Host": "x.x.#",
 "Authorization": "Basic: someValue",
 "Content-Type": r"application/json",
 "Connection": "keep-alive",
 "Proxy-Connection": "keep-alive",
 "Cookie": "xxxxxxxxx(備注：這里的具體值請自行填寫，其他key對應的值也是一樣)",
 "User-Agent": "360xxxxxx(備注：這里的信息也請自行抓到之后填寫，不需要的話，可以不用填寫)"
 }

針對正式環境和測試環境需要設置url的地址，以及Header的"Host"中的具體域名的方法如下：

（1）正式環境：url中的host也設置成域名，比如：http://%s/search/searchList的%s就替換成 域名，在headers中的"HOST"的鍵對應的value也是域名，比如說都是"x.y.#"

（2）測試環境： url中的host設置成具體的IP，比如:http://%s/search/searchList的%s就替換成 10.108.225.234這樣的具體IP（備注，這個IP就是你們平時開發上測試代碼的機器），但是headers中的"HOST"的鍵對應的value必須得寫成域名，比如"x.y.#" 

原因：因為一個IP地址對應的服務器上可能會有多個域名，因為可能會上多個不同業務的服務器代碼，如此會有一個默認的域名，但是并不一定是你的這個業務對應的域名，所以一定要在headers中的"HOST"中指定域名才可以找到這個域名，從而找到其對應的接口，進行正確的調用。

進一步，對于一個IP地址對應的服務器，其上會有很多域名，這個是如何部署的呢？需要問一下服務器端的同學，比如說會有x.#和x.y.#，這個是如何進行配置的呢？具體原因是使用了nginx的配置：https://www.jb51.net/article/140826.htm；具體的內容就是指：一臺nginx服務器多域名配置，然后客戶端請求的時候，就能自動根據這個host找到對應的文件目錄，然后找到對應處理方法，這個后續要再詳細了解一下。

cookie信息都是在headers里面的"Cookie"鍵對應的value后面，這個可以通過日志或者抓包得到，注意，抓到的信息一定要原封不動的全部拿來用。

另外，這個cookie信息也可以通過其他方式獲取，比如說，通過登錄接口拿到cookie信息，再將cookie信息設置到后續需要的"Cookie"中。

具體的body的值，需要跟服務器端開發對應一下數據的加密方式，目前比較多的都是通過json格式的，需要確認的是幾層json，比如我們的開發同學搞了兩層json，導致我剛開始的時候就在最外面搞了一層json轉換格式，結果請求的時候一直提示Resopnse 200，但是返回的errorMsg一直是錯誤請求。（備注：首先需要確認Response的Status是200的話，就說明已經跟服務器端連接上了，然后如果拿不到正確的數據，那就要分析是你的數據傳送格式不正確，還是缺少了哪些內容，導致服務器端解析不出，或者無法給出你想要的內容）

一般的get請求的格式，一個參數的可能是這樣的：http://xxx/search/YYYY?&kw=123456789，如果是多個參數的話：http://music.baidu.com/search?fr=ps&ie=utf-8&key=%E7%9C%8B%E8%A7%81%E4%BA%86，比如像百度音樂的這個url，在?后面都可以添加一個&，然后url其實也可以變成這樣的格式：http://music.baidu.com/search?&fr=ps&ie=utf-8&key=%E7%9C%8B%E8%A7%81%E4%BA%86，但是實際上訪問get到的都是相同的內容，也就是說服務器端解析的時候，返回的結果都是相同的內容；多個參數，就每個參數之間加一個&鏈接起來，但是注意，有些值傳的時候可能需要進行urlencode編碼，并且一定要在跟服務器端相同的編碼的基礎上進行urlencode編碼（我自己碰到的坑：我的python程序用的編碼方式是：gbk，我們服務器端的編碼方式是utf-8，我最開始的時候，直接對中文進行了urlencode編碼，但是得到的結果不是想要的，最后才發現原來我urlencode之后的碼與服務器端urlencode之后的碼不同，所以當然解不出了，那么就decode('gbk').encode('utf-8')，然后得到的內容再urlencode，之后才正確。。。所以都是坑）

備注1：需要了解一下get請求在服務器端是怎么處理的？post請求在服務器端又是如何處理的？這個需要另開一篇博客專門寫一下。

備注2：關于編碼方式，以及幾種編碼方式的轉換（編碼解碼等），進行urlencode的具體方法，在python26的urllib中有urlencode方法，只能對dict進行編碼，如果只是對字符串進行編碼，需要使用urllib.quote()方法

比如：

>>> import urllib
>>> xx = {'kw': '達達'}
>>> urllib.urlencode(xx)
'kw=%B4%EF%B4%EF'
>>> ss =
 File "<stdin>", line 1
 ss =
 ^
SyntaxError: invalid syntax
>>>
>>> ss = '達達'
>>> urllib.urlencode(ss)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
 File "C:\Python26\lib\urllib.py", line 1255, in urlencode
 raise TypeError
TypeError: not a valid non-string sequence or mapping object
>>> urllib.quote(ss)
'%B4%EF%B4%EF'

查看當前處于什么編碼格式：

>>> import sys
>>> sys.getdefaultencoding()
'ascii'

編碼及解碼：

在python中使用decode和encode進行編碼和解碼，比如我們get到的str類型是gbk的，那就可以str.decode(''gbk')，之后再encode成我們想要的格式

一般情況下常用的編碼格式主要有：utf8、gbk、gb2312；在python26中默認的編碼是ascii，但是在python3.x中默認的編碼是utf-8

后面再專門針對編碼這塊做一個大塊的總結。

2、http請求端口、cookie，以及實現具體的get和post請求

http請求端口默認是80，如果不指定的話，默認走的就是80，否則就需要指定服務器端指定listen的端口。

cookie是什么？具體見：https://www.jb51.net/article/140830.htm，  主要內容：有兩個Http頭部和Cookie有關：Set-Cookie和Cookie。Set-Cookie由服務器發送，它包含在響應請求的頭部中。它用于在客戶端創建一個Cookie。Cookie頭由客戶端發送，包含在HTTP請求的頭部中。注意，只有cookie的domain和path與請求的URL匹配才會發送這個cookie。

（1）httplib庫——HTTP protocol client

切記：要從用戶手冊中學習！

httplib在python3.0中已經更名為http.client了。

class  httplib.HTTPConnection(host[,port[,strict[,timeout]]])

class  httplib.HTTPSConnection(host[,port[,key_file[,cert_file[,strict[,timeout]]]]])          ——這是HTTPConnection的一個子類，使用了SSL，用來跟安全服務器進行通信。默認的端口是443。key_file是一個pem格式的包含了密鑰的文件，cert_file是一個pem格式的證書鏈文件。

然后這個httplib的HttpConnection的類調用之后，能夠得到一個HTTPConnection的instance，就是一個HTTPConnection或者HTTPSConnection的一個對象，比如設置其名稱為conn，之后利用這個conn的對象就可以繼續走request(method,url[,body[,headers]])的請求，調用request方法之后，繼續調用conn.getresponse()，然后返回一個HTTPResponse的實例對象，例如為res，然后調用res.getheaders()方法獲取response的頭部，得到的一個(header,value)的tuple，通過res.status就可以得到狀態（200為OK，連接上的含義），res.read()就可以得到response的body信息，然后自己再針對body信息的類型，比如是json，就解析出來顯示即可。

具體的使用例子用戶手冊中也說明了：

>>> import httplib
>>> conn = httplib.HTTPConnection("www.python.org")
>>> conn.request("GET", "/index.html")
>>> r1 = conn.getresponse()
>>> print r1.status, r1.reason
301 Moved Permanently
>>> conn.request("GET", "/parrot.spam")
>>> r2 = conn.getresponse()
>>> print r2.status, r2.reason
301 Moved Permanently
>>> conn2 = httplib.HTTPConnection("jia.#")
>>> conn2.request("GET", "/standard.html")
>>> r3 = conn2.getresponse()
>>> print r3.status
200
>>> data = r3.read()
>>> print data
<!Doctype html><html lang="zh-CN"><head>.......

 以上例子中，先用的是用戶手冊的example中的例子，但是因為www.python.org被永久轉移，所以返回的結果如上；所以選擇了"jia.#"的url，之后request中請求的是標準版攝像機的頁面，即"/standard.html"，之后就能夠得到r3的結果，為200，說明連接OK了，之后就能通過r3.read()得到body的內容，通過r3.getheaders()就能獲取到header的內容。

以上都是request方法中都是"GET"方法，換成"POST"需要傳的內容會有一些差別，如下：

>>> import httplib, urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> headers = {"Content-type": "application/x-www-form-urlencoded",
...  "Accept": "text/plain"}
>>> conn = httplib.HTTPConnection("musi-cal.mojam.com:80")
>>> conn.request("POST", "/cgi-bin/query", params, headers)
>>> response = conn.getresponse()
>>> print response.status, response.reason
200 OK
>>> data = response.read()
>>> conn.close()

備注：以上代碼也是運行不通過的，因為是比較久遠的python版本的例子，主要需要注意的是：需要自己設置headers，在其中根據需要傳遞Cookie、Content-Type、Accept等信息，通過key-value的形式傳遞，具體的body中傳遞的信息，要注意是json格式的，還是通過urlencode編碼等，格式一定要跟開發溝通清楚，否則會有錯誤請求的問題，之后得到response，并獲取response的status、body、headers就與前面的"GET"method一樣了。

（2）request庫

request庫是python的第三方庫，官方文檔地址：http://www.python-requests.org/en/master/user/quickstart/#make-a-request

get請求：

>>> r = requests.get('http://httpbin.org/get')
>>> r
<Response [200]>
>>> r.text
u'{\n "args": {}, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Host": "httpbin.org", \n "User-Agent": "python-requests/2.9.1"\n }, \n "origin": "218.30
.116.9", \n "url": "http://httpbin.org/get"\n}\n'

post請求：

>>> r = requests.post('http://httpbin.org/post', data={'key':'value'})
>>> r
<Response [200]>
>>> r.text
u'{\n "args": {}, \n "data": "", \n "files": {}, \n "form": {\n "key": "value"\n }, \n "headers": {\n "Accept": "*/*", \n "Accept-Encoding": "gzip, deflate", \n "Content-Length": "9"
, \n "Content-Type": "application/x-www-form-urlencoded", \n "Host": "httpbin.org", \n "User-Agent": "python-requests/2.9.1"\n }, \n "json": null, \n "origin": "218.30.116.185", \n "url":
 "http://httpbin.org/post"\n}\n'

我這里用的還是httplib的，request的后續有詳細使用教程會補充上來。

二、https請求

1、https的請求方式：get和post

http和https的區別：

（1）url的前面是https://而不是http://，使用ssl進行加密/身份認證，并且http的默認端口是80，https的默認端口是443。

（2）因為有ssl的認證和加密，所以具體的底層的通信過程中會有不同，https的這一層在建立連接的時候，需要設置socket屬性，socket屬性的生成需要使用具體的方法調用，方法調用的參數需要指定：ca_certs=服務器端給提供的公鑰證書即可。

然后如果還有客戶端認證的話，那客戶端也可以提供出自己的key_file，cert_file。

什么是ssl？

ssl的全稱是(Secure Sockets Layer)安全套接層，另外還有TLS（Transport Layer Secure，傳輸層安全），這兩種協議都是為網絡提供安全和數據完整性的一種安全協議，在傳輸層對網絡連接進行加密。

為什么要用這個？

防止數據以及網絡連接的傳輸內容被截獲，所以涉及到個人或者重要的信息等，都需要進行建立ssl連接，通過https的請求方式加密處理。

2、https請求端口、ssl建立，以及實現具體的get和post請求

post請求：

 httpsConn = None 

 try: 
 httpsConn = httplib.HTTPSConnection(host)
 sock = socket.create_connection((httpsConn.host, httpsConn.port))
 try:
  httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv3)
  #self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv3)
 except ssl.SSLError, e:
  print("Trying SSLv3.")
  try:
  httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv23)
  #self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv23)
  except ssl.SSLError, e:
  print("Trying SSLv23.")
  try:
   httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_TLSv1)
  except ssl.SSLError, e:
   print("Trying TLSv1.")
   try:
   httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv2)
   except ssl.SSLError, e:
   print("Trying SSLv2.") 
 
 httpsConn.request("POST", path, body, headers)
 res = httpsConn.getresponse()
 headers = {}
 for k, v in res.getheaders():
  headers[k] = v
 return res.status, headers, res.read()
 except Exception, e:
 import traceback
 print traceback.format_exc()
 return e
 finally:
 if httpsConn:
  httpsConn.close

備注：

因為是客戶端證書，所以沒有使用注釋的代碼：#self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file, ssl_version=ssl.PROTOCOL_SSLv3)，這個程序中需要指定客戶端的私鑰密鑰的文件，如果只有服務器端有私鑰，客戶端有公鑰，則客戶端的程序需要指定公鑰文件，見代碼：httpsConn.sock = ssl.wrap_socket(sock, ca_certs=CERT_FILE, cert_reqs=ssl.CERT_REQUIRED, ssl_version=ssl.PROTOCOL_SSLv3)，是通過ca_certs參數指定的，CERT_FILE是文件的路徑，保證能夠找到即可；如果是是一個文件夾下有多個文件，然后這多個文件都是需要用到的，比如A域名的證書和B域名的證書，A服務器在對接口處理請求的時候，會向B端發請求，如此客戶端需要將A域名證書和B域名證書都添加進來，所以只要把文件夾路徑設置成ca_certs參數的值即可。

另外，如果不確定SSL的版本，則需要嘗試多個不同的SSL版本：ssl.PROTOCOL_TLSv1、ssl_version=ssl.PROTOCOL_SSLv2、ssl_version=ssl.PROTOCOL_SSLv23、ssl_version=ssl.PROTOCOL_SSLv3。

get請求的話，就將httpsConn.request("POST", path, body, headers)中的"POST"換成"GET"就好了，然后body設置為None即可。

3、ssl建立的過程中需要使用的證書（證書格式、證書生成、證書轉換）、什么是服務器端/客戶端校驗？私鑰公鑰的概念

服務器端會有私鑰和公鑰，公鑰會拿出來提供給客戶端，在python的具體程序中，分別是key_file和cert_file，其中cert_file要提供給客戶端。

python-cookbook中對建立ssl的連接的講解見：http://python3-cookbook.readthedocs.io/zh_CN/latest/c11/p10_add_ssl_to_network_services.html ：

以下是服務器端代碼：

from socket import socket, AF_INET, SOCK_STREAM
import ssl

KEYFILE = 'server_key.pem' # Private key of the server
CERTFILE = 'server_cert.pem' # Server certificate (given to client)

def echo_client(s):
 while True:
 data = s.recv(8192)
 if data == b'':
  break
 s.send(data)
 s.close()
 print('Connection closed')

def echo_server(address):
 s = socket(AF_INET, SOCK_STREAM)
 s.bind(address)
 s.listen(1)

 # Wrap with an SSL layer requiring client certs
 s_ssl = ssl.wrap_socket(s,
    keyfile=KEYFILE,
    certfile=CERTFILE,
    server_side=True
    )
 # Wait for connections
 while True:
 try:
  c,a = s_ssl.accept()
  print('Got connection', c, a)
  echo_client(c)
 except Exception as e:
  print('{}: {}'.format(e.__class__.__name__, e))

echo_server(('', 20000))

之后是客戶端連接服務器端的例子：

>>> from socket import socket, AF_INET, SOCK_STREAM
>>> import ssl
>>> s = socket(AF_INET, SOCK_STREAM)
>>> s_ssl = ssl.wrap_socket(s,
  cert_reqs=ssl.CERT_REQUIRED,
  ca_certs = 'server_cert.pem')
>>> s_ssl.connect(('localhost', 20000))
>>> s_ssl.send(b'Hello World?')
12
>>> s_ssl.recv(8192)
b'Hello World?'
>>>

備注：其中 ssl.wrap_socket(s,cert_reqs=ssl.CERT_REQUIRED,ca_certs = 'server_cert.pem') 的ca_certs就是需要在客戶端指定的證書，這個是服務器給的公鑰證書。

證書的格式：一般有der格式、pem格式，且格式不能單純通過后綴名去進行判定，比如一個后綴名是crt，就認為其不是pem的格式是錯誤的。

證書轉換：講解證書轉換的url地址：http://netkiller.github.io/cryptography/openssl/format.html

可以通過OpenSSL來生成證書、以及進行證書的格式轉換，比如將der轉成pem格式，或者將pem轉成der格式的。如果你不確定你的證書的格式，可以將兩種轉換都嘗試一下，因為如果原本就是pem格式的，希望通過der轉成pem格式的命令調用之后，會有錯誤產生。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“python中如何實現請求服務器”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!