91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
  • 首頁 > 
  • 教程 > 
  • 開發技術 > 
  • Python3怎么實現將本地JSON大數據文件寫入MySQL數據庫的方法

Python3怎么實現將本地JSON大數據文件寫入MySQL數據庫的方法

發布時間:2021-05-07 12:26:33 來源:億速云 閱讀:247 作者:小新 欄目:開發技術

這篇文章給大家分享的是有關Python3怎么實現將本地JSON大數據文件寫入MySQL數據庫的方法的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。

python有哪些常用庫

python常用的庫:1.requesuts;2.scrapy;3.pillow;4.twisted;5.numpy;6.matplotlib;7.pygama;8.ipyhton等。

具體如下:

最近導師給了一個yelp上的評論數據,數據量達到3.55個G,如果進行分析時直接使用本地文件,選擇python來分析,那么效率是非常低的;另一方面使用SQL來儲存文本文件最為安全,之前使用CSV,txt存儲的文本文件最后莫名其妙地出現一些奇怪字符,導致讀取數據分割時出現錯亂。下面給出一個簡單的代碼,將本地JSON文件內容存入數據庫。

說明:python版本為3.5,使用第三方庫為pymysql。因為數據量比較大,不能一次性讀取到內存(否則內存報錯),這里使用逐行讀取的方式。數據庫先創建后再使用以下代碼;

import json
import pymysql
# 讀取review數據,并寫入數據庫
# 導入數據庫成功,總共4736897條記錄
def prem(db):
  cursor = db.cursor()
  cursor.execute("SELECT VERSION()")
  data = cursor.fetchone()
  print("Database version : %s " % data) # 結果表明已經連接成功
  cursor.execute("DROP TABLE IF EXISTS review") # 習慣性
  sql = """CREATE TABLE review (
       review_id VARCHAR(100),
       user_id VARCHAR(100),
       business_id VARCHAR(200),
       stars INT,
       text VARCHAR(10000) NOT NULL,
       useful INT,
       funny INT,
       cool INT)"""
  cursor.execute(sql) # 根據需要創建一個表格
def reviewdata_insert(db):
  with open('E:/data/yelp_data/dataset/review.json', encoding='utf-8') as f:
    i = 0
    while True:
      i += 1
      print(u'正在載入第%s行......' % i)
      try:
        lines = f.readline() # 使用逐行讀取的方法
        review_text = json.loads(lines) # 解析每一行數據
        result = []
        result.append((review_text['review_id'], review_text['user_id'],      review_text['business_id'],review_text['stars'], review_text['text'], review_text['useful'],
              review_text['funny'], review_text['cool']))
        print(result)
        inesrt_re = "insert into review(review_id, user_id, business_id, stars, text, useful,      funny, cool) values (%s, %s, %s, %s,%s, %s,%s, %s)"
        cursor = db.cursor()
        cursor.executemany(inesrt_re, result)
        db.commit()
      except Exception as e:
        db.rollback()
        print(str(e))
        break
if __name__ == "__main__": # 起到一個初始化或者調用函數的作用
  db = pymysql.connect("localhost", "root", "password(你的密碼)", "數據庫名稱", charset='utf8')
  cursor = db.cursor()
  prem(db)
  reviewdata_insert(db)
  cursor.close()

感謝各位的閱讀!關于“Python3怎么實現將本地JSON大數據文件寫入MySQL數據庫的方法”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

扎鲁特旗| 涪陵区| 高要市| 梁平县| 泽州县| 乾安县| 桐乡市| 乐安县| 黄浦区| 阜新市| 德昌县| 民县| 高雄市| 玛曲县| 南丹县| 兰溪市| 仪陇县| 卓资县| 茶陵县| 宽城| 五寨县| 松滋市| 津市市| 晋宁县| 策勒县| 阿城市| 山丹县| 柳河县| 永顺县| 洛宁县| 衡阳市| 太康县| 长宁县| 冷水江市| 泸溪县| 宜阳县| 大石桥市| 福州市| 禹州市| 孟村| 仙桃市|