怎么用Python對圖像數據Data Augmentation進行增強

發布時間：2021-09-06 10:00:22 來源：億速云閱讀：162 作者：chen 欄目：開發技術

這篇文章主要講解了“怎么用Python對圖像數據Data Augmentation進行增強”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么用Python對圖像數據Data Augmentation進行增強”吧！

1.1 簡介

深層神經網絡一般都需要大量的訓練數據才能獲得比較理想的結果。在數據量有限的情況下，可以通過數據增強（Data Augmentation）來增加訓練樣本的多樣性，提高模型魯棒性，避免過擬合。

在計算機視覺中，典型的數據增強方法有翻轉（Flip），旋轉（Rotat ），縮放（Scale），隨機裁剪或補零（Random Crop or Pad），色彩抖動（Color jittering），加噪聲（Noise）

筆者在跟進視頻及圖像中的人體姿態檢測和關鍵點追蹤（Human Pose Estimatiion and Tracking in videos）的項目。因此本文的數據增強僅使用——翻轉（Flip），旋轉（Rotate ），縮放以及縮放（Scale）

2.1 裁剪（Crop）

image.shape--([3, width, height])一個視頻序列中的一幀圖片,裁剪前大小不統一
bbox.shape--([4,])人體檢測框，用于裁剪
x.shape--([1,13]) 人體13個關鍵點的所有x坐標值
y.shape--([1,13])人體13個關鍵點的所有y坐標值

def crop(image, bbox, x, y, length):
    x, y, bbox = x.astype(np.int), y.astype(np.int), bbox.astype(np.int)

    x_min, y_min, x_max, y_max = bbox
    w, h = x_max - x_min, y_max - y_min

    # Crop image to bbox
    image = image[y_min:y_min + h, x_min:x_min + w, :]

    # Crop joints and bbox
    x -= x_min
    y -= y_min
    bbox = np.array([0, 0, x_max - x_min, y_max - y_min])

    # Scale to desired size
    side_length = max(w, h)
    f_xy = float(length) / float(side_length)
    image, bbox, x, y = Transformer.scale(image, bbox, x, y, f_xy)

    # Pad
    new_w, new_h = image.shape[1], image.shape[0]
    cropped = np.zeros((length, length, image.shape[2]))

    dx = length - new_w
    dy = length - new_h
    x_min, y_min = int(dx / 2.), int(dy / 2.)
    x_max, y_max = x_min + new_w, y_min + new_h

    cropped[y_min:y_max, x_min:x_max, :] = image
    x += x_min
    y += y_min

    x = np.clip(x, x_min, x_max)
    y = np.clip(y, y_min, y_max)

    bbox += np.array([x_min, y_min, x_min, y_min])
    return cropped, bbox, x.astype(np.int), y.astype(np.int)

2.2 縮放（Scale）

image.shape--([3, 256, 256])一個視頻序列中的一幀圖片，裁剪后輸入網絡為256*256
bbox.shape--([4,])人體檢測框，用于裁剪
x.shape--([1,13]) 人體13個關鍵點的所有x坐標值
y.shape--([1,13])人體13個關鍵點的所有y坐標值
f_xy--縮放倍數

def scale(image, bbox, x, y, f_xy):
    (h, w, _) = image.shape
    h, w = int(h * f_xy), int(w * f_xy)
    image = resize(image, (h, w), preserve_range=True, anti_aliasing=True, mode='constant').astype(np.uint8)

    x = x * f_xy
    y = y * f_xy
    bbox = bbox * f_xy

    x = np.clip(x, 0, w)
    y = np.clip(y, 0, h)

    return image, bbox, x, y

2.3 翻轉（fillip）

這里是將圖片圍繞對稱軸進行左右翻轉（因為人體是左右對稱的，在關鍵點檢測中有助于防止模型過擬合）

def flip(image, bbox, x, y):
    image = np.fliplr(image).copy()
    w = image.shape[1]
    x_min, y_min, x_max, y_max = bbox
    bbox = np.array([w - x_max, y_min, w - x_min, y_max])
    x = w - x
    x, y = Transformer.swap_joints(x, y)
    return image, bbox, x, y

翻轉前：