手把手带你复现ICCV 2017经典论文—PyraNet

  • 时间:
  • 浏览:1
  • 来源:uu快3计划师_uu快3app苹果_全天计划

LSP && LSP_extended

从个应学习路径来讲,我其实就 TensorFlow 和现在流行的 PyTorch 而言,前者是业界工程依赖程度高,后者是研究者使用方便,PaddlePaddle 需用有有另两个清晰的受众定位和有效的推广机制。

newimg = cv2.flip(img, 1)

'''对图片进行翻转'''

使用 OpenCV 中的 flip 进行翻转,并对标注点进行补救。在 OpenCV 中 flip 函数的参数有 1 水平翻转、0 垂直翻转、-1 水平垂直翻转并与非 。

newimg = newimg.transpose(2, 0, 1)

MPII数据集简介

img = cv2.resize(big_img[min_y: max_y, min_x: max_x,:], (width, height))

查了一下资料,PaddlePaddle 最早在 16 年就可能性对外开放,然而可能性可能性我该人入门做机器学习时间较晚有关,在复现活动前会,我统统我听过有有另两个开源强度学习平台而我沒有乎 其名字。

bbox[:2] += add

文件 joints.mat 是 MATLAB 数据格式,涵盖了有另两个以 x 坐标、y 坐标和有另两个表示关节可见性的二进制数字所构成的 3 x 14 x 1000 的矩阵。使用模块 scipy.io 的函数 loadmat 和 savemat 都也能实现对 mat 数据的读写。读入后对原始标注进行转置,转置目的是分离每个图片的标注。

MPII 地址:

for i in range(n):

要注意 OpenCV 和 PIL 读入的 RGB 顺序是不一样的,在使用不同库进行补救需用转换通道。

包括以下 16 类标注:

coor = np.dot(rot, coor) + w

关于训练的过拟合抢救

作者用到了几种数据增强的手段:

shape = im.shape

fluid.recordio_writer.convert_reader_to_recordio_file("./work/test_" + str(i) + "_test.recordio",

MATLAB格式读入

数据增强

我所采用的措施是直接再加 10% 高斯分布的颜色点作为噪声。人为地损失要素通道信息也都也能达到再加彩色噪声的效果。

(88.995834, 187.24898);(107.710065, 1100.57408);(119.648575, 124.100561) (135.3259, 124.53958);(145.38748, 155.4263);(133.68799, 165.95587) (118.47862, 109.3100215);(108.41703, 104.610042);(120.81852, 84.05927) (151.70525, 86.63316);(162.93677, 101.14057);(161.29883, 124.773575) (136.0279, 85.93119);(138.13379, 66.1009995)

MPII 数据集是以 JSON 格式进行的标注,都也能通过 JSON 库进行读入。

mode = 'train'), batch_size=1)

原文发布时间为:2018-11-9

'''产生图像大小10%的随机点'''

x = np.random.randint(0,image.shape[0])

尽管这么 ,在使用一定时间后,我其实还是其实挺方便的。并与非 框架的使用群体目前未必多,对大公司来讲朋友全部与非 内部人员该人对 TensorFlow 的封装性优化平台,对入门者而言往往又全部与非 这么 首选.

add = np.array([rotMat[0][2], rotMat[1][2]])

rot = rotMat[:, : 2]

{Head – 0, Neck – 1, Right Shoulder – 2, Right Elbow – 3, Right Wrist – 4, Left Shoulder – 5, Left Elbow – 6, Left Wrist – 7, Right Hip – 8, Right Knee – 9, Right Ankle – 10, Left Hip – 11, Left Knee – 12, Left Ankle – 13, Chest – 14, Background – 15}

noise_img = image

data = sio.loadmat(self.lsp_anno_path[count])

在并与非 具体例子中,进行数据增强的前会要考虑的是:1)形变会不不影响结果;2)会不不丢掉要素节点。

#self.show(bimg)

objcenter = np.array([bbox[0] + bbox[2] / 2., bbox[1] + bbox[3] / 2.])

for (l, r) in symmetry:

 ●  旋转 rotate ●  翻转 flip ●  再加颜色噪声 add color noise

缩放

label.append((cod[i][0],cod[i][1]))

rot = rotMat[:, : 2]

可能性是单人数据集,该数据集的训练难度比多人数据集更简单。



import cv2

def add_color_noise(self, image, percentage=0.1):

MPII 样本数:21000 个(单人、多人)

http://sam.johnson.io/research/lspet_dataset.zip

PCK@0.2 on LSP && LSP-extended:以驱干直径为归一化标准。

angle = random.uniform(45, 135)

2. 从图像空间性质上考虑,还都也能使用随机裁剪、平移;

cv2.getRotationMatrix2D((center_x, center_y) , angle, 1.0)

cod[l], cod[r] = cod[l], cod[r]

import scipy.io as sio

import numpy as np

左:原图,右:缩放后

if 'joints' in dic:

论文的评价标准

def flip(self, img, cod, anno_valid, symmetry):

http://human-pose.mpi-inf.mpg.de/#overview

PCK:检测的关键点与其对应的 groundtruth 之间的归一化距离小于设定阈值的比例。在本篇论文中,作者将图片中心作为身体的位置,并以图片大小作为衡量身体尺寸的标准。

LSP && LSP_extended 共 1100 个标注,节点是以下 14 个:

LSP_extended 样本数:1000 个(全身,单人)

http://sam.johnson.io/research/lsp_dataset.zip

add = np.array([rotMat[0][2], rotMat[1][2]])

joint_id = idd + len(joints) if count else idd

对于 LSP 测试集,作者使用的是图像的中心作为身体的位置,并直接以图像大小来衡量身体大小。数据集里的原图片是大小不一的(原图尺寸处在 bbox 里),一般采取 crop 的措施有好几种,比如直接进行 crop,怎么让 放大,原先做很明显会有丢失关节点的可能性性。也都也能先把图片插进中间,怎么让 将图片缩插进目标尺寸范围内原尺寸的可缩放的大小,怎么让 四条边还需用填充的距离,最后 resize 到应有大小。

newimg = cv2.warpAffine(img, rotMat, (width, height))

从官方开源的某些 demo 项目来讲,对推荐和文本补救方面的应用比较友好,搜索相关关键字也能获得统统入门的博客、在不同环境的安装指南,官方甚至还做了教学视频。

rotMat = cv2.getRotationMatrix2D((center[0], center[1]) , angle, 1.0)

label.append((coor[0], coor[1]))

MPII 人体姿势数据集是人体姿势预估的有另两个 benchmark,数据集包括了超过 40k 人的 21000 张带标注图片,那些图片是从 YouTube video 中抽取出来的。在测试集中还收录了身体部位遮挡、3D 躯干、头部方向的标注。

并与非 数据集是由 Flickr 上‘Volleyball’, ‘Badminton’, ‘Athletics’, ‘Baseball’, ‘Gymnastics’, ‘Parkour’, ‘Soccer’, ‘Tennis’(原数据集), ‘parkour’, ‘gymnastics’, and ‘athletics’ (扩展集)等标签所构成。

bbox = [0, 0, shape[1], shape[0]]

train_data[cnt++] = newimg

bbox = np.array(dic['bbox']).reshape(4, ).astype(np.float32)

示例图:

x, y = anno[i][0], anno[i][1]

anno = json.load(self.mpii_anno_pah)

据说当前版本的 Fluid 在编写逻辑上和过去的版本可能性有了很大的区别,在使用上直观的感受是和 TensorFlow 有一定的累似 性。

for i in range(n):

1. 从颜色上考虑,还都也能做图像亮度、饱和度、对比度变化、PCA Jittering(按照 RGB 有另两个颜色通道计算均值和标准差后在整个训练集上计算协方差矩阵,进行行态分解,得到行态向量和行态值);

big_img = cv2.copyMakeBorder(img, add, add, add, add, borderType = cv2.BORDER_CONSTANT, value=self.pixel_means.reshape(-1))

y = np.random.randint(0,image.shape[1])

但可能性夹生悉并与非 框架,也会遇到某些什么的问题:一现在开始了了英文在 AI 开放平台上找了半天没找到文档入口,在搜索引擎上才发现有原先 paddlepaddle.org 的入口;当某些算子的名字和某些框架不太一样的前会,不太容易从文档里找到;不清楚不同版本之间的区别(能跑就行?);官网介绍对大规模计算友好、对可视化的支持均这么 体验;Notebook 非常容易崩等什么的问题等等……

joints = np.transpose(joints, (2, 1, 0))

minx, miny, maxx, maxy = compute(extend_border, objcenter, in_size, out_size)

示例图的十两个标注点:

LSP 样本数:100 个(全身,单人)

PCKh@0.5 on MPII:以头部为归一化标准。

4. 从类别分布的强度,都也能采用 label shuffle、Supervised Data Augmentation(海康威视 ILSVRC 2016 的 report)。

翻转

除此之外,以下数据增强的措施也很常见:

process(joints_anno)

image_name = "im%s.jpg" % str(idd + 1).zfill(5) if count else "im%s.jpg" % str(idd + 1).zfill(4)

将每个图片打包成(图片,标注,bounding box)的形式,bounding box 即图片大小,其目的是将大小不一的图片补救成 256 x 256 的大小。

3. 从噪声强度,高斯噪声、椒盐噪声、模糊补救;

noise_img[x, y, i] = noise_img[x, y, i] + random.gauss(2,4)

noise_img[x, y, i] = 255 if noise_img[x, y, ch] > 255 else 0

制作Paddle数据

coor = np.dot(rot, coor) + add

'''再加噪声'''

joint_dict[joint_id] = {'imgpath': im_path, 'joints': joint_idd, 'bbox': bbox}

num = int(percentage*image.shape[0]*image.shape[1])

coor = np.array([x, y])

train_data[counter] = newimg.transpose(2, 0, 1)

from PIL import Image

for i in range(num):

train_label[cnt++] = np.array(label)

LSP 地址:

joints = data['joints']

使用 paddle.batch 批量读入数据,并制作成 Paddle 的数据格式。

再加颜色噪声

for idd, joint_idd in enumerate(joints):

reader = paddle.batch(self.read_record(test_list, joint_dict,

train_label[cnt++] = np.array(label)

本文作者:Dicint

im = np.asarray(im)

newimg = cv2.warpAffine(img, rotMat, (width, height))

{1. Right ankle 2. Right knee 3. Right hip 4. Left hip 5. Left knee 6.Left ankle 7.Right wrist 8. Right elbow 9. Right shoulder 10. Left shoulder 11. Left elbow 12. Left wrist 13. Neck 14. Head top}

这里采用的是先扩展边缘,怎么让 放大图片,再进行 crop,原先做也能保证图片中心补救后依然在中心位置,且这么 关节可能性 crop 而丢失。注意在补救图片的同需用用对标注也进行补救。

旋转

该要素代码:

def rotate(self, img, cord, anno, center):

for j in range(3):

旋转后点的坐标需用通过有另两个旋转矩阵来确定 ,在网上的开源代码中,作者使用了以下矩阵的变换矩阵围绕着 (x,y) 进行任意强度的变换。

feeder=feeder, reader_creator=reader)

LSP_extended 地址:

每个图片都由 Amazon Mechanical Turk 和累似 的途径标注而来,未必强度准确。那些图片被缩放至每我该人要花费 100 px 长度进行标注,涵盖了 14 个节点。

读入数据后,需用先把大小不一的标注图片统一转再加 256 x 256。

import json

在 OpenCV 中都也能使用:

JSON格式读入

得到转换矩阵,并通过仿射变换得到旋转后的图像。而标注点都也能直接通过旋转矩阵获得对应点。

LSP数据集简介

return noise_img

关于PaddlePaddle

im = Image.open(im_path)

'''补救标注点,symmetry是flip后所对应的标注,具体需用我该人根据实际情況确定 '''

im_path = os.path.join(self.lsp_data_path[count], image_name)

数据集补救

对于容易过拟合的数据,数据增强是比较重要的,训练的前会学习率需用必须太多,当一次训练过拟合后,都也能从 loss 曲线波动的地方回溯到较为平稳的点,并以平稳点的学习率为起点,以更低的学习率接上上次学习。