Human pose estimation via Convolutional Part Heatmap Regression

ECCV 2016

reading time : 2019/09/10

paper address :https://arxiv.org/pdf/1609.01743.pdf

文章使用了CNN 级联结构学习人体部件关系和空间上下文信息，在眼中遮挡的情况下也能保持鲁棒性。

结构：detection-followed-by-regression CNN cascade. 第一部分输出部件检测热力图，第二阶段在这些热力图上进行回归。

优点：可以有效的处理遮挡（因为第一阶段的部件检测的部件热力图的置信度在遮挡的地方比较低，这样可以知道后续的回归依靠上下文信息预测部件的位置）




 

方法：Part detection subnetwork。使用的是per-pixel softmax loss。



          Regression subnetwork。使用的是L2 loss



 

转发（防止原网址丢失）https://www.cnblogs.com/2207-iHome/p/5955535.html
逆运动学问题一般采用解析法和基于Jacobian矩阵的迭代方法，前者虽然精度高而且能达到实时的效果，但是随着关节的增多，自由度随着增多，数学建模也变得很困难，甚至不可解。而后者很难达到实时的效果。
算法思想

　　Cyclic Coordinate Descent (CCD) 是一个启发式的迭代搜索算法，它通过每一次只改变一个关节的参数来逐步减少位置误差和姿态误差，每个迭代过程包括一个从关节链结构的末端到基点的遍历过程。由于CCD 方法将多关节的关节链问题简化为单关节问题，可以用解析法处理，因此每一步的迭代可以相当快。当求得每个关节的参数 (转角)θ后，将其代入正向运动学方程求得末端效器和每个关节的位置。从运动链的末端开始 , 逐步改变每个关节的旋转角度。先是改变最末端的关节，末端关节到末段执行器的向量为图中蓝色线段，末端关节到目标点的向量为图中红色线段。求出 2 个向量的夹角α，让末端关节下的子链绕旋转轴转α角度，则末端执行器达到一个新位置。若没有达到目标，则继续取当前关节的上一关节，改变其旋转角度，直到选到根节点。若末端还没有达到目标位置，则又从末端关节开始新一轮运动，直到位置误差足够小或者到达了给定的循环次数。







Python代码
# -*- coding: utf-8 -*-
import vrep             # V-rep library
import sys      
import time
import math  

# This function will convert an angle to the equivalent rotation in the range [-pi,pi]
def ConfineAngle(angle):
    angle = angle % (2.0 * math.pi)
    if( angle < -math.pi ):
        angle += (2.0 * math.pi)
    if( angle > math.pi ):
        angle -= (2.0 * math.pi)
    return angle


def CalcIK():
    id = linkNum - 1
    while id >= 0:
        retcode, J_pos = vrep.simxGetObjectPosition(clientID,joint_handle[id],-1,vrep.simx_opmode_oneshot_wait)
        retcode, tip = vrep.simxGetObjectPosition(clientID,tip_handle, -1, vrep.simx_opmode_oneshot_wait)
        
        # Get the vector from the current bone to the end effector position.
        curToEndX = tip[0] - J_pos[0]
        curToEndY = tip[1] - J_pos[1]
        curToEndMag = math.sqrt( curToEndX*curToEndX + curToEndY*curToEndY )
          
        # Get the vector from the current bone to the target position.
        curToTargetX = target[0] - J_pos[0];
        curToTargetY = target[1] - J_pos[1];
        curToTargetMag = math.sqrt(curToTargetX*curToTargetX+curToTargetY*curToTargetY)
          
        # Get rotation 
        endTargetMag = curToEndMag*curToTargetMag
        if endTargetMag <= 0.0001:    # prevent division by small numbers
            cosRotAng = 1
            sinRotAng = 0
        else:
            cosRotAng = (curToEndX*curToTargetX + curToEndY*curToTargetY) / endTargetMag
            sinRotAng = (curToEndX*curToTargetY - curToEndY*curToTargetX) / endTargetMag
        
        # Clamp the cosine into range when computing the angle(might be out of rangedue to floating point error)
        rotAng = math.acos(max(-1, min(1,cosRotAng)))
        if  sinRotAng < 0.0:
            rotAng = -rotAng
                
        q[id] = q[id] + rotAng
        
        # Rotate the current link
        if(id == 0):
            vrep.simxSetJointPosition(clientID,joint_handle[id], ConfineAngle(q[id])+math.pi/2, vrep.simx_opmode_oneshot)
        else:
            vrep.simxSetJointPosition(clientID,joint_handle[id], ConfineAngle(q[id]), vrep.simx_opmode_oneshot)
        
        # Check for termination
        retcode, tip = vrep.simxGetObjectPosition(clientID,tip_handle, -1, vrep.simx_opmode_oneshot_wait)
        endToTargetX = (target[0] - tip[0])
        endToTargetY = (target[1] - tip[1])
        error = math.sqrt(endToTargetX*endToTargetX + endToTargetY*endToTargetY)
        if( error <= stol ):
            # We found a valid solution.
            return 1, error
        id = id - 1
        
    return 0, error  # cannot get to the target in this iteration
    
    
        
if __name__ == "__main__":
    # Starts a communication thread with the server
    clientID = vrep.simxStart('127.0.0.1', 20001, True, True, 5000, 5)
    
    # clientID: the client ID, or -1 if the connection to the server was not possible
    if clientID != -1:  #check if client connection successful
        print 'Connected to remote API server'
    else:
        print 'Connection not successful'
        sys.exit('Could not connect')    # Exit from Python


    # Retrieves an object handle based on its name.
    errorCode,tip_handle = vrep.simxGetObjectHandle(clientID,'tip',vrep.simx_opmode_oneshot_wait)
    errorCode,target_handle = vrep.simxGetObjectHandle(clientID,'target',vrep.simx_opmode_oneshot_wait)
    errorCode,consoleHandle = vrep.simxAuxiliaryConsoleOpen(clientID,'info',4,1+4,None,None,None,None,vrep.simx_opmode_oneshot_wait)
    joint_handle = [-1,-1,-1]    # store the joint handles
    for i in range(3):
        errorCode,joint_handle[i] = vrep.simxGetObjectHandle(clientID,'j'+str(i+1),vrep.simx_opmode_oneshot_wait)

    ilimit = 100    # maximum iteration
    stol = 1e-2     # tolerance
    q = [0,0,0]     # initial joint value
    linkNum = 3     # number of links
    
    retcode, target = vrep.simxGetObjectPosition(clientID,target_handle, -1, vrep.simx_opmode_oneshot_wait)
    retcode, tip = vrep.simxGetObjectPosition(clientID,tip_handle, -1, vrep.simx_opmode_oneshot_wait)
    
    count = 0    
    isOK = 0
    while ( not isOK ):    
        isOK,err = CalcIK()
        
        vrep.simxAuxiliaryConsolePrint(clientID,consoleHandle,None,vrep.simx_opmode_oneshot_wait) 
        count = count + 1
        vrep.simxAuxiliaryConsolePrint(clientID,consoleHandle,str(count)+' iterations err:'+str(err),vrep.simx_opmode_oneshot_wait)   
        
        if count > ilimit:
            vrep.simxAuxiliaryConsolePrint(clientID,consoleHandle,"Solution wouldn't converge\r\n",vrep.simx_opmode_oneshot_wait)
            break
        #time.sleep(0.1)
    
    # Ends the communication thread. This should be the very last remote API function called on the client side
    vrep.simxFinish(clientID)

Single-Shot Refinement Neural Network for Object Detection
摘要

单级方法高效，两级方法准确。取两者之长处，克服其缺点，提出单级方法——Refine-Net。精准度高于两级方法。
两个内联模块组成

anchor校准模块——过滤掉无效的anchor，缩小分类器的搜索空间。
物体检测模块——粗略地调整anchor的位置和大小，为后续的回归提供更好的初始化。


物体检测模块以上一个模块改善后的anchor作为输入，进一步提高回归和预测的效果。
设计了，传输连接块(transfer connection block)，把特征从第一个模块传递到第二个模块。
多任务loss，实现end2end

1 引言


两级方法框少，单级方法框多(anchor 多)。


单级方法精确度不好是因为，类别不平衡。什么叫做类别不平衡?


RON在卷积特征图中使用对象先验约束，大幅度减小了物体搜索空间。


Focal loss for dense object detection中使用——重新构造标准交叉熵来集中训练hard examples的一个稀疏集，并且将分配给分类良好的事例的损失降低到最小——的方法来解决这问题。


Single Shot Scale-invariant Face Detector中提出max-out标签机制来解决这个问题。


两级方法有三个优点

使用两级结构简单的处理了类别不平衡的问题。
使用了两步级联对目标边界框参数进行回归。
使用两阶段特征去描述目标。

（Emmmmmm，这怎么就是优点了。）


2 相关工作
pass
3 网络结构

转移连接块(Transfer Connection Block)。

连接两个ARM和ODM
整合大尺度上下文信息，通过把高级特征加入被传送的特征中。反卷积高级特征来扩大feature map的大小，使用元素级的求和。
相加之后，在经过一个卷积层以保证特征可的可识别度。


两部级联回归

单级检测方法使用基于不同尺度特征层的单步回归来预测对象的位置和大小，对小物体不准确。
ARM先调整anchor的大小和位置，为ODM提供更好的anchor初始化位置。


过滤错误anchor，先把容易分类的错误anchor过滤掉。

CATSTRUCT连接或合并具有不同字段名的结构

X = CATSTRUCT（S1，S2，S3，...）将结构S1，S2，S3 ...合并为一个新结构X。X包含各种

结构中存在的所有字段 。例如：

A.name = 'Me' ;

B.income = 99999 ;

X = catstruct(A,B)

% -> X.name = 'Me' ;

% X.income = 99999 ;

如果字段名在结构之间不是唯一的（即，一个以上的结构中存在一个字段名），则仅使用具有该字段的最后一个结构中的值。在这种情况下，字段按字母顺序排序。也会发出警告。

一个例子：

S1.name = 'Me' ;

S2.age = 20 ; S3.age = 30 ; S4.age = 40 ;

S5.honest = false ;

Y = catstruct(S1,S2,S3,S4,S5) % use value from S4

输入可以是结构数组。所有结构应具有相同的大小。例如：

C(1).bb = 1 ; C(2).bb = 2 ;

D(1).aa = 3 ; D(2).aa = 4 ;

CD = catstruct(C,D) % CD is a 1x2 structure array with fields bb and aa

最后一个输入可以是字符串“ sorted”。在这种情况下，

CATSTRUCT（S1，S2，...，'sorted'）将按字母顺序对字段名称进行排序。要对结构A的字段名进行排序，可以使用CATSTRUCT（A，'sorted'），但我建议使用ORDERFIELDS。

当没有要串联的内容时，结果将是一个空结构（没有字段的0x0结构数组）。

注意

要串联相似的结构数组，可以使用简单的串联：

A = dir('*.mat') ; B = dir('*.m') ; C = [A ; B] ;

 

完整资料领取：https://ai.52learn.online/9653