kinect
[应用展示] [其他] 虚拟现实演示：kinect体感操作自己的游戏（看视频）！http://bbs.9ria.com/thread-85838-1-1.html
 

使用Kinect采集景物的点云数据，经过深度图像增强、点云计算与配准、数据融合、表面生成等步骤，完成对景物的三维重建。



 

深度图像的获取

景物的深度图像由Kinect在Windows平台下拍摄获取，同时可以获取其对应的彩色图像。为了获取足够多的图像，需要变换不同的角度来拍摄同一景物，以保证包含景物的全部信息。具体方案既可以是固定Kinect传感器来拍摄旋转平台上的物体；也可以是旋转Kinect传感器来拍摄固定的物体。

 

点云配准

 

性能优化

Kinect等深度传感器的出现，不仅给娱乐应用带来了变革，同样对科学研究提供了新的方向。尤其是在三维重建领域。然而由于三维重建过程涉及到大量密集的点云数据处理，计算量巨大，所以对系统进行相应的性能优化显得非常的重要。

 

 

KinectFusion：用运动的深度相机进行实时3D重建及交互    *

 KinectFusion使用户可以手持Kinect移动，仅用Kinect的深度信息来追踪传感器的3D姿态，实时重建室内场景的详细3D模型。 本文详细描述了KinectFusion的作用性能和新提出的基于GPU的流水线。 我们展示了这个低成本手持扫描设备，几何感知增强现实，实物交互的核心系统。 此核心GPU流水线的新扩展论证了：不降低摄像头追踪和重建的精确度，直接在设备前和用户交互，物体分割。这些扩展可以使在任何平面或三维重建物体表面都可以实时多点触控交互。



一 . 引言

       

       深度摄像机不是新概念，但Kinect以前的类似设备都很贵。考虑到实时特性，价格便宜，深度感知的质量优异，Kinect已经吸引了大批研究人员和爱好者。

 

        Kinect运用结构良好的光学技术形成实时的实物场景的离散测量点深度图。这些测量值可以投影变换到一系列离散3D点（或点云）。虽然与别的可商用的深度摄像机所提供的深度数据相比有优势，Kinect的噪声（图2B和3左）也会引起深度测量值波动，深度图包含没有读到的“空洞”。

 

        应用于游戏，物理，或CAD，高等级表面几何等的3D模型都需要来源于这些有噪音的点数据。一个简要方法是做出如下强假设： 可利用周边点的连接性（深度数据）来生成一个mesh。但结果噪声明显，并且只是从单一固定角度观看，如图2C。要生成一个完整严密的3D模型，必须从不同视角捕获实物场景，并融合成一个单一表示。

 



 

        本文展示了一个新的交互性重建系统（KinectFusion）。系统实时的从移动着的Kinect摄像头中获得深度数据，实时创建一个高质量，几何精确的3D模型。一用户手持标准kinect，可在室内任意移动，并在几秒内重建出实物场景的3D模型。系统连续跟踪标定摄像头姿势的六个自由度，把场景的不同新视角融进一个global surface-based展示。一个新的GPU流水线使精确的摄像头跟踪和实时交互速度的表面重建成为可能。本文详细描述了我们新系统的性能和GPU流水线的详细实现。

 

        KinectFusion用一个廉价的手持扫描设备，核心应用为从重建的场景中分割感兴趣的物体的新型交互方法。我们也表明实时3D模型如何应用于几何感知的增强现实和以实物为基础的交互。这个交互把虚拟世界和现实世界更真实的融合。

        

        把这个系统放在用户需要在传感器前与之动态交互的环境中，揭示了一个基本的挑战：我们无法假定场景在摄像头前静态不动。我们举出了一个用户在摄像头前移动所造成的失败案例，我们也阐述了一些新方法来克服。最终使摄像头得以追踪并重建一个静态的背景场景，同时分割，重建，跟踪前景物体，包括用户在内。我们用这个方法可以在任何位置建立实时多点触控交互，使用户可以方便的触控任何物质表面，不论平面还是非平面的。

 

三维重建的步骤

 

 

 

 

 

 

 

 

 

 

 

Kinect for windows 10月在中国发布。发布第二天通过京东Kinec我就到手了。
微软的Kinect for windows sdk 发现范例中只包含C#或VB语言开发的项目.
网络上开源的OpenNI仅支持Xbox 360 Kinect 不支持 PC Kinect.
现发布一个JAVA调用kinect for windows的一个工具包(JAVASE).
工具包实现了身体每个部位的监听和语言识别。
安装说明:
需要安装kinect for windows Runtime.
不支持Xbox 360 kinect.不支持OpenNI kinect驱动，仅支持微软的kinect驱动.
kinectbridge.jar中已经包含了所有身体部位的监听listener，在代码中只需注册相应部位的监听器即可.
压缩包内personImage.png是每个节点的名称供大家参考。
需要安装.NET framework4.0
代码中注释就不详细，范例代码有点乱别见怪.那是我从我的java kinect for mario游戏项目中直接抠出来的。^_^
现在分享给大家。
范例中部分代码:
public class Runner extends Thread{
/**
* @param args
* @throws InterruptedException
*/
public static void main(String[] args) throws InterruptedException {
ManagerHelper.INSTANCEOF.openKinect();//开启kinect
ManagerHelper.INSTANCEOF.regsitListener();//注册监听器
}
}
package org;
import org.base.SystemListener;
import org.control.listener.HeadListener;
import org.control.listener.LeftFootListener;
import org.control.listener.LeftHandListener;
import org.control.listener.LeftKneeListener;
import org.control.listener.RightFootListener;
import org.control.listener.RightHandListener;
import org.control.listener.RightKneeListener;
import org.cxy.kinect.KinectManager;
import org.cxy.kinect.body.Body;
public class ManagerHelper {
public static ManagerHelper INSTANCEOF=new ManagerHelper();
/**
* 注册身体监控事件
*/
public void regsitListener()
{
KinectManager.INSTANCEOF.getBody().getHead().setPartChangeListener(new HeadListener());
KinectManager.INSTANCEOF.getBody().getLeftFoot().setPartChangeListener(new LeftFootListener());
KinectManager.INSTANCEOF.getBody().getLeftHand().setPartChangeListener(new LeftHandListener());
KinectManager.INSTANCEOF.getBody().getRightFoot().setPartChangeListener(new RightFootListener());
KinectManager.INSTANCEOF.getBody().getRightHand().setPartChangeListener(new RightHandListener());
KinectManager.INSTANCEOF.getBody().getRightKnee().setPartChangeListener(new RightKneeListener());
KinectManager.INSTANCEOF.getBody().getLeftKnee().setPartChangeListener(new LeftKneeListener());
}
public void openKinect()
{
SystemListener systemListener=new SystemListener();
KinectManager.INSTANCEOF.openKinect(systemListener);
KinectManager.INSTANCEOF.openBodyProcess();//开启身体监控进程
}
/**
* 开启语言识别
* @param words 关键词
*/
public void openSpeech(String[]words)
{
KinectManager.INSTANCEOF.openSpeechProcess(words);
}
public void stopKinect()
{
KinectManager.INSTANCEOF.stopKinect();
}
public Body getBody()
{
return KinectManager.INSTANCEOF.getBody();
}
}
/**
* 监听类
* @author Administrator
*
*/
public class HeadListener implements PartChangeListener {
@Override
public void notifyChanged(Part part) {
System.out.println("头:Y:"+part.getY());
float newy=(part.getY());
if(newy<0)
{
System.out.println("你跳了");
}else
{
}
}
}
public class SystemListener implements KinectListener{
@Override
public void kinectStarted() {
System.out.println("kinect 启动");
}
@Override
public void kinectStoped() {
System.out.println("kinect 停止");
}
@Override
public void onNotifyBody() {
ControlCenter.INSTANCEOF.doWork();
}
@Override
public void onSpeechListened(String word) {
System.out.println("你说:"+word);
}
}
范例和工具包下载地址:

原文链接
Kinect V1 和 V2 比较
Kinect V1 和 V2 的外观比较


Kinect V1 和 V2 的参数比较


Kinect V1 和 V2 随距离增加的误差分布


Kinect V1 和 V2 颜色误差分布


Kinect V2 在边界处有飞点


参考文献：Comparison of Kinect V1 and V2 Depth Images in Terms of Accuracy and Precision - ACCV2016
Kinect数据如何处理？精度很低吗
Kinect数据属于低精度的深度视频数据，两个特点：一个是精度低，一个是视频数据。可以应用KinectFusion技术把连续的K(比如K取30)帧数据融合到一块，作为一帧数据用于后续处理。如下图所示，左图是一帧数据，右图是取了连续的30帧数据融合到一块的数据。

KinectFusion是什么
KinectFusion的详细介绍可以参考专题 KinectFusion介绍
为什么需要全局注册
Kinect数据精度不高，在扫描一些大物体的时候，注册误差会累积得很厉害。如下图所示，第一列截取了三对ICP注册后的点云，局部来看注册得很好。然后逐对点云两两ICP注册，如中图所示，点云注册的效果并不好，累计误差很严重。第三列是点云经过全局注册后效果，注册误差被分散到每一帧中去了，从而减少整体的注册误差。