精华内容
下载资源
问答
  • 1,按照标准sdk 源码环境安装流程, git clone ... git clone https://github.com/slightech/MYNT-EYE-D-SDK.git 深度版 环境搭配好后,make init 正常 安装了基本的环境包,make install 正常 ...

    1,按照标准sdk 源码环境安装流程,

     git clone https://github.com/slightech/MYNT-EYE-S-SDK.git    标准版

     git clone https://github.com/slightech/MYNT-EYE-D-SDK.git   深度版

    环境搭配好后,make init 正常 安装了基本的环境包,make install 正常

    make sample 时

    缺少/usr/bin/ld: cannot find -lvtkproj4  报错

    属于点云pcl 的问题

    尝试

    sudo apt-get install libpcl-dev pcl-tools

    官网的解决方法:

    http://support.myntai.com/hc/kb/article/1226610/ 

    2,在深度版环境下  make init  安装了很多库  make samples 问题 正常

    运行 get_image 报错USB 2.0

    Note:: You are using the USB 2.0 interface. Current resolution or frame rate is not supported And you can refer to Resolution Support List in the documentation.

    terminate called after throwing an instance of 'std::runtime_error*'
    Aborted (core dumped)

    寻找插头 找到安装到USB3.0的插口下,保证环境系统下正常的USB3.0驱动安装

     

     

     

    展开全文
  • 文章目录:1 RealSense D435摄像头介绍1.1 D435外观及内部构造1.2 D435的参数规格1.3 D435应用2 RealSense D435摄像头的使用2.1 使用D435读取摄像头RGB和深度图3 使用D435做目标检测和距离测量 1 RealSense D435...

    1 RealSense D435摄像头介绍

    英特尔® 实感™ D435 在我们推出的所有摄像头中视场最大,深度传感器上配置全局快门,是快速移动应用的理想选择。

    1.1 D435外观及内部构造

    1、外观
    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    2、内部构造

    在这里插入图片描述

    1.2 D435的参数规格

    1、使用场景和范围

    • 使用环境:室内 / 室外
    • 最大范围:约10米

    2、深度

    • 深度视场(FOV):87°±3° × 58°±1° × 95°±3°
    • 最小深度距离:0.105米
    • 深度输出分辨率和帧率:高达 1280 × 720 的主动立体深度分辨率。高达 90 帧/秒。

    3、RGB

    • RGB 传感器分辨率:1920 × 1080
    • RGB 帧率:30
    • RGB 传感器 FOV (H × V × D):69.4° × 42.5° × 77° (±3°)

    1.3 D435应用

    英特尔® 实感™ 深度摄像头 D435 是一款立体追踪解决方案,可为各种应用提供高质量深度。它的宽视场非常适合机器人增强现实虚拟现实等应用,在这些应用中,尽可能扩大场景视角至关重要。这款外形小巧的摄像头拍摄范围高达 10 米,可轻松集成到任何解决方案中,而且配置齐全,采用英特尔实感 SDK 2.0,并提供跨平台支持。

    在这里插入图片描述

    2 RealSense D435摄像头的使用

    2.1 使用D435读取摄像头RGB和深度图

    安装python库包pyrealsense2

    pip install pyrealsense2

    更多pyrealsense2的python教程参考

    import pyrealsense2 as rs
    import numpy as np
    import cv2
    
    # Configure depth and color streams
    pipeline = rs.pipeline()
    config = rs.config()
    # config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
    # config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
    
    config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
    config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
    
    # Start streaming
    pipeline.start(config)
    
    try:
        while True:
    
            # Wait for a coherent pair of frames: depth and color
            frames = pipeline.wait_for_frames()
            # 深度图
            depth_frame = frames.get_depth_frame()
            # 正常读取的视频流
            color_frame = frames.get_color_frame()
            if not depth_frame or not color_frame:
                continue
    
            # Convert images to numpy arrays
            depth_image = np.asanyarray(depth_frame.get_data())
            color_image = np.asanyarray(color_frame.get_data())
            # print(f"depth_image shape: {depth_image.shape} color_image shape: {color_image.shape}")
            print(f"depth_image value: {depth_image}")   # 里面0值很多,还有很多1900左右的值      300mm 单位是毫米=30厘米=0.3米
            # depth_image shape: (480, 640) color_image shape: (480, 640, 3)
            # 深度图是单通道  颜色图是三通道的
    
            # Apply colormap on depth image (image must be converted to 8-bit per pixel first)
            # 在深度图像上应用colormap(图像必须先转换为每像素8位)
            depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.03), cv2.COLORMAP_JET)
    
            # Stack both images horizontally
            images = np.hstack((color_image, depth_colormap))
    
            # Show images
            cv2.namedWindow('RealSense', cv2.WINDOW_AUTOSIZE)
            cv2.imshow('RealSense', images)
            cv2.waitKey(1)
    
    finally:
    
        # Stop streaming
        pipeline.stop()
    

    3 使用D435做目标检测和距离测量

    先简单说明我如何做检测到目标的距离检测的:

    • 1)首先使用目标检测方法,检测要检测的目标
    • 2)检测到目标之后,获取目标bbox的中心坐标
    • 3)使用D435获取深度画面的深度信息
    • 4)保证检测画面和深度画面的分辨率是对应的
    • 5)根据bbox的中心坐标,去深度去中取出对应的深度信息,然后绘制出来即可!

    下面是我检测人之后,并获取人距离摄像头的距离,结果如下:

    在这里插入图片描述

    (由于CSDN限制上传图片大小,我就裁剪了很短的一段gif,大家凑合看)

    检测的问题,如果目标bbox的中心点,没有object上,这样获取到的距离就是背景上,这样就是不准确的,目前想到的方式就是通过分割的方式,然后获取分割目标区域的重心,这样获取有改善,没有尝试!

    参考 : https://blog.csdn.net/glb562000520/article/details/17264151 # ToF相机介绍
    参考:https://baike.baidu.com/item/%E7%A7%92/2924586
    参考:https://blog.csdn.net/zhouyy858/article/details/102658020 # 超声波雷达
    参考:https://blog.csdn.net/zhouyy858/article/details/100360829 # 目标跟踪

    欢迎大家关注笔者,你的关注是我持续更博的最大动力


    原创文章,转载告知,盗版必究

    微信:suihailiang0816
    QQ:931762054
    wx公众号:仰望星空的小随
    展开全文
  • 一、双目摄像头深度测量分析双目摄像头拍摄同一场景下左右两幅图像,运用立体匹配算法获取视差图,进而获取深度图。双目摄像头 SDK 中采用 SGBM 算法,由校正后的图像获取视差图。视差图表示,空间物体在左视图中的...

    6e97a92748585a67d0cee18f615e7289.png

    一、双目摄像头深度测量分析

    双目摄像头拍摄同一场景下左右两幅图像,运用立体匹配算法获取视差图,进而获取深度图。

    双目摄像头 SDK 中采用 SGBM 算法,由校正后的图像获取视差图。视差图表示,空间物体在左视图中的成像点与在右视图中成像点在水平方向上的像素差,即下图中的 Xl - Xr。

    1b5e0cd75c4ed13406e21815c1b5d614.png
    图 1 双目视差一维原理图

    深度与视差转换关系:

    depth = (fx * baseline) / disparity

    小觅双目摄像头 SDK 中采用 reprojectImageTo3D 函数获取深度图。

    由此分析可知,当物体距离达到一定范围,前后移动的距离不足以在左右视图中产生一个像素以上的视差。在这样的区域内,双目摄像头无法分辨深度的变化,即深度值不随实际空间距离变化而变化。即连续的世界物理量经传感器量化后的客观表现。

    而这样的距离是多远且每一段不变化的范围有多长,由具体双目摄像头的参数决定。

    这里,小觅双目摄像头的参数为:

    焦距长度: 2.1 mm;

    像素尺寸: 6.0 x 6.0 μm;

    基线长度:120.0 mm。

    二、小觅双目摄像头标准版深度测量表现

    对小觅双目摄像头标准版进行了深度测量(基于 GPU 模式),并与理论值作比较:

    631509c375d8d4133b24f42cff768615.png
    图 2 小觅双目摄像头标准版深度曲线

    可以看到实际测量曲线稍低于理论测量曲线。下图为实际测量时的一些样本值。

    dc7cdf5dcd5712b977a3566c79f31f25.png
    图 3 小觅双目摄像头标准版深度测量样本

    与理论值比较,对深度测量的误差统计:

    f99dd55819d3917cdc7c14f2e521091a.png
    图 4 小觅双目摄像头标准版深度误差

    今天就到这里啦,你们还有什么想看的文章主题可以留言在评论里哦!

    另外,全宇宙超级可爱的我们在招人,上拉勾查看职位详情~

    MYNTAI小觅智能招聘职位-拉勾网-专业的互联网招聘平台www.lagou.com
    9aa11e2f307ced08ab59dcacc9fe9881.png
    展开全文
  • 一、双目摄像头深度测量分析双目摄像头拍摄同一场景下左右两幅图像,运用立体匹配算法获取视差图,进而获取深度图。双目摄像头 SDK 中采用 SGBM 算法,由校正后的图像获取视差图。视差图表示,空间物体在左视图中的...

    07b02d6dc0b95170f313a3795a4a5059.png

    一、双目摄像头深度测量分析

    双目摄像头拍摄同一场景下左右两幅图像,运用立体匹配算法获取视差图,进而获取深度图。

    双目摄像头 SDK 中采用 SGBM 算法,由校正后的图像获取视差图。视差图表示,空间物体在左视图中的成像点与在右视图中成像点在水平方向上的像素差,即下图中的 Xl - Xr。

    7c2526099e925edd364a3a1522340dc9.png
    图 1 双目视差一维原理图

    深度与视差转换关系:

    depth = (fx * baseline) / disparity

    小觅双目摄像头 SDK 中采用 reprojectImageTo3D 函数获取深度图。

    由此分析可知,当物体距离达到一定范围,前后移动的距离不足以在左右视图中产生一个像素以上的视差。在这样的区域内,双目摄像头无法分辨深度的变化,即深度值不随实际空间距离变化而变化。即连续的世界物理量经传感器量化后的客观表现。

    而这样的距离是多远且每一段不变化的范围有多长,由具体双目摄像头的参数决定。

    这里,小觅双目摄像头的参数为:

    焦距长度: 2.1 mm;

    像素尺寸: 6.0 x 6.0 μm;

    基线长度:120.0 mm。

    二、小觅双目摄像头标准版深度测量表现

    对小觅双目摄像头标准版进行了深度测量(基于 GPU 模式),并与理论值作比较:

    82a687b010486565141d22a4d6481904.png
    图 2 小觅双目摄像头标准版深度曲线

    可以看到实际测量曲线稍低于理论测量曲线。下图为实际测量时的一些样本值。

    9e8c705286ceba9ed54b4859350a1d40.png
    图 3 小觅双目摄像头标准版深度测量样本

    与理论值比较,对深度测量的误差统计:

    7dc0cccd8de8e1e30bb8c181e0130232.png
    图 4 小觅双目摄像头标准版深度误差

    今天就到这里啦,你们还有什么想看的文章主题可以留言在评论里哦!

    另外,全宇宙超级可爱的我们在招人,上拉勾查看职位详情~

    MYNTAI小觅智能招聘职位-拉勾网-专业的互联网招聘平台www.lagou.com
    1388b5f75deec3c30ff974391006d9ee.png
    展开全文
  • 所属数学领域(本质):几何因(意义):单目摄像头无法求除某一个点的深度,在一条直线上的投影,在单目摄像头中都是同一个点,因此要通过双目摄像头求出某一个景物点的深度z。概念1. 点1.1 左成像点:PL1.2 右成像...
  • 以“立体视觉技术提供商”身份参展本届工博会的MYNTAI小觅智能,携其小觅深度摄像头旗下深度系列新品小觅双目摄像头深度高精版惊喜亮相。 自创立之初便专注于双目立体视觉技术的MYNTAI小觅智能,一直以来都紧随市场...
  • MYNTEYE小觅双目摄像头深度版+VINS测试

    千次阅读 多人点赞 2018-12-07 10:14:37
    小觅双目深度版性能分析 今年(18年)11月9号小觅智能科技的深度版双目相机上市,于是我在12月初花了2999软妹币购买了120度视角的相机。 其中我比较感兴趣的是 双目+惯导+结构光 的多传感器融合,这样跑单目,双目...
  • 文章目录ROS 生成深度图简介双目摄像头测距与 OpenCV 简介双目测距原理准备双目测距准备ROS 的摄像头仿真ROS 获取仿真摄像头的固定属性数据生成深度图设置相机属性参数生成深度图使用 python 获取话题的图像数据把...
  • 在多光谱光源的照射下,采集到的真实人脸材质和各种伪造人脸材质(照片、视频、面具等)会在特制摄像头中出现明显的差异。这种差异可以通过图像处理技术和机器学习方法进行量化。利用深度学习模式,让计算机能够自主...
  • 关于双目摄像头测距原理,最近在看关于双目摄像机成像的项目,找关于双目摄像头标定的c++代码,但是发现自己对双目摄像机的成像原理不清楚,所以看代码和看天书一样。这篇就写给零基础接触双目摄像机成像原理的小...
  • 近年来,在AR/VR以及自动驾驶、无人机、机器人等人工智能领域,对深度视觉的需求十分突出...按技术分类,深度摄像头可分为以下三类主流技术:结构光、双目视觉和TOF飞行时间法。 结构光 结构光是目前最主流、应用...
  • 近年来,视觉技术方案的兴起,为SLAM的研究提供了更多可能性,可以以更低的价格...SLAM是VR/AR、机器人和无人驾驶最核心的技术支撑之一,而深度摄像头就是这类硬件的眼睛。只有机器对“看到的”东西,定位定姿精度更...
  • 要想获取深度图,就必须得做好一些基本工作,首先参考博客:vs2015 + opencv3 双目摄像头标定(C++实现),获得左右摄像头的内参和外参(cameraMatrixL、distCoeffL、cameraMatrixR和distCoeffR),以及R旋转矢量 T...
  • 1.双目匹配(双RGB摄像头+可选的照明系统) 三角测量原理即目标点在左右两幅视图中成像的横坐标之间存在的差异(视差Disparity),与目标点到成像平面的距离成反比例的关系:Z = ft/d;得到深度信息。 双目匹配采用三角测量...
  • --- 请选择 ---AustraliaAustriaBahamasBelizeBeninBermudaBhutanBoliviaBonaire, Sint Eustatius and SabaBosnia and HerzegovinaBotswanaBouvet IslandBrazilBritish Indian Ocean TerritoryBrunei ...

空空如也

空空如也

1 2 3 4 5 ... 12
收藏数 236
精华内容 94
关键字:

双目深度摄像头