ar测试 unity3d
2018-06-20 12:10:08 Wonderful_sky 阅读数 1763

Unity3d之AR小游戏


游戏简介

一个控制小飞龙躲避障碍物的小型AR跑酷游戏,有两个虚拟按钮可以控制飞龙向上或向下移动。

效果

  • 静态图

这里写图片描述

  • 动态图(太大传不上,见视频)

AR模型识别

配置步骤

这里网上教程很多,就不详细阐述了,大致过程就是去高通(vuforia)官网注册一个账号同意相关协议,下载sdk并导入。然后创建一个app关联数据库,数据库中上传待识别的图像,然后等vuforia分析完识别图的特征点之后,将target作为一个unity editor的选项下载下来后也导入unity项目。最后是项目内的配置,需要配置根据之前创建app时密钥配置unity项目,然后将预制ImageTarget的目标设置成你要识别的图片。运行项目时将待识别的图片放置在电脑摄像头范围内即可。

注意点

  • 图像的星级
    我们会注意到将识别图上传到数据库时,target项右侧会有星级显示,星级越高代表识别图的质量越高。你可能会问,何为识别图质量?识别图质量有什么用?答案是,你踩过坑之后就知道了。经试验,影响识别图最主要的因素就是待识别图的对比度,这里应该要极力避免使用有很多连续相同或相似大色块的图片,因为分析识别图特征点的原理是 根据色块边缘 来决定的,色彩变化越丰富,色块边缘、棱角就越多(如果棱角分布均匀且每个色块都很小那就再好不过了),进而特征点就越多,而特征点越多就意味着识别图质量越高。另外,以下三点则是我总结的识别图质量最主要影响的三个方面:
    • 星级越高越容易识别
    • 星级越高识别速度越快
    • 星级越高更不容易出现抖动
  • 模型的抖动问题(比较棘手)
    识别出来的模型抖动问题一直是AR图像识别中存在的难题,这一定程度上和识别算法有关,很多识别工具也还没有做得很完善。因此我们能做的就是采取一些比较初级的措施来尽可能地避免模型抖动,高级的方法当然还有待研究。初级的方法我们就是要大致了解图像识别的原理,换句话说,就是尽可能地让图像容易识别和模型容易被渲染。我的话虽然识别图是五星的,但是一开始使用了一个比较复杂的模型,导致渲染模型时抖动比较剧烈,网上找了好多有关防抖动的原因,总结起来切入点主要有以下几个(一般推荐前两个):

    • 提高识别图的星级,尽量使用容易识别的图(前面已经提到过)
    • 使用更简单的模型,减少模型的面数,会使降低渲染难度
    • 烘培场景,调整灯光。因为现场实时识别最大的问题就是光线和角度的不稳定或不恰当,导致模型会不停抖动。
    • 优化识别算法(不在我们考虑范围内)
  • 虚拟按钮的检测(尤其注意)
    虚拟按钮第一次接触的话,听起来是个很神奇的东西。因此感觉用虚拟按钮做什么都很有意思。但是这里有个很大的坑,就是 虚拟按钮必须在识别图范围内,否则无论怎么点都点不到!!! 一开始没有注意到,还以为是点击方式的问题,盲目实现导致花费了很多时间到头来发现实现不了,可以说这次项目基本时间都花在这个坑里了,因此最后也就只好交了一个比较简单的版本,这是由于没有弄清楚虚拟按钮的原理导致的。在网上搜了很多技术博客以及逛了许多技术论坛,有关的博客少之又少,因为往年没有布置过AR的作业,所以也没有师兄博客可以参考,总之就是几乎没有发现有人提过类似的问题,于是就不得已只好将目光投向虚拟按钮的实现原理。虚拟按钮的触发原理是,根据识别图被遮挡的特征点所在的位置来判断是否点击了按钮。为什么叫遮挡,遮挡了什么?这时才反应过来是虚拟按钮的点击是通过检测识别图的对应位置是否被遮挡了,所以按钮一定要在识别图范围内,更准确地说,是在特征点分布的范围内。这样就又带来一个问题,如何使在遮挡虚拟按钮时不要让识别目标丢失。因为一开始我用的识别图虽然是五星的,但特征点整体集中在中间区域,也就是我的图有很多留白,总体来说特征点太集中,遮挡一部分时虚拟按钮都还没响应就失去目标了,这是我遇到的又一个问题,至此才真正发现问题所在(当时以为把虚拟按钮放在识别图范围内了还没有效果,一度以为是触发方式的问题)。于是我就将识别图换成了一幅特征点分布比较均匀的图,并且将待识别图载体由原来用手机换成了平板(面积更大),或许还可以将待识别图打印到一张A4的彩印纸上。


地图的动态维护

地图结构

分为好多间隔相同的列,每列有三个障碍物位置,不能全放满(要留条活路),因此允许放0~2个障碍物,这些位置的障碍物都是随机生成的。

地图初始化(生成)

一开始初始化足够多的列,这里我是选择初始化5列,只要能保证移动的时候能衔接自然即可。然后针对每列的随机算法是,对每列的三个位置,随机不重复地挑选至多两个位置,然后在该位置上,随机决定该位置是否应该有障碍物。这样就可以完全使地图随机生成了。

地图维护

为了减少运行开销,对于移出视野的地图,应该进行销毁。另外,为了生成无尽的地图,应该也要在移动过程中动态生成新的地图拼接在原地图后面。这里我是采用一个队列来维护整个地图以及实现地图的移动,因为队列是不允许直接遍历的,所以我的遍历是将队列头部元素重新插入到队尾来遍历。

地图部分完整代码

public class Map : MonoBehaviour {

    private const float ydis = 0.5f;//y间隔    
    private float[] ypos;//y位置    
    private const float zdis = 2;//z间隔    
    private float[] zpos;//z位置
    //private GameObject[] barriers;//所有障碍物
    private Queue<GameObject> barriers;//所有障碍物
    private float delta;//移动距离

    // Use this for initialization
    void Start () {
        //初始化队列
        barriers = new Queue<GameObject>();     

        //初始化y位置
        ypos = new float[3];
        for (int i = 0; i < 3; i++)
        {
            ypos[i] = ydis * i + 0.3f; //0.3是偏移
        }

        //初始化z位置
        zpos = new float[5];
        for (int i = 0; i < 5; i++)
        {            
            zpos[i] = zdis * (i + 1f); //保证障碍物全在视野外
        }

        Debug.Log(ypos);
        Debug.Log(zpos);

        //移入视野前产生5列障碍物,确保移动过程中能无缝衔接
        for (int i = 0; i < 5; i++)
        {
            int count = 0; //每列的障碍物数量

            //每列的三个位置
            bool[] state = { false, false, false };
            for (int j = 0; j < 3; j++)
            {
                //随机一个位置
                int rpos = (int)Random.Range(0, 3);
                //该位置必须没有放置过
                while (state[rpos])
                {
                    rpos = (int)Random.Range(0, 3);
                }
                state[rpos] = true;

                //在该位置随机产生或不产生障碍物
                float rand = Random.Range(0, 1);
                if (rand < 0.5)
                {
                    //加载预制障碍物
                    GameObject barrier = (GameObject)Instantiate(Resources.Load("Barrier", typeof(GameObject)), 
                        new Vector3(0, ypos[rpos], zpos[i]), Quaternion.identity, null);                    
                    barrier.transform.parent = this.transform;
                    barrier.transform.position *= 0.03f;
                    barrier.transform.localScale *= 0.03f;
                    barrier.GetComponent<BoxCollider>().center = barrier.transform.position;
                    barriers.Enqueue(barrier);
                    count++;
                }

                //每列的障碍物不能超过2个
                if (count >= 2) break;
            }
        }

        //初始化距离
        delta = 0;
    }

    // Update is called once per frame
    void Update () {
        //移动

        //遍历队列
        int len = barriers.Count;
        while (len > 0)
        {
            //取出第一个
            GameObject front = barriers.Peek();
            front.transform.position -= new Vector3(0, 0, 0.0002f);                       
            barriers.Dequeue();

            //Debug.Log("front pos: " + front.transform.position);

            //消除移出视野的障碍物                       
            if (front.transform.position.z < -1 * 0.03f)
            {
                Destroy(front);
            }
            //否则插回队列尾部
            else
            {
                barriers.Enqueue(front);
            }

            len--;
        }

        //移动距离增加,注意相对坐标和绝对坐标的转换
        delta += 0.0002f / 0.03f;

        //如果移动了一个z间距,那么并产生新一列放在最后 
        if (delta >= zdis)
        {
            Debug.Log(delta);
            int count = 0; //每列的障碍物数量

            //每列的三个位置
            bool[] state = { false, false, false}; 
            for (int j = 0; j < 3; j++)
            {
                //随机一个位置
                int rpos = (int)Random.Range(0, 3);
                //该位置必须没有放置过
                while (state[rpos])
                {
                    rpos = (int)Random.Range(0, 3);
                }
                state[rpos] = true;
                Debug.Log(rpos);

                //在该位置随机产生或不产生障碍物
                float rand = Random.Range(0, 1);
                if (rand < 0.5)
                {
                    //加载预制障碍物
                    GameObject barrier = (GameObject)Instantiate(Resources.Load("Barrier", typeof(GameObject)),
                        new Vector3(0, ypos[rpos], zpos[4]), Quaternion.identity, null);
                    barrier.transform.parent = this.transform;
                    barrier.transform.position *= 0.03f;
                    barrier.transform.localScale *= 0.03f;
                    barrier.GetComponent<BoxCollider>().center = barrier.transform.position;
                    barriers.Enqueue(barrier);
                    //Debug.Log(barrier);
                    count++;
                }

                //每列的障碍物不能超过2个
                if (count >= 2) break;
            }

            delta = 0;
        }

    }    
}

其他

其他实现如按钮的控制和移动范围的判断,以及按钮的点击放大效果等,比较简单就不列出来了,调参也是比较需要耐心,花时间的。


2019-01-07 13:19:32 weixin_41814169 阅读数 82

第一种方法:高通AR(Vuforia)

 

Vuforia插件下载地址(官网):

https://developer.vuforia.com/downloads/sdk

Vuforia实现图片识别

1、新建项目,导入Vuforia插件

2、将默认摄像机删除,将Vuforia/Prefabs中的ARCamera和ImageTarget预置体拖到场景中。并进行调整

3、将要识别的图片上传到高通内部图片库中。

进入高通官网(需要账号登录)

进入Develop下的Target Manager,并点击Add Database添加图片

1.

2.

添加完后点击名称进入

进入后点击Add Target添加图片(图片最好在20k以内)

添加之后效果:

4、将下载的图片导入Unity

选中ImageTarget,在Inspector面板中,ImageTargetBehaviour中Database选择刚导入的图片名称,如下

5、将扫描后要显示的模型放到ImageTarget下,并调整位置。

6、选中ARCamera,点击OpenVuforia configuration

打开后显示如下:

7、进入高通网站,

进入Develop下的LicenseManager。点击GetDevelopmentKey

1、

2.

创建好之后点击刚刚创建的项目名,获取Key

将复制的内容粘贴到上图中的AppLicenseKey 中

将Datasets中的Load StudyAR Database勾选上,还有Activate。。

打包发布即可。。。。

注:扫描的图片必须是Vuforia的图片库中的图片

 

原文地址:https://www.cnblogs.com/Mr-Miracle/p/9274884.html

2017-01-04 12:41:19 zouxin_88 阅读数 1827

先看效果


1.打开vuforia开发者网站,注册登录,下载vuforia unitypackage,地址:https://developer.vuforia.com/downloads/sdk。


2.打开unity3d,新建工程,导入vuforia-unity-6-2-6.unitypackage。
3.将Assets\Vuforia\Prefabs下的ARCamera.prefab、ImageTarget.prefab拖入场景中,删除场景中的相机Main Camera。

4.运行程序,会提示Vuforia Initialization Error。Vuforia App key is missing。


选择vuforia开发者网站中的“Develop->License Manager”菜单,点击“Add License Key”,选择工程类型(如果不想付费就选Development),输入App Name等。



复制生成的license key,切换到Unity3d,选中ARCamera,在Inspector面板的Vuforia Behavioure(Script)点击【Open Vuforia configuration】,在新的面板App License Key中粘贴license key。


再次运行程序,这次可以正常运行打开摄像头(如果有摄像头的话)了,但是还无法识别物体。

5.选择vuforia开发者网站中的“Develop->License Manager”菜单,点击“Add Database”,输入Name(假设为“aa”),选择Device(单机)完成添加。


打开数据库aa,点击“Add Target”,填入图片信息完成图片添加。



打开数据库aa,选择要识别的图片,点击“Download Database”,开发平台选择“Unity Editor”,完成下载aa.unitypackage。

6.切换到Unity3d,导入aa.unitypackage。选中ImageTarget,在Inspector面板的Image Target Behaviour(Script)选择要识别的图片(在Database和Image Target中设置)。


7.在ImageTarget下创建一个Cube,ImageTarget的子物体就是图片识别后要显示的物体。调整摄像头和ImageTarge,使其在Game视图下可见。运行程序,将摄像头对准要识别的图片,发现图片还是无法识别。


8.选中ARCamera,在Inspector面板的Vuforia Behavioure(Script)点击【Open Vuforia configuration】,在新的面板Datasets下选中Load aa Databse,选中Activate。这下可以识别了。


9.在手机上运行时图像模糊,识别率低,应开启自动对焦模式。新建脚本文件,绑定到ARCamera。
void Start () {
Vuforia.CameraDevice.Instance.SetFocusMode(Vuforia.CameraDevice.FocusMode.FOCUS_MODE_CONTINUOUSAUTO);
}
2019-01-07 13:23:59 weixin_41814169 阅读数 91

EasyAR引擎简介

EasyAR是做好用的且免费的增强现实(Augmented Reality)引擎,EasyAR为Unity开发和本地开发提供了大量的可直接运行的样例。

这些样例演示了各种target的创建方式和包含流媒体和透视在视频内的视频播放,以及更加高级的实时target创建和AR涂涂乐。

 

EasyAR自问世以来从未停止向前演进,自首个公开发布版本以来的主要更新内容如下,

  • 增加更多完整实例
  • 增加多目标跟踪支持
  • 优化降低功耗
  • 移除Unity对Visual C++运行时库的依赖
  • 提升跟踪稳定性和准确性
  • 改善首次使用体验
  • 改善视频播放支持,增加透明视频支持
  • 改善前置摄像头和动态摄像头切换
  • 改善Unity支持和兼容性
  • 改善Unity接口

EasyAR的优势

EasyAR 支持使用平面目标的AR,支持1000个以上本地目标的流畅加载和识别,支持基于硬件解码的视频(包括透明视频和流媒体)的播放,支持二维码识别,支持多目标同时跟踪。

EasyAR支持PC和移动设备等多个平台,EasyAR不会显示水印,也没有识别次数限制。

EasyAR下载

官网:http://www.easyar.cn/

 

EasyAR插件的使用

1、在EasyAR官网注册账号

2、申请应用Key

进入开发中心

点击添加SDK license key

1、

2.

 添加完后,点击以添加的Key

 

 

 

将key复制下来

3、新建项目,导入EasyAR插件

4、将EasyAR/Prefabs下的EasyAR_Startup添加到场景中,将刚刚复制的key粘贴到对应位置

说明:
EasyAR_Startup,这个prefab作为一个简单的组合提供,对于通常的AR场景来说也是足够的。你可以使用EasyAR提供的其它小型prefab构建一个更加复杂的AR场景。

 

 

5、将将EasyAR/Prefabs/Primitives下的ImageTarget添加到场景中

删除Image TargetBehavior脚本,重新新建一个脚本,并继承ImageTargetBehaviour。重写代码如下:

注意:需要引用命名空间 using EasyAR;

 

 

说明:
* Path为需要识别的图片路径
* Name为需要识别的图片文件名称
* ActiveTargetOnStart: 是否在MonoBehaviour.Start被调用时加载target
* Storage: target存储位置的类型
* size:改变可视物体的大小

6、识别目标

在Assets目录下新建文件夹,StreamingAssets,将需要扫描的图片手动到此目录中

 

 

在在MyEasyARImageTarget组件上,设置相关参数,如下图:

 

 

7、将扫面图片需要显示的3D物体添加到ImageTarget下并进行调整

8、发布APK

注意,这里的Package Name 必须和EasyAR网站申请Key时所填的PackageName(Android)相同(Android平台)

 

原文地址:https://www.cnblogs.com/Mr-Miracle/p/9274882.html

 

 

 

2016-09-21 20:55:00 weixin_34335458 阅读数 13

 前言

关于AR和Unity的基础知识,请自行前往各自的文档中心进行科普。

本文以国产的HiAR SDK为例,日后将尝试高通的vuforia SDK

 我的环境

基于Hi AR1.2.0 ( hiar_sdk_unity_20160809_v1.2.0_3c0e908.zip  ( 47.4 MB )  )

Unity3D 5.3.5f1 x64

Windows 7 x64

罗技摄像头(硬件),摄像头支架

 制作识别图集

1. 在SDK的管理后台创建一个新应用,获取应用的AppkeySecret,在Unity中会用到。

2. 在SDK的管理后台中创建图集,并添加图片,完成之后发布图集

3. 把图集和应用进行关联

4. 在SDK的管理后台中下载本地识别包文件,一般是以图集为命名的unitypackage文件

 导入识别图集到Unity

我创建的图集名称:xxdata

图集中有以下两张图片:

  • battleboard.png

  • card.png

下载的本地识别包文件(xxdata.unitypackage),在导入到Unity中的文件如下:

Editor
    HiAR
        ImageTargetTextures
            xxdata
                battleboard.png
                card.png
StreamingAssets
    HiAR
        xxdata.xml (里面是图集中的图片信息,一行是一张图片的数据,Key值是一个32位字符串)
        xxdata
            792c5ed97942d50f185be13ed9822b3c.db(32位的key和xxdata中对应)
            22b72d7e5b182ed15e9ede20268d8a6b.db

总结一下就是:

1. 在Editor\ImageTargetTextures\下有以图集命名的文件夹,文件夹中有图集中的图片文件

2. 在StreamingAssets\HiAR\目录下有以图集命名的xml文件图集命名的文件夹,文件夹下有图片Id命名的db文件

xxdata.xml文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<HiAR>
  <KeyItemList>
    <KeyItem name="card" targetID="22b72d7e5b182ed15e9ede20268d8a6b" width="535" height="528" extName=".png" version="1.2.0"></KeyItem>
    <KeyItem name="battleboard" targetID="792c5ed97942d50f185be13ed9822b3c" width="1024" height="1024" extName=".jpg" version="1.2.0"></KeyItem>
  </KeyItemList>
</HiAR>

32位key值文件名的db文件

某种格式的文件,从里面可以看到HiScene AR Key,猜测db中存储了图片的识别点数据

图集中每个图片有对应的一个db文件,可知此db文件必然和图片有关联关系。

 示例分析

 简单识别

场景层次(Hierarchy)结构:
363476-20160921203243356-272122441.png

HiAR Camera (SDK的核心,绑定了两个脚本:HiAREngineBehaviour,TargetManagerBehaviour)

​  camera (3D相机,渲染3D GameObject,绑定的脚本:HiARCameraBehaviour)

Imager Target (识别点,可以有多个,绑定的脚本:ImageTargetBehaviour,实现这几个接口ITrackableEventHandler, ILoadBundleEventHandler, IRelativeMoveTarget)

​  识别成功:识别图移动时或者有遮挡时,Transform的属性会发生改变,并且ImageTarget下的Child会显示

​  识别失败:Transform属性无变化,并且ImageTarget下的Child会隐藏

camera source (一个MeshRenderer,硬件摄像头摄像到的图像实时渲染在此(类似于render texture?))

camera background (2D相机,渲染camera source的图形)

重点解释:

 camera (3D相机 Clear Flags为Depth,拍摄场景中的3D GameObject)

363476-20160921203227840-1694893628.png

camera background (2D相机,Clear Flags为Solid Clear,渲染物体摄像头拍摄的画面)

363476-20160921203234777-137940144.png

摄像头拍摄的图像显示在camera source(mesh renderer)上

摄像头拍摄的真实画面和引擎生成的三维物体进行叠加。

 AR识别成功的应用

当识别图识别成功之后,执行一些操作,可以理解为Callback。

HiAR的例子是:识别成功之后,播放视频。

当然你可以在识别成功之后,生成一些模型和场景出来,这样就和开发其它游戏一样,可以对Scene中的GameObject进行控制,比如播放动画,打斗,特效之类的。

 涂涂乐

把识别图上的图像实时渲染在模型上(Material),类型涂鸦。

  1. 添加一个待涂包的模型,添加组件:HiARPaintShader:HiARPaint

  2. 硬件摄像头拍摄识别图(实时拍摄)

  3. 根据识别到的图,提取图像生成Material,动态地渲染。

  4. 期间会生成几个识别点

过程中如果有拍摄到其它物体,新生成的材质会实时更新

多图识别

多图识别,就是在简单识别的基础上添加多个ImageTarget

步骤:

  1. 在HiAR Camera(HiAREngine组件) 的属性面板勾选 MuiltTarget
  2. 在场景中添加多个ImageTarget,并为每一个ImageTarget选择识别图

动态加载

动态加载识别目标进行识别跟踪的功能,继承自TartgetDynamic

    void OnGUI()
    {
        if (GUI.Button(new Rect(30, 30, 200, 80), "Add Key"))
        {
            AddImageTarget(System.IO.Path.Combine(Application.streamingAssetsPath, Pic1Path), Pic1Key, 1024, 1024);
        }
    }
    
    //识别回调
    public override void OnDynamicReco(RecoResult recoResult)
    {
        Debug.Log("识别成功。。。。。");
        GameObject gameObject = null;
        gameObject = new GameObject();
        if (recoResult.keyType == KeyType.IMAGE)
        {
            gameObject.AddComponent<ImageTargetBehaviour>();
        }
        Debug.LogFormat("recoResult.keyType:{0}", recoResult.keyType);
        Target target = gameObject.GetComponent<Target>();
        if (target == null)
        {
            Debug.LogError("Get Target Null !");
            return;
        }
        target.PixelWidth = recoResult.Width * 0.01f;
        target.PixelHeight = recoResult.Height * 0.01f;
        gameObject.transform.parent = transform.parent;
        gameObject.SetActive(true);

        if (recoResult.KeyId.Equals(Pic1Key))
        {
            GameObject cube = GameObject.CreatePrimitive(PrimitiveType.Cube);
            cube.transform.parent = gameObject.transform;
            cube.transform.localScale = new Vector3(1.0f, 1.0f, 1.0f);
        }
        else
        {
            Debug.LogErrorFormat("recoResult.KeyId:{0} not equals :{1}", recoResult.KeyId, Pic1Key);
        }
        bindingGameObject(gameObject, recoResult.KeyId);
    }

设置中心点

勾选 ImageTarget (ImageTargetBehaviour组件)的CenterPoint之后,带有物理引擎效果的物体运动就有了中心点。

没有更多推荐了,返回首页