精华内容
下载资源
问答
  • 行人再识别的挑战和最新进展

    千次阅读 2018-12-22 16:26:22
    华为诺亚方舟实验室计算视觉首席科学家、美国德克萨斯大学圣安东尼奥分校计算机系教授田奇,在会上为大家带来了题为《行人再识别的挑战和最新进展》的分享。 以下内容根据现场演讲内容速记的实录整理。 各位嘉宾...

    2018 年 9 月 18 日,2018 世界人工智能大会·视觉智能 瞳鉴未来七牛云专场分论坛在上海国际会议中心 5 楼欧洲厅举行。华为诺亚方舟实验室计算视觉首席科学家、美国德克萨斯大学圣安东尼奥分校计算机系教授田奇,在会上为大家带来了题为《行人再识别的挑战和最新进展》的分享。

    以下内容根据现场演讲内容速记的实录整理。

    各位嘉宾,各位老师,各位同学,非常荣幸在这里和大家分享我们的工作。本次我报告的主题是《行人再识别的挑战和最新进展》。在今天的报告中,我将首先介绍一下行人再识别的背景和面临的挑战,接着介绍学术界近年取得的最新进展以及我们相关的工作,最后与大家分享行人再识别领域未来可能出现的新的研究方向。

    大城市中的摄像头是无处不在的,每天都会产生海量的监控视频数据。如何从海量数据中挖掘有效信息,这是我们所关心的。我们虽然拥有大数据,但是如果机器没有自动分析和处理能力,那么大数据并不意味着我们能获得海量信息。同样,如果机器没有学习和归纳能力,拥有了海量信息也并不代表我们掌握丰富知识。譬如,2013 年的波士顿马拉松恐怖袭击事件以及 2017 年拉斯维加斯恐怖袭击事件等,我们的摄像头都能捕捉到这些镜头,但是数据中心并不完全具备对海量数据分析、处理和预警的能力,因此没有避免悲剧发生。由此可见,提升机器对监控视频数据的分析、处理、学习和归纳能力是极其重要的。在监控视频中,人和车是我们最为关心的。目前,我的团队主要聚焦于分析人,尤其是行人再识别领域的研究。

    行人再识别具有广阔的应用前景,包括行人检索、行人跟踪、街头事件检测,行人动作行为分析等等。当然这个动作行为分析也包括用户在商场中的购物行为分析,比如估计顾客的年龄、性别、对什么样的商品感兴趣、停留的时间等等。这些信息有助于商场去策划相应的销售策略。由于行人再识别任务的重要性,近些年越来越多的研究人员和机构都投入进来,从计算机视觉顶会的论文发表情况就可以看出来这一趋势。例如在 2013 年,相关的文章在视觉顶会上发表的并不多,但是近年快速上升,在今年的计算机视觉顶级会议 CVPR 上,就有 32 篇文章发表,在 ECCV 上有 19 篇文章发表。

    我们对行人再识别发展历程做了一个总结。简单来说,行人再识别的发展分为两个大阶段:一个是 2014 年以前,主要依靠一些传统方法,例如设计手工特征等。2014 年以后的工作基本上都是基于深度学习的。在深度学习的框架下又有一些细分工作,比如说这两年因为深度模型需要大量的训练数据,在训练数据不足的情况下,基于生成对抗网络的数据生成方法成为了比较热门的研究方向。

    行人再识别是一个较难的课题,解决这一课题面临着诸多挑战。这些挑战可以归纳为三种:第一个挑战是对大量训练数据的需求;第二个挑战是行人视觉表观差异性大;第三个挑战是非理想的场景。

    对大量训练数据需求的挑战主要体现在以下这些方面:

    一是有限的训练数据。从当前行人再识别训练数据的收集情况来看,收集到的数据相对于真实数据的时空分布是非常有限的、局部的。同时,与其他视觉任务相比,行人再识别的数据规模也是非常小的。比如以大规模图像识别数据集 ImageNet 来说,它的训练数据有 125 万张图片,在行人检测数据集 Caltech 上标注的行人框有 35 万个,cCOCOoco 的目标检测数据训练集是 12.3 万多张图片。而我们行人再识别当前常用的数据集仅有 3 万多张行人图片。

    二是训练、数据获取比较困难。我们很难去收集到跨时间、跨气候和多场景的行人数据。另外,隐私问题也对数据获取造成了阻碍。

    三是数据标注比较困难。首先是浩大的标注工作量,大家知道大规模图像分类数据集 ImageNet ,通过众包的形式前后有 4.8 万人花了近两年时间来标注。 无论从时间还是金钱上来看,标注成本都是非常大的。其次,标注本身有时也是非常困难的,比如简单把狗和猫分开比较容易,但是在视频中把两个年龄、体貌相似,穿着同样衣服的不同行人分开是比较困难的。

    第二个行人视觉表观差异变化大的挑战,主要是行人呈现不同的姿态,含有复杂的背景,不同的光照条件以及不同的拍摄视角,这些都会给行人再识别带来很大的困扰。而且一个行人穿不同的衣服,戴不同的帽子或者眼镜,留不同的发型也都会带来巨大问题。

    第三个主要挑战是非理想的场景,主要是行人不对齐、部分遮挡、图像质量低等问题。

    行人再识别近年的进展也主要是围绕着如何解决好以上这三大挑战来展开的。

    数据是解决问题的关键。我们团队一开始就致力于构建标准数据集,以推动行人再识别的发展。我们在 ICCV2015 发布了当时规模最大的基于图像的行人再识别数据集 Market-1501。这个数据集有六个摄像头,标注了 1501 个行人,共 3 万多张行人图片。该数据集目前已经成为行人再识别领域的基准数据集。从 2016 年到现在,大家已经引用了 4230 多次。今年,我们与北京大学合作,提出了更大的基于图像的行人再识别数据集——MSMT17。收集 MSMT17 数据集的时候,我们用了分别部署在教学楼室内和室外的 15 个摄像头,在不连续的四天中的上午、中午和下午三个时刻进行拍摄。最终收集了 4000 多个人,标注 12 万多张行人图片。此外,在 ECCV2016 和 CVPR2017 上,我们也发表并公开做了基于视频的行人再识别数据集 MARS,以及端到端的行人再识别的检索数据集 PRW。因此,过去这几年我们主要做了 4 个行人再识别数据集,很好地推进了行人再识别的发展。

    除了从构建更大更真实数据集的角度来应对大量训练数据需求的挑战,我们还可以通过数据生成的方法,来增加训练数据量。数据生成有传统方法和深度学习方法。比如说对图像进行一些操作像翻反转、剪裁、构建金字塔输入等,这些都是被广泛采用的传统方法。近年来,深度学习的方法主要是 GAN-based 方法。生成对抗网络(GAN)在行人再识别上的第一个工作发表在 ICCV2017 上,作者他用 DCGAN 生成没有标注的行人数据,来进行数据增强。这个工作的但问题是,DCGAN 生成的行人图片质量是比较低的。针对训练集中行人姿态变化不够的情况,CVPR2018 上,上海交大的倪冰冰老师团队用条件 GAN 来生成具有不同姿态的行人图像,以丰富训练集中行人的姿态变化。只不过,同样的问题是生成的图像质量比较低。另外, CVPR2018 中有团队做相机风格的学习。比如说从第一个摄像头拍到的真实图像,转移到第六个摄像头相机下,或者是第六个相机的图像转移成具有第一个相机风格的图像。通过这种方式,我们的训练集就会更加均衡地囊括场景中各个相机的风格,在测试阶段具备更好的性能。

    我们在今年 CVPR2018 提出了 PTGAN(Person Transfer GAN)。PTGAN 主要做跨场景的迁移,假设我们在北京标注的训练数据想在上海的某个场景下用,我们就可以通过 PTGAN 将已经标注好的数据迁移到上海的场景中,迁移后的图片就像在上海拍摄一样。然后我们在迁移后的数据集上训练行人再识别模型,这样会在上海的场景中得到更好的性能。PTGAN 的实现主要基于两个损失函数:风格迁移和行人保持。风格迁移的目的是我们迁移后的图片风格尽可能和目标场景一致,而行人保持的目的是迁移后的图片中行人没有发生改变。我们在不同数据集上都做了相关实验,性能都有相当大的提高。

    应对行人表观信息变化大的挑战主要解决方案,集中在如何提出更好的行人特征表达上,传统方法中我们利用颜色特征、纹理特征、距离传统度量学习等。对于深度学习方法,除了利用现有的深度学习网络框架以外,主要是设计不同的损失函数来进行优化,包括 Softmax Loss、二元组、三元组、四元组的损失函数等。

    最后应对非理想场景的挑战,主要解决方案是对人体部件进行检测和匹配。我们在 ICCV2017 提出了 Pose-Driven Convolution (PDC) 方法来提取人体的细粒度部件,并进行矫正。但是由于需要提取非常精细的人体的部件, PDC 对遮挡以及人体关键点检测误差比较敏感。基于此,我们在 MM17 中提出了 Global-Local Alignment Deor(GLAD) 的方法,仅需提取三个粗粒度部件就能得到非常好的性能。

    当然最近大家也还都提出非常好的基于人体部件的方法,进一步提升行人再识别的性能,如 AlignedReID 等。

    谈及行人再识别未来的方向,肯定离不开两个方面:数据和方法。在数据层面,一方面我们要构造更真实更大的数据集,另一方面也可以通过 3D Graphics 相关方法做数据生成。在方法层面,我们之前仅仅考虑视觉信息。其实现实世界中我们还可以获得大量其它信息加以利用,如 wi-fi 接入网络、步态 gait、GPSgps 等等。另外在现实应用中,行人检测和再识别其实是一体的, 应该在一个框架下统一优化。目前在这方面的工作还有所欠缺,未来我们会重点研究这一方向。

    最后我介绍一下当前华为诺亚方舟实验室的情况。诺亚方舟实验室的研究工作主要是集中在五个方向,包括计算机视觉、自然语言处理、决策与推理、搜索与推荐,AI 基础理论等。在计算机视觉方面主要是做平安城市、终端视觉等方向的工作。目前实验室与十个国家超过 25 个大学有合作。诺亚方舟实验室在国内主要是深圳、北京、上海、西安,海外主要在多伦多、硅谷、伦敦、巴黎和蒙特利尔。

    展开全文
  • 由以上内容可以看出,在使用Nodejs以后,虽然前端技术栈得到了机房,但对FE的个人素质要求也会有所提高, 性能优化 , 网络请求优化 都是前端工程师需要去面临的问题。因为我们会成为用户发起的网络请求在服务端的第...

    前言

    较早的Nodejs开发者为了实现程序的同步都会使用几个“工具”,回调promiseco,或者是generator。记得写过一个递归删除目录下文件和文件夹的需求,用以上方法都是各种不爽(关键我就是想简单的写个递归啊)。

    就在前几天Nodejs发布了v7.6.0版本。Nodejs开发者终于不用使用第三方模块就可以使用asyncawait让自己的程序在不需要异步的地方保持同步的特性了。

    就在Nodejs v7.6.0刚发布不久,koa的作者也正式的发布的koa2

    一句话总结:使用asyncawait是极大的解放生产力,减少脑细胞的消耗。

    因为之前使用koa做了一个小项目,想着就把它给升级一下,及做一下网络请求方面的优化。

    1.升级koa2.x及相关koa依赖

    因为koa1.x和koa2.x区别还是挺大的。大部分的中间件目前已经做了针对koa2.x的兼容。没有做兼容的中间件,koa2.x本身也提供了方法进行兼容(后面会提到用法)。

    升级的方法也很简单就是针对每一个中间件执行:yarn add koa-xxxxx@next 就可以升级到最新版本;

    以下就是项目所依赖所有的中间件,都已经升级了最新的支持koa2。

    "koa-bodyparser": "^3.2.0",
    "koa-compress": "^2.0.0",
    "koa-convert": "^1.2.0",
    "koa-router": "^7.0.1",
    "koa-static": "^3.0.0",
    "koa-static-cache": "^4.0.0",
    "koa-views": "^5.2.1",

    2.针对koa2.x的特点对项目进行重构

    koa1.x的特点就是使用genetator来控制项目的同步,而koa2.x最大的特点就是使用asyncawait

    generator的写法:

    myRouter.get('/', function *(){
        let body ;
        let peopleList =configParams.onDutyPeople();
    
        body = yield render('index', {'peopleList':peopleList});
        this.body = body;
        this.type='text/html; charset=utf-8';
    });

    await的写法

    router
        .get('/', async(ctx, next) => {
            let peopleList = configParams.onDutyPeople();
    
            await ctx.render('index.jade', { 'peopleList': peopleList });
            ctx.type = 'text/html; charset=utf-8';
        })

    3.不兼容koa2.x的中间件怎么办

    在做网络优化的时候用到一个中间件koa-static-cache。这个中间件目前是不兼容koa2.x的,那么怎么在Koa2.x中使用呢?

    运行的时候报错信息如下:

    通过网络查询得出原因如下:

    解决方法如下,使用koa-convert中间件把generator转化一下,使用方法如下:

    const convert = require('koa-convert');
    const staticCache = require('koa-static-cache');
    
    //静态文件服务
    app.use(convert(staticCache(path.join(__dirname, 'public'), {
        maxAge: 365 * 24 * 60 * 60
    })));

    对于代码的重构就是这样子,在需要使用promise来控制异步的地方,可以换写成asyncawait降低了代码的复杂度。第二就是对不支持koa2.x的中间件使用koa-convert来做兼容。

    4.网络请求的优化

    通过下面的图片可以发现,页面在加载过程中请求了多个静态文件。这无疑会影响页面的加载速度。从打开页面到页面加载完成总共花费了2.59s

    那么怎么优化呢?其实就是借用了请打的fis对静态文件进行了压缩和合并。使页面在加载过程需要多个静态文件,变成只请求两个静态文件。最后优化的结果是页面加载只需要1.76s比之前快了将近1s。效果还是很明显的。

    当我在观察这些网络请求的时候发现一个问题。每次我刷新页面或者是关闭浏览器重新打开页面的时候,浏览器都没有使用本地的缓存文件,而是重新向服务器发送请求,下载需要的静态文件。看下面的截图:

    5.使浏览器使用本地缓存文件

    做法也很简单,就是使用koa中间件koa-static-cache控制服务端的静态文件在客户单进行缓存。

    
    //静态文件服务
    app.use(convert(staticCache(path.join(__dirname, 'public'), {
        maxAge: 365 * 24 * 60 * 60
    })));

    我们来看看这样做到底有没有什么效果?看下面的截图(我多刷了几次页面):

    与前面的那张截图做对比可以明显的发现,静态文件的下载时间变短了。页面加载时间变为了1.44s。比之前还是有所缩短的。而且在size那一栏会看到from memorycachefrom disk cache这样的字段。而不再是显示具体的文件大小。关于这里的区别可以看文章最后的参考文章。

    6.对“文件”资源进行压缩

    大多数情况下,我们的网站不仅仅就是存文字的还要包含一些其他类型的文件,比如:图片,mp3等。我们知道浏览器是支持加载gzip压缩过的网页的,所以以nginx为代表的静态文件服务器默认都会开启gzip压缩。那么我们Nodejs服务能不能对资源文件进行压缩呢?

    答案是肯定的。Koa的作者写了一个中间件compress,支持对请求的response进行压缩,具体的使用如下:

    var compress = require('koa-compress')
    var Koa = require('koa')
    
    var app = new Koa()
    app.use(compress({
      filter: function (content_type) {  //配置过滤的压缩文件的类型
        return /text/i.test(content_type)
      },
      threshold: 2048,   //要压缩的最小响应字节
      flush: require('zlib').Z_SYNC_FLUSH  //同步的刷新缓冲区数据;
    }))

    因为当前项目中并没有提价较大的文件,所以该中间件并没有在项目中使用。这里仅仅介绍koa有中间件提供这样的能力供开发者使用。

    7.怎么维护一个稳定nodejs服务

    像这样node app.js来维护线上的服务肯定是不行。因为端口可能会不知不觉让linux给kill掉。目前在业界普遍使用的都是pm2来维护nodejs服务。提供了日志,端口被Kill后自动重启,性能监控等强大的功能。

    7.1收集系统日志

    使用pm2启动Nodejs进程后,会默认吧代码运行异常的错误和标准输出日志(比如:console.log)打到以下的目录下面。

    7.2进程信息

    提供了进行运行时相关信息;

    7.3性能监控

    提供了内存监控和cpu监控的命令。

    总结:

    FE到现在在大多数的后端工程师眼中都是切切页面,用js写写“特效”的角色。所以被大家戏称为“页面仔”。这也是为什么说FE是一个很容易遇到职业瓶颈的行业。

    自从基于Nodejs的前后端开发模式在业界得到越来越多的实践后,前端工程师在其中扮演着重要的角色。由以上内容可以看出,在使用Nodejs以后,虽然前端技术栈得到了机房,但对FE的个人素质要求也会有所提高,性能优化网络请求优化都是前端工程师需要去面临的问题。因为我们会成为用户发起的网络请求在服务端的第一层接收者,我们也会面临着web安全的问题。

    参考资料:

    Koa文档

    Koa2入门

    配置错误产生的差距:200 OK (FROM CACHE) 与 304 NOT MODIFIED

    HTTP缓存技术,304(Not Modified)和200(from cache)有何区别?

    展开全文
  • 3 研究挑战与展望3.1 研究挑战虽然新型硬件环境为数据管理与分析提供了的设计维度,但是不论从个体的新型硬件发展前景抑或从整体的与现有体系的整合方式来看,都具有较大的不确定性。这些新型硬件能否给上层软件...

    3 研究挑战与展望


    3.1 研究挑战


    虽然新型硬件环境为数据管理与分析提供了新的设计维度,但是不论从个体的新型硬件发展前景抑或从整体的与现有体系的整合方式来看,都具有较大的不确定性。这些新型硬件能否给上层软件系统带来期望的性能收益取决于如何发掘新型硬件的性能提升空间以及准确界定硬件自身的局限性,洞察他们蕴含的假设条件以及对于系统设计平衡点的影响,这些都是数据管理与分析领域必须面对的挑战:


    1) 首先,要在系统层面洞察新型存储器件和环境可能引入的新瓶颈:新型硬件及其环境对现有技术的影响是系统性的,在消除既有性能瓶颈的同时可能会引入新的性能瓶颈,需要站在更高层的系统上下文中对其影响进行审视。在新型处理器和加速器构建的异构计算环境下,虽然大规模并行能力的瓶颈得以缓解,但是传统的内存墙、冯·诺依曼体系结构瓶颈、功耗墙等问题在新的异构并行计算环境下甚至可能更加严重,而异构处理单元之间的通信延迟、有限的缓存容量、非一致存储访问代价都可能成为新的性能瓶颈;在新型非易失存储环境下,数据访问的I/O栈中面向磁盘的I/O瓶颈能够被消除,但是新型非易失I/O栈将显著地放大传统存储体系下通常被忽略的软件开销,重新设计软件栈以减少其开销比例成为比以往更重要的设计原则;在高性能网络体系中,虽然网络I/O延迟不再是系统设计时的主要瓶颈,但处理器缓存和本地内存的利用效率则变得更为重要。


    2) 其次,新型硬件环境下算法和数据结构的设计思路需要改变:将传统算法和数据结构进行直接迁移或部分调优的方式无法充分挖掘新型硬件及环境的特性。在处理器层面上,适合x86架构处理器的数据结构及以cache为中心的算法设计并不能与以计算为中心的众核协处理器硬件特性相匹配,很多数据库成熟的查询处理技术在众核处理器平台上面临优化技术失效的风险,而且数据库软件长期以来以串行及小规模并行处理为主的程序设计思想,使得传统的查询处理算法难以很好地转换为大规模并行处理模式;在存储层面上,虽然新型非易失存储具有内外存双重优势,但是现阶段非易失存储器仍然存在 I/O读写性能不对称、读写功耗不对称、写耐受性差等特征,这些特征与以往算法和数据结构对于底层存储环境的基本设计假设具有显著差异,因此传统的以优化低速I/O为主要目标的磁盘访问技术、基于块访问的闪存访问技术、读写对称的内存访问技术虽然能够提供很好的借鉴作用,但是都无法在非易失存储环境下获得理想的效果;在网络层面上,由于RDMA集群环境既不是简单的消息传递架构也不是共享内存架构而是一种新型的混合式架构,因此不能将非一致内存访问架构下的技术直接应用到RDMA集群环境中。


    3) 再者,新型硬件及环境对数据管理与分析技术的影响是全面、深度且交叉的:新型硬件环境所具有的新特征不能通过简单的对数据管理软件的既有功能进行裁剪来适配新的硬件环境。在新型处理器和加速器构建的异构计算环境下,并行处理能力获得极大的提升,但是更加丰富的硬件上下文也给数据管理与分析技术在保持高吞吐性能和维护数据一致性等需求上带来了更严峻的挑战;新型存储器的非易失性对日志技术的影响将根本性地改变事务关键路径的长度和执行代价,事务提交时间的减少会进一步加剧锁竞争,进而影响整个系统的并发能力和吞吐性能;低延迟高带宽的高性能网络会改变系统对于分布式事务难以扩展的基本假设以及分布式算法设计时面向最小化网络延迟的优化目标,多核架构下的缓存利用成为新的优化重点;此外,部分既有的数据管理部件本身具有复合型的功能,新型硬件对其影响也具有较强的关联性。例如既有的缓冲区不但用于缓解整个系统的I/O瓶颈,也是减少故障恢复机制开销的重要环节;更加复杂的是,新型硬件与环境之间也存在相互的交叉影响,例如高性能处理器的乱序指令执行技术会导致缓存数据无法按应用逻辑次序存取和执行,如果用单一的NVM简化传统存储层级,就必须要解决NVM上数据的有序化问题。


    4) 最后,软硬件的协同设计和协调发展是新型硬件环境下数据管理与分析技术发展的必然途径:新硬件技术有其固有的优势和不足,并不能完全取代原有的硬件体系结构和设备,在相当长的时间内必然是传统硬件与新硬件并存的格局,在提供多样化的硬件选择的同时也导致系统设计更加复杂,优化技术更加不透明,系统整体性能调优难度增加等问题。在异构计算环境下,采用co-processor还是co-placement实现定制化的数据处理加速对系统架构和技术设计具有显著差异,更加严重的是由于并行编程的门槛越来越高,软硬件之间的鸿沟也越来越大,数据管理与分析软件技术的发展滞后于硬件技术的发展,在很多实际应用中,硬件的实际利用率远低于性能上限[129];而新型存储器件具有显著的差异化和多样化,如何利用新型非易失存储器构成非易失存储环境具有极大的灵活性和不确定性,构成成分是单纯还是混合,构成地位是对等还是层次都存在可能性,未定型的构成体系也给上层数据管理与分析技术带来了极大的挑战和研究。在高性能网络体系下,虽然InfiniBand从设计之初就考虑了RDMA,但传统的以太网也提出了基于RDMA的解决方案,最终哪种方案能形成完整的产业生态目前也无法给出确切的答案,因此更需要尽早开展前沿性研究,探索适合高性能网络环境的数据管理新架构。


    3.2 研究展望


    从数据管理与分析软件的发展历史来看,近半个世纪以来,作为最主要的数据管理软件,数据库从磁盘数据库闪存数据库内存数据库的发展轨迹充分反映出数据管理软件随底层存储介质一致变化的明显趋势。相似的,Shore-MT、MapD等系统的出现也反映出数据管理与分析技术随处理器共同演化的必要性。由高性能处理器和硬件加速器、新型非易失存储器、高速互联设备催生的异构计算架构、混合存储环境和高性能互联网络等新型硬件环境,必将改变传统的数据管理与分析系统的底层载体支撑,为数据管理与分析系统和关键技术带来重大的发展机遇,未来的研究可以从以下几个方面着手展开:


    1)轻耦合的系统架构与协同设计策略:新型硬件构建的计算、存储以及网络环境具有异构性、多样性和混合性,不同的环境构成对上层数据管理系统架构的设计具有显著影响。如何将新型硬件无缝化地融入数据管理栈是数据管理技术能够有效利用新型硬件能力的重要基础性研究问题。为兼容多样性的硬件环境以及减少与特定硬件高耦合优化技术的失效风险,必须对异质、异构、混合的硬件环境进行有效的抽象和虚拟化。抽象化技术可以提取硬件共有的特征,在确保硬件感知的同时减少低级的过度耦合,为上层技术提供灵活的定制化和服务化的支持;同时,数据处理中不同操作的执行代价以及相互的比例关系在新硬件环境下必然发生变化,系统的瓶颈也在发生迁移,传统软件栈中以往可以忽略不计的开销会被显著的放大。因此,需要在此基础上发现并优化新的性能瓶颈,重新设计合理的软件栈,降低新型硬件环境下的软件开销;此外,新型硬件环境具有的低延迟、高容量、高带宽、高速读写等显著优势为整合OLTP与OLAP系统功能,实现融合的OLTAP系统架构设计带来了新的发展机遇,有必要在新硬件环境下探索面向混合应用负载的融合支持技术;


    2)支持混合异构硬件环境的存储与索引管理技术:新型非易失存储器由于兼具内外存双重能力,模糊了原有存储之间清晰的边界,也为新型非易失存储环境的构成和数据存储方式提供了相当大的自由度,同时配合高效的索引技术以及加速器的优化,能够为加速上层数据处理提供有力的保证。虽然,新型非易失存储环境的高速I/O能力为提高数据访问性能带来了机遇,但是,NVM仅在器件层保证了数据的非易失性,系统层面的缓存机制还可能会引入不一致性的问题,因此未来需要从架构、策略、实现等不同层面研究协同存储技术;此外,作为专用加速硬件,FPGA在加速数据处理方面有其特有的优势,特别是结合非易失存储的特征可以进一步提高其对于数据处理的效率,因此,数据存储引擎的优化与重构技术以及FPGA存储侧的数据访存加速及数据过滤技术,能有效的完成对原始数据的部分预处理工作,减少实际所需传输的数据量,进而缓解大规模数据处理时数据访问的瓶颈;再者,NVM非易失存储环境具有更丰富的存储层级,而另一方面新型处理器技术也为索引提供了额外的数据处理资源,因此面向多层级的、processor-conscious的索引技术也是未来研究的方向;


    3)硬件感知的查询处理与性能优化:查询处理是数据分析中最核心的操作,其涉及数据提取过程中一系列复杂的活动。异构计算架构提供的高度并行能力和可定制能力,以及非易失存储环境全新的I/O特征都使得以往的查询处理和优化机制难以适用。未来研究可能集中在两个方面,一是非易失存储环境下的查询优化技术:NVM的高速读写、字节可寻址以及非对称读写等特征对于传统查询操作,如连接、排序和聚集等都将产生显著影响。同时NVM改变了传统存储层级的构成,也影响了传统的以磁盘存储代价来估算查询代价的度量假设,因此未来有必要研究非易失存储环境下的代价模型,以及Write-limited 算法和数据结构的设计与优化,尽可能地降低NVM 写操作产生的负面影响;另一方面是异构处理器平台下的查询优化技术:由于,新型处理器的引入增加了异构计算平台的维度,导致查询优化技术的复杂度进一步提升,对查询优化器的设计提出巨大的挑战。面对新型异构处理器平台,数据库需要能够提供核心查询处理的技术平台迁移。面向异构处理器平台的协同查询处理技术、面向异构处理器平台的分析型查询优化技术以及混合查询执行计划生成技术等都是全面提高异构计算平台下的查询效率的可能途径;


    4)新型硬件使能的事务处理技术:并发控制和故障恢复是数据管理系统确保事务隔离性和持久性的核心功能,其设计和实现与底层计算和存储环境的关系非常紧密。同时,高性能网络环境也对以往难以扩展的分布式事务处理提供了新的机遇。首先,NVM非易失存储环境中存储层次的架构与不同层次间存储介质的读写特征对事务恢复技术而言都有最直接的影响,需要根据NVM的优异特性优化数据库恢复技术。面向NVM内存环境的恢复技术、NVM 混合非易失环境下的划分技术以及NVM 感知的事务并发控制技术都是亟待开展的研究内容。其次,事务处理通常涉及多种类型操作及其之间的同步,而通用处理器和专用加速器具备不同的数据处理模式,为此将传统方式中由通用处理器CPU完成的事务处理负载进行分离,将部分负载迁移至专用加速处理器,可以达到有效提高事务处理性能的目的,因此研究针对事务处理加速的负载均衡和IO优化技术,是有效解决事务处理性能瓶颈的可能途径;再者,RDMA使能的高性能网络环境下,严格控制或者不使用分布式事务以及使用弱一致性的分布式事务系统设计桎梏将不复存在。RDMA使能的分布式提交协议以及面向RDMA的悲观与乐观并发控制方法可能都是需要研究的内容。


    4 结束语


    新型硬件及其构建的环境将深度影响整个计算体系的架构模式,并改变上层软件既往的设计假设,在提供更高物理性能的同时,也要求数据管理与分析的软件架构和相关技术能够感知并适应新型硬件的特点。新型硬件环境使得数据管理与分析系统的设计空间的权衡变得更加复杂,带来了多维度的研究挑战。在未来的研究中,迫切需要打破原有数据管理与分析软件架构的封闭性,依据硬件环境的特征以及数据管理与分析系统的核心功能,自底向上探索与研究全新的数据处理模式、架构、策略与技术。


    转载自“中国计算机学会”微信公众号

    展开全文
  • 但在校园微信公众号迅速发展的背后,其质量和运营模式在媒体潮流中扔存在着许多机遇与挑战。关键词:高校,微信公众号,校园文化,机遇,挑战引言:在如今互联网技术不断发展,智能机成为囊中物的时代,微信公众...

    摘要:近年来,在新媒体时代潮流中,高校运营好校园微信公众号,不仅能更快速、更广泛、更多元地传递校园新闻信息,促进高校校园文化建设,也在潜移默化中改变了当代大学生社会交流模式。但在校园微信公众号迅速发展的背后,其质量和运营模式在新媒体潮流中扔存在着许多机遇与挑战。

    关键词:高校,微信公众号,校园文化,机遇,挑战

    引言:

    在如今互联网技术不断发展,智能机成为囊中物的时代,微信公众平台这一微信产品恰恰契合了当代大学生对新生事物的新鲜感、对科技产品的好奇心,使其成为了微信受众用户中极为活跃的群体。校园微信公众平台在实现信息的快速传播、营造、渲染校园文化氛围的时代背景下应运而生。

    本文将从校园微信公众平台的运营现状、分类与功能和运营策略三个方面浅析校园微信公众平台在新媒体潮流中的机遇与挑战。

    一、         校园微信公众号的运营现状

    (一)公众号数量增长速度快,质量提升速度慢

    校园微信公众号注册方便快捷、运营成本较低,市面上也有秀米、135等免费软件可供排版,为校园微信公众号的蓬勃发展创造了条件。

    据掌上大学用户数据动态更新显示,其已覆盖2909所高校的近8万个微信平台,覆盖大学生数量约为3379千万。[1]创建的低门槛和操作编辑的简易性使近年来校园微信公众号的增长速度快,但内容与质量却良莠不齐,创新度不高。

    (二)部分推文真实受众率低

    由于部分校园微信公众平台内容质量的参差不齐和不稳定性,其关注量和实际阅读点赞量差距悬殊,许多潜在受众还有待转变为实际受众用户。

    (三)校园微信公众平台运营团队稳定性较差

    作为校园运营者的重要组成部分,大学生没有经过系统的学习,在图文推送的内容和排版上无法满足受众要求。其次,学生运营团队存在换届问题,一般换届周期为一年,新人团队过渡期长,导致校园微信公众平台的发展遭遇瓶颈。

    二、         校园微信公众号的分类

    高校的官方微信公众平台一般被分为官方和非官方两类。官微的账号主体一般为学校,一般包括团委、校学生会、各学院公众号等,由庞大的运营团队负责,其推送在内容和形式上受限制,内容一般为校园新闻传播和文化建设,更具有权威性和严肃性。与之相对,非官微的账号主体为个人或企业,在内容和形式上更加灵活,更贴近学生生活,与学生的互动更加密切。[2]

    对于高校来说,官微与非官微具虽有不同的功能和作用,但二者相辅相成,共同构成了当下校园微信公众平台的主体部分。

    三、         校园微信公众平台的功能。

    (一)校园新闻资讯的媒介

    校园新闻热点和活动信息,通过受众群体较大的微信公众号平台发布,既是学校相关信息的图文记录,也是校园新闻的传播渠道。经调查发现,多数高校的微信公众号均会开设类似于“浙传新闻”、“一周万事屋”等与新闻相关的内容板块,用于传播校园新闻资讯。

    (二)校园文化建设的载体

    校园文化建设作为高校重点发展的对象之一,其线下活动与线上宣传报道的开展模式,不仅能够使活动惠及更多学生,提升其影响力,同时也丰富了微信公众号的内容。

    (三)学生双向交流的平台

    美国《连线》杂志对新媒体的定义为:“所有人对所有人的传播。”[3]校园微信公众平台在运营过程中离不开平等互动理念。校园微信公众平台促成了学生与学校的双向交流,正在逐渐成长为校园服务的新平台。

    四、         校园微信公众号的运营策略

    (一)    清晰校园公众号定位

    运营校园微信公众平台首先应当对其受众群体、用户需求、公众号作用等有清晰的定位,运营团队必须了解用户需要什么,才能确定公众号的内容和形式,更好地为用户提供服务。

    (二)    优化运营团队的人员配置

    纵观很多优秀的微信公众平台,其多配备稳定的长期责任部门与指导教师,并延长换届过渡期,建立新老运营团队的分组学习机制,避免遭遇内容质量的滑坡。此外,也应结合高校各个专业的专业技能,取长补短,不断提高其文稿和采编能力。

    (三)    坚持内容至上的原则

    校园微信公众号的成长速度令人惊叹,质量却令人堪忧,如何才能在众多公众号中脱颖而出,内容至上的原则依然没有改变。

    首先,将学校自身的文化建设活动与时事热点相结合,与社会接轨,丰富了推文内容,更容易与学生达成共鸣,有利于公众号的宣传与发展。

    二是要从校园文化建设中汲取灵感,围绕一个系列主题进行内容创新,这不仅体现校园微信公众平台的同一性与多元化,更提高了内容的可读性,使读者在意犹未尽中有所期待。

    三是设立标志,增加用户依赖。校园微信公众平台可在一定程度上模仿广播的节目模式,将板块内容分周期轮流推送,使用户在无形之中养成阅读习惯,增强校园微信公众号的用户粘性。

    (四)    人格化的灵活创新

    “再小的个体,也有自己的品牌。”就如 “青春浙传”的五大卡通形象,“浙江理工大学阳光网站”的浙理小光,这些都是将公众号人格化的创新实例。为校园微信公众平台创建鲜活的人物形象,将其人格化,创立了个性化品牌,缩短了与学生之间的距离,使公众号不再“冷冰冰”。

    五、         启示

    自2012年微信公众平台出现以来,校园微信公众平台的发展力量不可小觑,近些年小程序的出现与多种授权平台的出现更为其未来的发展增加了更多机遇。但我们也应该认识到,五年在漫漫历史长河中仅是昙花一现,在互联网发展迅速、新兴媒体不断涌现的今天,校园公众平台未来的发展仍然存在着很大的挑战。

    参考文献

    [1]掌上大学用户动态数据更新 http://www.wxhand.com/Home/User/login.html#page1

    [2]魏满霞、张熳、杜浩鹏、黄艺林 《高校非官方微信公众号现状分析与管理建议》

    [3]黄宏 《媒介素养教程》 浙江大学出版社 2013年5月第一版

    展开全文
  • 关于“工作没有挑战性”

    万次阅读 多人点赞 2012-04-17 23:48:54
    今天中午,左耳朵耗子在微博中提到“面试过一些应聘者,当我问到为什么换工作的时候,他们都会告诉我,现在的工作没有挑战,无聊,所以想换一个有挑战的工作。我总是为有这样的认识的朋友感到惋惜,因为我总是认为有...
  • 有关 numpy 的 35 个实战挑战

    万次阅读 2018-05-02 12:06:13
    Level Up!有关 numpy 的 35 个实战挑战挑战 1:引入 numpy 并查看 numpy 的版本。要求:这是第一步,以后我们使用 numpy 时...挑战 2:创建数组要求:创建一维数组,内容为从 0 到 9。# 输入数组 arr = np.arange(...
  • 关于12306——传统信息化系统面向互联网应用的挑战 大型信息化系统提供互联网应用越来越多,从移动电信的网上营业厅、银行网银,到现在的12306火车售票,可以说每一个系统的互联网服务都给大众生活带来非常大的变化...
  • 公链的基本挑战

    千次阅读 2019-05-12 08:02:36
    公链的基本挑战: Part 1 -图片来源:http://www.englishblog.com/2012/02/cartoon-murdoch-walking-on-thin-ice.html#.Wi17n7A-d24- 毫无疑问,区块链技术拥有巨大的潜力。 分布式的交易、市场预测,以及资产...
  • GAN体系结构一直是通过AI生成内容的标准,但是它可以实际在训练数据集中提供新内容吗? 还是只是模仿训练数据并以方式混合功能? 在本文中,我将讨论“重写深度生成模型”(https://arxiv.org/abs/2007.15646)...
  • AI+5G:2019.03.31第11届中国(深圳)IT领袖峰会【IT未来: 5G与人工智能】内容概要 导读 5G+AI双核启动会更加珠联璧合、相得益彰。 IOT 采集数据 → Deel Learning算法建模→ 边缘计算检测识别 传统产业与互联网...
  • 挑战程序设计竞赛》 读后感

    万次阅读 多人点赞 2013-09-12 21:35:26
    最近要开始准备面试找工作,算法是准备的重中之重,舍友推荐了《挑战程序设计竞赛》这本书。花了一周的时间大体过了一遍,该书真切地让我理解了“智商是硬伤”这句话的含义。我对它的评价是:如果智商小于120,只看...
  • Redis面试题(2020最新版)

    万次阅读 多人点赞 2019-12-13 10:38:01
    2020为努力奋斗的你点赞,️的一年,祝各位大牛牛气冲天,牛年大吉! 文章目录 概述 什么是Redis Redis有哪些优缺点 为什么要用 Redis /为什么要用缓存 为什么要用 Redis 而不用 map/guava 做缓存? Redis为什么...
  • 边缘计算的前景和挑战

    千次阅读 2018-07-28 20:49:48
    边缘计算的挑战 边缘计算的前景 问题背景 IOT的快速发展使得网络的边缘产生大量的数据,这些数据如果完全依赖于云中心去处理,会占用大量的网络带宽,同时,整个系统的性能瓶颈就变为了网络带宽的瓶颈,因为...
  • Spring Boot面试题(2020最新版)

    万次阅读 多人点赞 2020-02-19 17:48:42
    2020为努力奋斗的你点赞,️的一年,祝各位大牛牛气冲天,牛年大吉! 文章目录 概述 什么是 Spring Boot? Spring Boot 有哪些优点? Spring Boot 的核心注解是哪个?它主要由哪几个注解组成的? 配置 什么是 Java...
  • 注意力机制最新综述解读

    万次阅读 多人点赞 2019-04-16 18:02:24
    这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构,并展示了注意力如何提高神经网络的可解释性。最后,我们讨论了在实际应用中,注意力机制取得的重要...
  • Android O (8.0) 特性介绍

    万次阅读 2017-06-15 16:35:45
    Android O 功能和 API(文章内容均来Google开发者官网,有需要可自行翻墙查看更多资料)Android O 为用户和开发者引入多种功能。本文重点介绍面向开发者的功能。请务必查阅 Android O 行为变更以了解平台变更...
  • 我对视频号的思考和挑战

    千次阅读 2020-03-30 07:46:35
    但随后一段时间一直没有发内容,为什么呢?因为在思考视频号的定位,如果只是随便发些内容,其实并没有什么竞争力。鸡汤、励志、搞笑、惊奇等等吸引眼球类型的内容在各大平台已经成熟,现在再做几乎毫无竞争力。 ...
  • 私有链和联盟链的机会与挑战

    万次阅读 2019-05-10 10:59:02
    以太坊平台的构想最早是在 ...起来,从而让应用程序开发者更容易地创建区块链上的应用程序,并能受益于区 块链的去中心化和安全的特性,特别是避免了为每一个的应用程序创建一个 区块链的麻烦。 而之前曾经出现...
  • 挑战10个最难回答的Java面试题(附答案)

    万次阅读 多人点赞 2019-08-12 10:28:36
    1.SpringBoot内容聚合 2.面试题内容聚合 3.设计模式内容聚合 4.Mybatis内容聚合 5.多线程内容聚合 这是我收集的10个最棘手的Java面试问题列表。这些问题主要来自 Java 核心部分 ,不涉及 Java EE 相关问题。...
  • 本篇文章会详细介绍虚拟机存储策略,IO如何流动等技术细节。...由于服务器虚拟化聚合了前端多个业务虚机的IO,使得阵列在性能、部署、管理上,面临着巨大的挑战。从2011年在vSphere 4.1开始引入的VAAI,到2
  • 大家好,我今天分享的题目是《高可用实践:从淘宝到上云的差异》,取这个标题是因为会涉及到两个方面内容,一方面以淘宝为例子,传统的 IDC 的时候,我们稳定性是怎么做的,另外在云计算背景下,有很多创业公司是...
  • buuctf 极客大挑战 lovesql

    千次阅读 2020-01-17 12:18:11
    有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学...
  • 我的新书,《第一行代码 Android 第3版》已出版!

    万次阅读 多人点赞 2020-04-02 10:13:08
    《第一行代码——Android》这...在2016年的时候,我曾对书中的内容进行了大幅度的更新,出版了这本书的第2版,也就是所谓的《第二行代码》。而如今,再隔4年之久之后,《第三行代码》终于要以全新的面貌跟大家见面了。
  • Hadoop-3.x特性

    万次阅读 2019-04-12 10:18:35
    YARN Timeline Service v.2用来应对两个主要挑战:(1)提高时间线服务的可扩展性、可靠性,(2)通过引入流(flow)和聚合(aggregation)来增强可用性。为了替代Timeline Service v.1.x,YARN Timeline Service v.2 ...
  • mMTC面临挑战与研究现状

    千次阅读 2018-09-17 16:03:17
    尽管现有通信系统可以支持很多MTC应用,但mMTC所具有的一些特性,例如接入设备数量巨大,载荷长度非常小等,都需要的方法和定义,使得蜂窝系统能够无缝地支持mMTC业务与其它业务的融合。 物理层挑战 系统级考虑 ...
  • 业务的迅速扩张,对网络的基础架构和运维带来了巨大的挑战。初期并发开店导致的效率问题、人员出差的服务成本、日常的运维压力、非标准化带来的架构、设备、配置不统一造成的维护困难等等,一个良好的网络基础,在...
  • 软件测试人员的挑战与机遇

    万次阅读 2019-09-15 17:05:01
    软件测试总是被看做没有技术含量、没有前途...本文将根据ThoughtWorks最新发布的第20期技术雷达来分析当前流行的技术给软件测试人员带来的影响是什么,有哪些机遇与挑战。 技术雷达上的内容涵盖有技术、平台、...
  • 0 基础 Java 自学之路(2021年最新版)

    万次阅读 多人点赞 2021-04-07 23:18:48
    如今已经过去了3年,我对于这个话题又有了一些的思考,同时为了拯救广大正处于水深火热的同学们,于是,我决定重新写一篇自学教程。 自我介绍 在写本文前有必要介绍下我自己,让大家更好的去比较和参考。 我大学...
  • 直面PHP微服务架构挑战

    千次阅读 2019-05-05 11:39:22
    在4月20日的阿里云栖开发者沙龙PHP技术专场上,云智慧Technical VP高驰涛为大家介绍了微服务的前世今生,分享了微服务架构实践中所面对的诸多挑战以及相应的应对策略。...以下内容根据演讲视频以及PP...
  • POP商品系统的特征是业务复杂,也是业务的发源地,更是核心的基础服。 POP商品系统的架构演进目前整体上可以分为三个阶段。 第一个阶段特点所有业务在一起,有神机oracleex-data 搞定一切,数据要到买家库去跑...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 213,169
精华内容 85,267
关键字:

关于新挑战的内容