精华内容
下载资源
问答
  • 如下所示: 将特征以及对应的文件名保存为h5文件 什么是 h5 文件 h5文件是层次数据格式第5代的版本(Hierarchical Data Format,HDF5),用存储和组织大规模数据。 H5将文件结构简化成两个主要的对象类型:数据集...

    0d0bea1cab5f24bd0f5b0e22de9fa6db5b871e59.jpg

    随着深度学习的崛起,极大的推动了图像领域的发展,在提取特征这方面而言,神经网络目前有着不可替代的优势。之前文章中我们也介绍了图像检索往往是基于图像的特征比较,看特征匹配的程度有多少,从而检索出相似度高的图片。而检测图像特征,VGG16具有得天独厚的优势。

    接下来本文将会通过一个简单的案例来实现一个基于深度学习的图像检索小工具。

    准备工作

    老样子,先来准备好我们此次需要使用到的工具:IDE:Pycharm

    Python:3.7

    Packages:Keras + TensorFlow + Pillow + Numpy

    keras

    Keras是一个高层神经网络API,Keras由纯Python编写而成并基Tensorflow、Theano以及[CNTK后端。简单来说,keras就是对TF等框架的再一次封装,使得使用起来更加方便。

    基于vgg16网络提取图像特征

    我们都知道,vgg网络在图像领域有着广泛的应用,后续许多层次更深,网络更宽的模型都是基于此扩展的,vgg网络能很好的提取到图片的有用特征,本次实现是基于Keras实现的,提取的是最后一层卷积特征。

    思路

    主要思路是基于CVPR2015的论文《Deep Learning of Binary Hash Codes for Fast Image Retrieval》实现的海量数据下的基于内容图片检索系统。简单说来就是对图片数据库的每张图片抽取特征(一般形式为特征向量),存储于数据库中,对于待检索图片,抽取同样的特征向量,然后并对该向量和数据库中向量的距离(相似度计算),找出最接近的一些特征向量,其对应的图片即为检索结果。如下图所示:

    f4391d8defe3c801dcb1afea9bad77ea40da9fe0.jpg

    用户请求和预处理部分主要是Web服务端应该做的,这里不加以讨论,接下来我们主要进行红线标注部分的实现。

    实操

    提取图片特征

    keras在其中文文档中提供了一个利用VGG16提取特征的demoeaee9735e8123f4a6a71c7da585ee442c5254d09.png

    这里我们需要对其进行简单修改,封装成一个类以便后期调用。如下图所示:fca3a850caab462cd31567a00dc532d4dc0caf6b.jpg

    将特征以及对应的文件名保存为h5文件

    什么是 h5 文件

    h5文件是层次数据格式第5代的版本(Hierarchical Data Format,HDF5),用以存储和组织大规模数据。

    H5将文件结构简化成两个主要的对象类型:数据集dataset,就是同一类型数据的多维数组

    组group,是一种容器结构,可以包含数据集和其他组,若一个文件中存放了不同种类的数据集,这些数据集的管理就用到了group

    直观的理解,可以参考我们的文件系统,不同的文件存放在不同的目录下:

    目录就是 hdf5 文件中的 group,描述了数据集 DataSet 的分类信息,通过 group 有效的将多种 dataset 进行管理和划分。文件就是 hdf5 文件中的 dataset,表示具体的数据

    下图就是数据集和组的关系:863f773cc385456056a897160b7ef70edca011dc.jpg

    在 Python 中,我们通常使用 h5py 库对 .h5 文件进行操作,具体的读写方法自行百度,这里不在演示。

    抽取数据集中的图像特征保存到 h5 文件中

    我们在项目根目录下命名一个database文件夹作为数据集,然后编写一个获取文件夹内图片的方法:

    f6d6a864ff511795d89b16ae8e4f4b5917d8e0c1.png

    随后我们便可以依次读取数据然后,一一提取其特征保存到文件中了。如下图:83e27f9d5c698194eff2cb22080c15cab5d7fd88.jpg

    至此,我们就已经算是完成了模型的训练了。

    选一张测试图片测试检索效果

    经过上述操作,我们已经将数据集中的所有图片的特征保存到模型中了,剩下的就是抽取待测图片的特征,然后和特征集中的特征一一比较向量间的相似度(余弦相似度),然后按照相似度排序返回给用户即可。d4ae4a38dbda526365081c9a260e221f26a8dc37.jpg

    以某一个包包为测试图片,输出结果如下所示:6eafa6b2e6f56fac620c13fa94b80e4f01d7ad3e.jpg

    在PyCharm中可以很方便的查看matplotlib生成的图片,第一张为测试图片,后面三张为检索图片,可以看出效果相当好了。d8152266388287eac704be67c78ff766a4770adc.jpg

    最后

    至此我们已经利用深度学习实现了一个图片检索的小工具了,如何将其和web/app结合到一起就不在本文的讨论范围了

    如果你想更多的了解Python,点击以下视频跳转链接:

    展开全文
  • 图片标签及以图搜图场景应用

    千次阅读 2020-10-12 11:58:06
    图片标签以及应用探索,介绍多目标输出图片标签,图片多标签方案、搜等推荐和搜索应用

    博客:https://wenjie.blog.csdn.net/
    作者:走在前方
    介绍:计算机硕士,多年工作经验,技术和产品负责人。 多年推荐系统/NLP/大数据工作经验。 负责公司多个AI项目产品落地,包括文本分类、关键词抽取、命名实体识别、对话系统中语义理解、FAQ智能问答、知识图谱、图搜、推荐系统等

    本文主要分享核心要点

    • 图片标签问题
      • 什么是多标签图像分类
      • 多标签图像分类与多类图像分类有何不同
      • 构建多标签图像分类模型的步骤
      • 你了解哪些多标签图像分类模型结构
      • 多分类和多标签分类器和损失函数选择
      • 图片标签在推荐和搜索系统应用
    • 不同图片业务应用
      • 二分类
      • 多分类
      • 多目标任务
      • 多标签
      • 以图搜图
    • 多目标输出图片分类应用
      • 背景和数据介绍
      • 自定义数据集合网络模型设计
      • 模型加载预测
      • 在线预测以及数据可视化
    • 多标签图片分类应用
      • 多标签和多分类区别
      • 二分类和多分类以及损失函数
      • 网络模型设计
      • 多标签预测
    • 以图搜图应用
      • 图搜应用场景和原理
      • 开源向量检索引擎
      • 系统架构
      • 图片特征抽取和在线实时检索

    图片标签问题

    图片

    • 什么是多标签图像分类
    • 多标签图像分类与多类图像分类有何不同
    • 构建多标签图像分类模型的步骤
    • 你了解哪些多标签图像分类模型结构
    • 多分类和多标签分类器和损失函数选择
    • 图片标签在推荐和搜索系统应用

    不同图片标签差异

    图片

    图片

    图片分类:二分类(binary-class classification)场景

    图片

    图片分类:多分类(Multi-class classification)场景

    图片

    以4类(猫、狗、兔子和鹦鹉)看下多分类特点:

    每张图片只能被分类为猫、狗、鹦鹉或兔子。没有任何一个图像属于多个类别的情况

    图片分类:多输出分类(Multi-output classification)场景

    3类(电商时尚类):性别+颜色+类型( 每张图片都有3个固定的标签 ),固定输出图片多标签

    图片

    图片分类:多标签图片分类(Multi-label classification)场景

    图片

    多标签图片分类

    ①每个图像都属于一个以上的类

    ②每个图片出现的标签并不是固定的

    ③标签获取从标签池中选择最可能标签展示

    以图搜图

    • 基于图片标签搜索
    • 基于图片特征搜索

    图片

    多目标输出图片分类

    背景介绍

    随着电子商务产业快速发展,有大量的数据集等待着我们去搜集和研究。除了专业拍摄高质量产品图像,商品本身还拥有多个标签属性,用于描述商品各种特征。另外,还提供了关于商品特性的描述性文本

    数据介绍:每个商品都有一个唯一编码(例如:ID =15970) ,商品信息主要字段信息如下所示

    图片

    数据分析

    图片

    自定义数据集**+**模型定义和设计

    自定义数据集

    ①加载指定的标签数据

    ②计算标签种类和数量统计

    ③构建标签字典

    ④自定义数据集工具类

    模型定义和设计

    ①加载预训练的网络(例如:mobilenet_v2,resnet,resnext. 用户可以自己选择进行实验)

    ②修改基础网络结构,原来网络最后一层仅支持一个分类标签输入

    ③每个标签属性损失函数选择cross-entropy loss (采用联合训练求loss)

    模型数据验证混淆矩阵可视化

    图片

    模型加载

    model = MultiOutputModel(n_color_classes,

    n_gender_classes,

    n_article_classes)

    model.to(device)

    checkpoint = “./checkpoints/2020-09-21_15-59/checkpoint-000049.pth”

    model.load_state_dict(torch.load(checkpoint,map_location=‘cpu’))

    model.eval()

    图片多标签预测

    图片

    多分类输出多标签案例演示

    图片

    多标签图片分类

    多标签和多分类应用

    • 不同任务的图片分类应用

    图片

    • 针对一张图片,强制只能一种数字,可以使用softmax分类器

    图片

    • 胸部X光片:一次胸部X光片可以同时显示多种不同的医疗状况。如果我们为胸部x光片构建一个分类器,我们希望该分类器能够指示存在多种情况。这是一张同时显示肺炎和脓肿的胸部x光照片,以及相应的标签。

    图片

    • 入院:根据患者的健康记录,我们可能需要预测该患者将来是否会入院。我们可以将其定义为一个分类问题:根据患者未来的入院诊断(如果有的话)对患者过去的健康记录进行分类。患者可能因多种疾病入院,因此可能有多个正确答案

    图片

    介绍两个重要的分类器

    Sigmoid和Softmax对比

    图片

    图片

    图片

    数据介绍

    图片

    图片

    分类器**+**损失函数

    图片

    图片

    网络模型设计

    图片

    多标签分类模型**-**效果可视化

    图片

    图片

    多标签图片分类功能演示

    图片

    图片

    以图搜图

    图像搜索应用场景

    随着数字时代的到来,传统单单的文字搜素已经无法满足人们的搜索了,图像搜索,甚至是视频搜索都已经比较成熟。

    图像搜索服务 (Image Search)是以深度学习大规模机器学习技术为核心,通过图像识别和搜索功能,实现以图搜图的和以文搜图的智能图像搜索产品。图像搜索服务在基于图像识别技术基础上,结合不同行业应用和业务场景,帮助用户实现相同或相似图片搜索。

    现在大火的人工智能主要是:语音识别,自然语言处理,计算机视觉,推荐系统等等。

    人工智能技术应用:

    n语音识别+自然语言处理:amazon echo,google assistant/home,siri,国内一大票智能音箱

    n计算机视觉:微博面孔专辑(商汤提供的cv能力),海康威视/格林深瞳的安防,**拍立淘(手机淘宝里面的相机入口),百度识图(百度app里面的相机入口),**Google Photo

    n推荐系统:手机淘宝主页往下翻有个栏目叫猜你喜欢,qq/网易音乐的每日推荐歌曲等

    图片搜索的主要应用是二维码扫描、以图搜图、拍照搜题、拍照翻译、AR翻译、以图搜剧等

    图片

    图片

    百度图像搜索

    以图搜图,在指定图库中搜索出相同或相似的图片,适用于图片精确查找、相似素材搜索、拍照搜同款商。

    相似图片搜索场景

    在自建图库中找到与检索图片语义相似的图片集,并给出相似度打分(综合图片类型、颜色、内容、布局等特征);适用于各种相似图片查找、相关内容推荐场景

    图片

    • 设计素材查找

    基于拍摄照片查找相似或相同的图片作品,满足设计师人群、工作人员更快捷高效查找原版大图或相似作品的需求

    • 商品搜索及推荐

    将用户拍摄的图片在商品库中搜索,找到同款或相似的商品,进行商品销售或者相关商品推荐,提升搜索查找的便捷性,优化用户体验

    • 相关内容推荐

    将文章内容或者产品服务中的图片入库,通过比对用户上传的图片,查找相似图片,从而找到相关的内容信息,实现相关内容搜索、推荐

    相同图片搜索场景

    在自建图库中找到与检索图相同的图片,支持找到局部内容相同的大图,或适度调整背景和角度的相同图片;可用于图片精确查找、重复图片过滤等场景

    图片

    应用场景

    • 重复图片过滤

    搜索图库中是否有相同或高度相似的图片,实现系统内图片去重或过滤,避免重复内容引起的资源浪费、体验下降等问题

    • 图片精确查找

    在图片库中找到主体相同的图片,结合相似度分值,判断图片内容是否严格相同,可用于特定图片查找、图片内容精准关联等场景

    商品图片搜索场景

    针对商品类图片,专项训练检索模型,在自建图库中搜索相同及相似的商品图片集,可找到不同颜色、背景、角度的同款商品;适用于电商平台拍照搜商品等场景

    图片

    • 商品搜索及推荐

    将用户拍摄的图片在商品库中搜索,找到同款或相似的商品,进行商品销售或者相关商品推荐,提升商品搜索查找的便捷性,优化用户购买体验

    • 商品识别

    将商品名称与图片相匹配一起入库,通过图片相似度判断实现指定集合内的商品识别,可用于户外广告拍照下单、供应链系统拍图找货等场景

    接下来我们就针对图搜场景进一步探索。

    阿里图像搜索

    电商图库类场景

    图片

    图片

    用户只需拍摄或者上传商品照片,就可以根据图片进行商品搜索。 省去了繁琐的文字描述,简化了商品搜索流程,大大提升用户的购物体验。

    布料纺织场景

    图片

    商标logo检索场景

    图片

    在商标、标识等场景下搜索相同或相似logo图形,大幅度简化人工肉眼比对的工作量,并有效提供工作效率。

    通用图库类场景

    图片

    图片分享和社交类网站通常有大量通用图片供用户搜索使用,利用图像搜索服务,可在云端快速构建百亿级图像搜索引擎,提供以图搜图功能,提升用户体验。

    以图搜图实践

    为方便更直观认知图像搜索场景应用,我们采用的方案:

    基于深度学习工具PyTorch + Facebook AI searcher Faiss向量相似性搜索算法库。

    举例说明如下:

    红色方框是查询图,绿色方框是完全匹配的结果,其它是最相似的top

    图片

    图片

    图像搜索发展历程

    图片

    卷积神经网络理论必备

    采用PyTorch深度学习工具进行图片特征提取。首先我们需要做的,要理解卷积神经网络如何特征提取的?这部分重点给大家讲解相关CNN的概念。

    • 初识CNN
    • CNN 卷积层概念
    • CNN 中的stride和zero-padding使
    • CNN 特征图计算
    • CNN PoolLayers和FC&训练过程演示开始学习
    • CNN 网络发展历史
    • 图形化介绍FC和CNN 区别以及CNN 层概念
    • keras 实现CNN 网络
    • 图形化方式介绍CNN在图像应用
    • CNN 在语音和文本中应用介绍

    Faiss向量搜索库基础入门

    faiss 向量化相似索引库,主要完成文本向量化特征的存储和检索。

    • faiss安装
    • faiss 快速入门
    • faiss 基础模块和索引选择
    • faiss 基础索引类型介绍和源码分析
      • Faiss indexes IO和index factory
      • Faiss indexes 前(后)处理
      • Faiss indexes 基础索引类型
      • Faiss indexes 多种index混合
      • Faiss indexes 进阶操作
    • faiss 索引优化方案
    • faiss一些基准实验

    以图搜图项目实战

    数据介绍

    数据集介绍

    图片集包含 17125 张图片,涵盖 20 个目录。

    n人类;

    n动物(鸟、猫、牛、狗、马、羊);

    n交通工具(飞机、自行车、船、公共汽车、小轿车、摩托车、火车);

    n室内(瓶子、椅子、餐桌、盆栽植物、沙发、电视)

    数据集大小:~2GB

    说明:您也可以使用其他的图片数据进行图片索引构建和检索。

    索引构建压缩

    尝试20万照片构建图片索引生成439M索引文件

    索引降维压缩后,最后生成32M索引文件,效果基本不受影响

    以图搜图系统架构

    图片

    以图搜图技术架构原理

    图片

    为方面进一步的理解以图搜图业务场景执行方案,通过VISO 图再次演示如下:

    图片

    主要分为三个部分——图像特征抽取,图像特征构建索引、图像快速检索。

    **第一步:**图像特征抽取方法

    • 传统的方法有各种图像处理的方法,比如hog直方图,小波过滤等方法提取特征
    • 流行的深度学习方法,比如卷积神经网络等;

    **第二步:**使用特征抽取器对图像库抽取特征,并以向量的形式存储起来;

    **第三步:**构建索引后,图像索引的好坏影响搜索速度

    通过案例来看看图像检索基本的流程。首先,提供一张图像,然后按照下面的流程执行

    ->抽取特征

    ->图像库特征匹配(余弦相似度或者欧式距离)

    ->相似度的大小进行排序

    -> 输出匹配结果

    图片

    深度学习框架选型

    主要借助深度学习框架,完成图片特征提取,一般采用TensorFlow 或者 PyTorch

    项目: 采用PyTorch深度学习工具,同时采用Faiss 完成图片特征存储和检索(毫秒)

    ** Faiss 开源向量检索引擎**

    Faiss是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集(备注:向量集大小由RAM内存决定)的算法,以及用于算法评估和参数调整的支持代码。Faiss用C++编写,并提供与Numpy完美衔接的Python接口

    图片

    Faiss 不同类别索引

    图片

    Faiss索引构建源码解读

    图片

    图片特征抽取

    图片

    图片

    在线实时检索演示

    • 第一张照片:用户检索照片,后面相似照片推荐(相似得分:从左到右、从上到下排序)
    • 索引库采样降维压缩,压缩前后减少1/4
    • 图片检索速度在毫秒级别( 5000 万图片库)

    图片

    更多以图搜图的效果案例**>>**

    展开全文
  • 利用 inceptionV3 特征简单实现以图搜图

    千次阅读 热门讨论 2019-03-29 21:53:14
    tensorflow, inceptionV3, 相似性,以图搜图

    从百度图片搜集一些素材:

    分别有:喵x4,汪x4,猪x4,鸡x4

    实验的目的

    是希望通过输入一张图片,返回与其最相似的图片,达到以图搜图的效果。

    在这里插入图片描述

    代码

    首先,导入必要的包

    import os
    import tarfile
    import matplotlib.pyplot as plt
    import numpy as np
    import PIL
    import tensorflow as tf
    import tensorflow.contrib.slim as slim
    import tensorflow.contrib.slim.nets as nets
    from six.moves.urllib.request import urlretrieve
    
    # 获取图片
    images = []
    img_dir = '\Download\img'
    for idx, img_name in enumerate(os.listdir(img_dir)):
        img_path = os.path.join(img_dir,img_name)
        print('fetching pic:',img_path)
        img = PIL.Image.open(img_path)
        img = img.resize((299, 299))
        images.append(img)
    NUM = len(images)
    

    从网上下载别人训练好的模型,也可以手动下载解压到文件夹。

    # 下载 inceptionV3 模型
    data_dir = '.'
    checkpoint_filename = os.path.join(data_dir, 'inception_v3.ckpt')
    if not os.path.exists(checkpoint_filename):
        print('downloading inceptionV3 model...')
        inception_tarball, _ = urlretrieve(
            'http://download.tensorflow.org/models/inception_v3_2016_08_28.tar.gz')
        tarfile.open(inception_tarball, 'r:gz').extractall(data_dir)
    
    # 计算流 (注意:299,299,3,1001是inceptionV3的标准参数
    image = tf.Variable(tf.zeros((299, 299, 3)))
    preprocessed = tf.multiply(tf.subtract(tf.expand_dims(image, 0), 0.5), 2.0)
    arg_scope = nets.inception.inception_v3_arg_scope(weight_decay=0.0)
    with slim.arg_scope(arg_scope):
        logits, end_points = nets.inception.inception_v3(
            preprocessed, 1001, is_training=False, reuse=False)
        # logits = logits[:, 1:]  # ignore background class
        # probs = tf.nn.softmax(logits)  # probabilities
    
    #利用 saver 载入网络参数
    restore_vars = [
        var for var in tf.global_variables() if var.name.startswith('InceptionV3/')
    ]
    saver = tf.train.Saver(restore_vars)
    

    在 session 中得到所有图片的 inception 特征

    with tf.Session() as sess:
        saver.restore(sess, os.path.join(data_dir, 'inception_v3.ckpt')) #加载网络参数
        layer = 'PreLogits'
        features = []
        for img in images:
            img = np.asarray(img).astype(np.float32)/ 255.0
            feature_values = sess.run( end_points, feed_dict={image: img})
            feature = feature_values[layer].squeeze()
            features.append(feature)
        feature_vectors = np.stack(features)
    
    # 计算欧氏距离
    # 在这里不做归一化,因为归一化之后和余弦距离等价
    distance_euclidean = np.sum(
        np.power(feature_vectors, 2), axis=1, keepdims=True) + np.sum(
            np.power(feature_vectors, 2), axis=1,
            keepdims=True).T - 2 * np.dot(feature_vectors, feature_vectors.T)
    
    # 计算余弦距离
    features_norm = feature_vectors / np.linalg.norm(
        feature_vectors, axis=1)[:, np.newaxis]
    distance_cosin = np.dot(features_norm, features_norm.T)
    

    到这里,所有图片之间的相似度就已经得到了。

    接下来,我们从素材中挑4张图片来展示效果: 找出和输入图片最相似的前6张图片

    test_images = [(i,img) for i, img in enumerate(images) if i%4==2]
    TEST_NUM = len(test_images)
    TOP_NUM = 6
    
    # 测试欧式距离
    plt.figure()
    for i,(idx_img,plt_img) in enumerate(test_images):
        order_euclidean = np.argsort(distance_euclidean[idx_img])
    
        plt.subplot(TEST_NUM, TOP_NUM+1, i * (TOP_NUM+1) + 1)
        plt.axis('off')
        plt.title('input')
        plt.imshow(plt_img)
    
        for idx_sim, j in enumerate(order_euclidean):
            if idx_sim>=TOP_NUM:
                break
            similar_img = images[j]
            plt.subplot(TEST_NUM, TOP_NUM+1, i * (TOP_NUM+1) + idx_sim + 2)
            plt.axis('off')
            plt.title('{:.2}'.format(distance_euclidean[idx_img,j]))
            plt.imshow(similar_img)
    
    # 测试余弦距离
    plt.figure()
    for i,(idx_img,plt_img) in enumerate(test_images):
        order_cosin = np.argsort(distance_cosin[idx_img])[::-1]
    
        plt.subplot(TEST_NUM, TOP_NUM+1, i * (TOP_NUM+1) + 1)
        plt.axis('off')
        plt.title('input')
        plt.imshow(plt_img)
    
        for idx_sim, j in enumerate(order_cosin):
            if idx_sim>=TOP_NUM:
                break
            similar_img = images[j]
            plt.subplot(TEST_NUM, TOP_NUM+1,i* (TOP_NUM+1) + idx_sim + 2)
            plt.title('input')
            plt.axis('off')
            plt.title('{:.2}'.format(distance_cosin[idx_img,j]))
            plt.imshow(similar_img)
    
    

    结果

    结果展示的第一列是输入的图片,显然和其最相似的是它自己,然后是同类

    Fig.1 欧氏距离:
    在这里插入图片描述
    Fig.2 余弦距离:
    在这里插入图片描述

    展开全文
  • 近年来随着移动电商的兴起,以图搜图技术也开始逐步得到应用,如百度识图、微信扫一扫、淘宝拍立淘和京东拍照购等,然而以图搜图技术门槛高,周期长,还没有大范围普及。创始团队来自北大数字视频编解码国家工程实验...

    提供“以图搜图”完整解决方案,博云视觉让各行业都可以方便地“以图搜图”

    近年来随着移动电商的兴起,以图搜图技术也开始逐步得到应用,如百度识图、微信扫一扫、淘宝拍立淘和京东拍照购等,然而以图搜图技术门槛高,周期长,还没有大范围普及。创始团队来自北大数字视频编解码国家工程实验室的博云视觉,就把他们的积累的基于紧凑视觉特征的图像搜索技术开放成API,为电商及各行业提供完整解决方案。

    博云视觉为企业客户提供视觉搜索服务,企业客户可以通过公有云或私有云,把图像搜索功能集成到其产品和服务中,实现“以图搜图”。在公有云方面,博云视觉在阿里云平台上,部署了一套图像搜索整体解决方案。针对电商行业,博云视觉的图像搜索方案入驻了阿里云电商解决方案市场。在私有云服务方面,博云视觉则针对特定用户的需求提供定制化解决方案。

    博云视觉图像搜索的核心技术,主要是客户端图像紧凑视觉特征提取,和云端大规模图像特征快速检索。企业的客户端软件通过摄像头拍摄画面,提取4K字节大小的紧凑视觉特征,发送到云端;云端通过大规模特征检索,找到与拍摄画面包含相同物体或场景的图像,并将相关信息返回给客户端。这项技术主要特点是前端提取的紧凑视觉特征只有 4K字节大小,客户端数据传输的流量小,带宽占用低使服务器端能够支持超高并发,适合移动应用场景。

    提供“以图搜图”完整解决方案,博云视觉让各行业都可以方便地“以图搜图”

    关于该技术与深度学习图像特征提取技术的区别,博云视觉CEO陈杰博士告诉36氪,两者是两种不同的技术路线。特征匹配技术很早就有,但是之前准确率不高,博云视觉的算法现在把识别准确率提升到了可用的程度。两种技术有各自的使用场景,并不存在谁优谁劣的问题。

    具体应用时,深度学习准确率高,需要大量素材库进行训练,并上传图片到服务器进行搜索,网络占用高。而特征识别不依赖素材库,压缩后的特征也只有4K,新产品上线,图片还很少的时候依然可以用,在超高并发的情况下,对服务器的存储和传输压力都小的多。陈杰表示,面向具体视觉搜索场景应用时,博云视觉也会将两种技术结合,以产生更好的体验。

    关于搜索准确率,陈杰告诉36氪,基于特征提取的搜索准确率随物体类别有所不同,可划分为三个档:(1)平面物体,如杂志、海报等,准确率可以达到 95%以上;(2)三维刚性物体,如建筑、车辆、化妆品等,准确率在 80%以上;(3)对于柔性或纹理单一物体,如衣服等,识别相对困难。图像搜索在某些垂直领域已经可以成熟应用;然而面向“万物搜索”,仍有较大的提升空间。

    提供“以图搜图”完整解决方案,博云视觉让各行业都可以方便地“以图搜图”

    实际应用上,最典型的场景就是移动电商。图像搜索可以用于文字搜索无法精确描述的场景,如海淘搜索商品时语种不对称、实时场景中看到心仪商品但信息不对称的情况等,这时以图搜商品就是更合适的方式。淘宝和京东都已经组建了团队开发此功能,博云视觉就希望面向其它电商,为他们提供以图搜图整体解决方案。博云视觉已经和一红酒电商进行了合作,拍摄酒标可以搜索对应的红酒。

    除了电商,该技术还可以用在很多其它领域。例如博云视觉已经和中国美协合作,提供了画作查重解决方案,陈杰表示该技术还可以用于安防行业中的车辆搜索、广电行业媒资搜索等,同时也是AR/VR、三维重建、对象跟踪、辅助驾驶等热门应用的基础支撑技术之一。博云视觉的特征提取算法目前在PC和服务器上运行较快,每幅图在手机上执行速度在几百毫秒,博云视觉表示还在对算法的性能进行优化。

    提供“以图搜图”完整解决方案,博云视觉让各行业都可以方便地“以图搜图”

    博云视觉15年12月成立,团队主要来自北大数字视频编解码国家工程实验室,目前有16人。团队成员早期参与了百度以图搜图的项目、腾讯的项目。陈杰表示未来博云视觉将在图像视频大数据分析处理平台的基础上,推广标准化的图像搜索技术。

    展开全文
  • 1688官网以图搜图爬虫案例

    千次阅读 热门讨论 2020-07-18 13:58:28
    阿里1688图片搜索爬虫案例图片上传接口sign生成接口数据详情接口代码部分 ... 图片上传接口 post请求,form表单中有signature签名 ...全局搜素找一下signature,发现了一个返回signature的接口。...这个接口也有一个变动...
  • 解决淘宝以图搜图遇见的问题

    千次阅读 2019-12-11 15:44:36
    公司最近在获取淘宝以图搜图的时候遇到滑块问题,有麻烦要解决啊!自己行当然最好,经过公司这边技术的研发终于解决了淘宝滑块问题,公司这边也做成了接口也不会在有滑块了,现在分享出来有需要可在*左侧分类专栏...
  • Milvus 以图搜图 1.0 版本自发布以来便受到广大用户的欢迎。近日,Zilliz 推出了 Milvus 以图搜图系统 2.0 版。本文将介绍 Milvus 以图搜图系统 2.0 版的...
  • Torch、Java、Milvus快速搭建以图搜图系统 1 原理概述 以图搜图大致原理(口水话版) 以图搜图,即通过一张图片去匹配数据库中的图片,找到最相似的N张图。在我们普通的搜索系统中,文字匹配的搜索单纯的MySQL数据库...
  • 十二大相似图片搜索网站(以图搜图) 如何凭着一张现有图片找出它的原始图片,或者是凭着一张小的缩略图找出原始大图?下面的搜索引擎可以帮你实现、图找图、以图搜图以图搜图是颠覆性的搜索方式,基于图片的...
  • 图片搜索 拍立淘 按图搜索 以图搜图 图搜商品 同款搜索 相关资源收集 一、图片搜索介绍 图片搜索主要有以下相关应用: 1、以图搜图 以图搜图,是通过搜索图像文本或者视觉特征,为用户提供互联网上相关图形图像资料...
  • 基于深度学习实现以图搜图功能

    万次阅读 多人点赞 2018-12-12 18:32:24
    前记: 深度学习的发展使得在此之前机器学习为主流算法的相关实现变得简单,而且准确率更高,效果更好,在图像检索这一块儿,目前有谷歌的以图搜图,百度的以图搜图,而百度以图搜图的关键技术叫做“感知哈希算法...
  • 以图搜图Python实现Hash算法

    千次阅读 2018-06-01 23:29:22
    以图搜图(一):Python实现dHash算法http://yshblog.com/blog/43以图搜图(二):Python实现pHash算法http://yshblog.com/blog/44
  • 10分钟讲清楚Milvus 以图搜图图搜视频 结合成熟的深度学习模型, Milvus 向量搜索引擎能快速的将更多的技术落地到各种的 AI 场景当中。今天我们要和大家介绍的是Milvus 在计算机视觉领域的应用,包含以图...
  • Milvus带你实现轻松搭建以图搜图系统

    千次阅读 多人点赞 2020-01-07 12:00:32
    当您听到“以图搜图”时,是否首先想到了百度、Google 等搜索引擎的以图搜图功能呢?事实上,您完全可以搭建一个属于自己的以图搜图系统:自己建立图片库;自己选择一张图片到库中进行搜索,并...
  • C#实现以图搜图

    千次阅读 2019-09-09 11:53:05
    C#实现 public class ImageHashHelper { /// /// 获取缩略 /// /// private static Bitmap GetThumbImage(Image image, int w, int h) { Bitmap bitmap = new Bitmap(w, h); Graphics g = Graphics.FromImage...
  • Jimage - 以图搜图

    2021-05-10 13:04:14
  • 十大相似图片搜索网站(以图搜图)

    万次阅读 2015-09-10 20:33:57
    十大相似图片搜索网站(以图搜图)  2011-04-13 21:07:56| 分类: 默认分类 | 标签:以图搜图 图片搜索 搜图 百度搜图 搜索引擎 |举报|字号 订阅   ...
  • MATLAB图像检索[以图搜图]

    千次阅读 2020-11-30 18:30:22
    颜色索引是一种颜色直方和直方相交算法为基础的颜色特征表示方法,该方法在上述基础上,首先,将颜色空间划分为多个固定的子空间;其次,统计每个固定的子空间中像素的数目;最后,用直方相交算法计算图像...
  • 背景在1688有个功能,就是上传图片,就可以找到类似的商品。如下网址 :https://www.1688.com/这时候,我们可以使用程序来代替,大批量的完成图片上传功能。实现思路1、找到...
  • 实训项目:以图搜图

    千次阅读 2015-09-09 22:26:22
    以图搜图一个运用机器学习来搜女包的项目,以下是项目过程介绍&个人感想一、实训简介 这次大三为期一个半月的实训,我参与的实训项目是做的是一个以图搜图的应用,用的是京东上的女包的数据。考虑到这样的一个场景...
  • 本文首发于公众号 [自律的音律] ,...今天,就分享一个绝技,教大家如何从这个网站,下载无水印的小样。开始之前,先给大家介绍一个网站:全景视觉https://www.quanjing.com绝大多数的公众号教程,都会告诉大家...
  • 以图搜图 相似图片搜索的原理(一)

    万次阅读 2016-03-28 10:26:03
    所以,它的最佳用途是根据缩略,找出原。 实际应用中,往往采用更强大的 pHash 算法和 SIFT 算法,它们能够识别图片的变形。只要变形程度不超过25%,它们就能匹配原。这些算法虽然更复杂,但是原理与上面的...
  • 为了实现以图搜图,本次实现的是Reverse Image Search(反向图像搜索)。学习使用开源的milvus向量数据库项目进行本地部署。项目代码地址: GitHub - milvus-io/milvus at 2.0.0-rc6An open-source vector database...
  • 以图搜图在线网站汇总(共7个)

    千次阅读 2021-04-14 18:05:11
    文章目录写在前面测试样例以图搜图GoogleBaiduYandexTineyeBingSougou360 写在前面 今天给大家分享7个以图搜图的在线网站,上传图片即可搜索图片来源、详情信息或相似图片。 测试样例 测试图片出自番剧《干支魂》...
  • 转载: 十大相似图片搜索网站(以图搜图) - 张德德的日志 - 网易博客 http://playkid.blog.163.com/blog/static/56287260201131384139129/
  • 安装milvus 关于milvus milvus作为一个集成的开源平台,目标就是向量检索的集成平台。类似于elasticsearch集成了搜索。细节大家可以直接看官网。...安装 说起来其实挺容易,方法也比较清晰。不过下载比较慢。...
  • 1.ubuntu系统需安装docker,注意ubuntu系统版本号需安装对照的docker 版本号,docker 安装需要sudo权限,因此需要普通用户添加到sudo 用户组 具体请参考上一篇博客,常用的docker操作命令如下:如命令无权限 请在命令...
  • 自动化 Google 以图搜图

    千次阅读 2020-03-09 11:58:45
    根据用户的网络情况,用户可以更改爬取网页时等待网页加载完全的时间,默认为6s 支持两种模式(以后版本中已经撤销) 文件模式 图片文件直接放在upload文件夹下面 文件夹模式 图片不同的文件夹位于upload文件夹下面...
  • Milvus 以图搜图 1.0 版本自上线后便广受好评,许多用户也将其应用到了丰富的场景上。因此,我们推出了一个加强版--Milvus 以图搜图v2.0 ,增加了 YOLOv3 和 Re...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,731
精华内容 692
关键字:

以图搜图网