精华内容
下载资源
问答
  • 大数据提取价值信息技术实现方案

    千次阅读 2015-03-18 13:04:01
    大数据提取价值信息技术实现方案 分5步: 1、通过FTP采集文件 2、把文件入到HDFS系统 3、使用HIVE从HDFS中选择数据 4、使用DataStage或Infomatica把数据入库 5、入库到Sybase IQ数据库

    大数据提取价值信息技术实现方案

    分5步:

    1、通过FTP采集文件

    2、把文件入到HDFS系统

    3、使用HIVE从HDFS中选择数据

    4、使用DataStage或Infomatica把数据入库

    5、入库到Sybase IQ数据库


    注意事项:

    1、不一定用ftp采集文件,反正只要把海量文件采集过来即可;

    2、采集的源文件一定是海量的,可以文件数海量,也可以文件里的内容海量,要不然就不叫大数据了;

    3、这里面主要用到了hadoop的hdfs,没有用到mapreduce;

    4、mapreduce其实是hive帮你实现了;

    5、使用hive是因为只要会sql的人都会使用hive,学习成本低,一般企业特别是老企业会sql的开发人员一大把;

    6、DataStage是ibm的,觉得不好用,所以现在用Infomatica替换;

    7、ibm的东西都是卖的很便宜,但维护费很贵,他不开源所以你不得不找他来帮忙维护,所以我一直很讨厌它;

    8、ibm的东西不光维护贵,而且扩节点也不便宜,现在公司部分主机已转向HP;

    9、不一定选择Sybase IQ,所以公司选择了也没啥大问题,查询的速度挺快,更新和插入暂时也不觉得很慢,它是基于列存储的而且价格比oracle便宜非常非常多。


    应用场景:

    比如你的网站有大量的用户搜索信息,可以把这信息文件入到hdfs,然后通过select出每个关键字的查找次数,终于把这个关键词和次数入库到IQ。那么,你直接看IQ,就可以知道最近大家搜索的最多最关注的是什么词语了。


    本文出自:ouyida3的csdn

    2015.3.18

    展开全文
  • 直播业务模型 七牛云收费情况 七 两种技术实现方案的评估 自研: 技术门槛较高,需要招聘这方面的人才,后期维护成本较大,服务端CDN分发要在国内各地架设多台服务器作为节点,单这一块预估就好几百万。 借助sdk...

    一.常规直播app功能

    1、聊天

    私聊、聊天室、点亮、推送、黑名单等;

    2、礼物

    普通礼物、豪华礼物、红包、排行榜、第三方充值、内购、礼物动态更新、提现等;

    3、直播列表

    关注、热门、最新、分类直播用户列表等;

    4、自己直播

    录制、推流、解码、播放、美颜、心跳、后台切换、主播对管理员操作、管理员对用户等;

    5、房间逻辑

    创建房间、进入房间、退出房间、关闭房间、切换房间、房间管理员设置、房间用户列表等;

    6、用户逻辑

    普通登陆、第三方登陆、注册、搜索、修改个人信息、关注列表、粉丝列表、忘记密码、查看个人信息、收入榜、关注和取关、检索等;

    7、观看直播

    聊天信息、滚屏弹幕、礼物显示、加载界面等

    8、统计

    APP业务统计、第三方统计等;

    9、超管

    禁播、隐藏、审核等;

    二、直播app原理

    直播原理:把主播录制的视频,推送到服务器,在由服务器分发给观众观看。
    直播环节:推流端(采集、美颜处理、编码、推流)、服务端处理(转码、录制、截图、鉴黄)、播放器(拉流、解码、渲染)、互动系统(聊天室、礼物系统、赞

    三、直播app实现流程

    1.采集、2.滤镜处理、3.编码、4.推流、5.CDN分发、6.拉流、7.解码、8.播放、9.聊天互动

    app实现流程图

     

    四、直播app架构

    app架构

    五、核心功能实现方案

    1.采集视频、音频

    使用AVFoundation实现:AVFoundation是用来播放和创建实时的视听媒体数据的框架,同时提供Objective-C接口来操作这些视听数据,比如编辑,旋转,重编码

    2.视频处理(美颜,水印)

    使用GPUImage实现: GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。

    3.视频编码解码封装

    FFmpeg框架:是一个跨平台的开源视频框架,能实现如视频编码,解码,转码,串流,播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。

    4.推流

    数据传输框架-librtmp:用来传输RTMP协议格式的数据

    5.流媒体服务器

    利用nginx来配置流媒体服务器,其中cdn分发技术是将网站的内容发布到最接近用户的网络”边缘”,使用户可以就近取得所需的内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度.

    6.拉流

    选择rtmp直播协议.

    8.播放

    使用b站开源的ijkplayer(API易于集成;编译配置可裁剪,方便控制安装包大小;支持硬件加速解码,更加省电 简单易用,指定拉流URL,自动解码播放.)

    9.聊天互动
    融云作为直播的聊天室的技术实现基础

    六.借助第三方SDK--核心功能实现方案

    1、利用第三方直播SDK快速的开发
    七牛云:七牛直播云是专为直播平台打造的全球化直播流服务和一站式实现SDK端到端直播场景的企业级直播云服务平台,主要将自研流程中的视频编码解码封装,推流,流媒体服务器,拉流等环节帮我们封装到sdk中,极大提高开发效率

    熊猫TV,龙珠TV等直播平台都是用的七牛云
    互联网直播是一种基于RTMP协议的业务。RTMP协议是一种基于TCP的协议。在实际的业务模型中,又分为客户端和服务端。客户端主要是利用RTMP协议进行数据包的发送,一般称之为推流。服务端主要用来接收客户端发送过来的RTMP协议数据包,并转发出去供订阅的客户播放,订阅直播播放的客户从服务端给出的一个地址请求数据,请求的过程也是基于RTMP的协议,这个过程称之为拉流。通常的情况下,直播的业务模型是一路推流到服务器,然后可能会有多路观看的拉流请求,即1:N的模型。

    七牛云直播服务的业务模型。

    直播业务模型

     

    七牛云收费情况

    七 两种技术实现方案的评估

    自研:

    技术门槛较高,需要招聘这方面的人才,后期维护成本较大,服务端CDN分发要在国内各地架设多台服务器作为节点,单这一块预估就好几百万。

    借助sdk开发:

    对于一个初创团队来讲,自研直播不管在技术门槛、CDN、带宽上都是有很大的门槛的,而且需要耗费大量的时间才能做出成品,不利于拉投资。但是借助sdk开发可以快速融入到市场,有较好的容错性,在各大直播平台瓜分市场的同时,将大部分资金用于运营 而不是开发,有利于提高产品的竞争力。

    展开全文
  • 同步一张大表技术实现方案

    千次阅读 2021-01-20 16:50:42
    2、技术方案 3、技术方案修正 3.1 记录上一页查询的最小的主键Id 3.2 改写分页sql 1、背景 表中有一个主键字段,主键ID是有时间特性,按照时间升序增长的,可以认为ID是雪花算法生成的ID,目前表中有1亿条数据...

    目录

    1、背景

    2、技术方案

    3、技术方案修正

    3.1 记录上一页查询的最小的主键Id

    3.2 改写分页sql


    1、背景

    表中有一个主键字段,主键ID是有时间特性,按照时间升序增长的,可以认为ID是雪花算法生成的ID,目前表中有1亿条数据,我们需要把这1亿条数据同步到ES中。

    2、技术方案

    我们将全表数据看成是一个大的数据集,从逻辑上进行分页,每页每页的数据进行同步。这是一个比较粗糙的技术方案,真正执行过程中,会发现也存在深度分页问题,每页
    显示100条数据,第1页查询sql与执行计划,如下:

    SELECT * FROM homework_wk_region order by wk_region_id desc LIMIT 100 OFFSET 100000;

    第1000页查询sql与执行计划,如下:

    SELECT * FROM homework_wk_region order by wk_region_id desc LIMIT 100 OFFSET 100000;

    3、技术方案修正

    3.1 记录上一页查询的最小的主键Id

    select min(wk_region_id) from 
    (
    
    SELECT wk_region_id  FROM homework_wk_region order by wk_region_id desc LIMIT 100 OFFSET 100000
    
    ) as t;
    
    // 查询结果: 1277546880860127232
    

    3.2 改写分页sql

    SELECT * FROM homework_wk_region where wk_region_id < 1277546880860127232  order by wk_region_id desc LIMIT 100  ;

    下面是它的执行计划:

    与之前的执行计划相比,优化效果是比较明显的。

     

     

    展开全文
  • 安卓设备上备份已安装应用的apk包技术实现方案需求的目的在只有安装应用, 没有该应用的apk,而我们又想活取应用apk,用来分享给别人,或是应用的备份, 说是应用的增量升级的, 怎么办?本文将告诉你如何靠谱的导出一个已...

    安卓设备上备份已安装应用的apk包技术实现方案

    需求的目的

    在只有安装应用, 没有该应用的apk,而我们又想活取应用apk,用来分享给别人,或是应用的备份, 说是应用的增量升级的, 怎么办?

    本文将告诉你如何靠谱的导出一个已安装应用的apk.

    了解相关目录

    安卓设备上根据安卓方式的不同,安装的数据存放路径也不同

    1. system/app

    此类应用是系统初始化时候安装完成的, 存放在 ‘system/app’ 目录下, 用户无法删除及操作.

    2. data/app

    通过market下载后安装(无安装界面),或是用户手动安装(adb,packageinstall等).这类apk安装过程系统会备份在data/app目录下

    3. /mnt/asec/

    安装到sd卡上的应用,作用同上

    4. data/data

    应用安装过程,会在该目录下存在应用的私有数据

    5. data/dalvik-cache

    应用安装过程中,会解析data/app下的安装包中的dex文件, 拷贝到data/dalvik-cache,以备应用运行时使用.

    应用的删除过程即删除应用安装时所产生的这几个文件

    备份apk思路分享

    了解这个文件夹的作用后, 可以看到导出已安装应用只要拷贝相关目录下的应用即可.

    通过测试,可以确定除了系统应用安装的备份数据没有权限, 第三方应用所产生的文件夹下的内容都是有读权限的. 所以我们不需要任何特殊权限即可实现安装应用的备份导出.

    那问题来了, 在相关目录下如:data/app下如何才能知道一个应用的决定路径?

    答案:

    > context.getPackageManager().getApplicationInfo("packagename",
    > 0).sourceDir;

    所以需要了解下 PackageManager 相关api

    实现代码

    知道路径后,那么我们接可以将文件拷贝到指定地方了,代码如下:

        private void backupApp(String path, String outname) throws IOException {
            File in = new File(path);
    
            if (!mBaseFile.exists()) mBaseFile.mkdir();
            File out = new File(mBaseFile, outname + ".apk");
            if (!out.exists()) out.createNewFile();
            FileInputStream fis = new FileInputStream(in);
            FileOutputStream fos = new FileOutputStream(out);
    
            int count;
            byte[] buffer = new byte[256 * 1024];
            while ((count = fis.read(buffer)) > 0) {
                fos.write(buffer, 0, count);
            }
    
            fis.close();
            fos.flush();
            fos.close();
        }
    
        //活取全面已安装应用的方法
            PackageManager packageManager = getPackageManager();
            List<PackageInfo> allPackages = packageManager.getInstalledPackages(0);
            for (int i = 0; i < allPackages.size(); i++) {
                PackageInfo packageInfo = allPackages.get(i);
                String path = packageInfo.applicationInfo.sourceDir;
                String name = packageInfo.applicationInfo.loadLabel(packageManager).toString();
            }
    
        //判断是否是第三方应用方法
        public boolean isUserApp(PackageInfo pInfo) {
            return (((pInfo.applicationInfo.flags & ApplicationInfo.FLAG_SYSTEM) != 0) && ((pInfo.applicationInfo.flags & ApplicationInfo.FLAG_UPDATED_SYSTEM_APP) == 0));
        }

    正确性保障

    如何确保拷贝出来的apk的正确性呢?

    直接的办法可以校验md5或sha1, 当然还可以尝试解决文件格式等

    Demo源代码

    测试小程序已上传到github, 有兴趣的可以直接下载研究学习.

    这里写图片描述

    展开全文
  • Java开发中经常使用到的几种WebService技术实现方案 随着异构系统互联需求的不断增加,WebService的重要性也日益彰显出来。凭借webservice,我们可以实现基于不同程序语言的项目的互联互通。更可以将开发好的程序...
  • 屏下指纹技术实现方案与原理

    万次阅读 2019-06-17 23:23:38
    其原理是利用光电反射技术,专门适配OLED屏幕的RGB Pixel发出光线,穿透0.68mm厚度的玻璃盖板到达手指,因手指的不同纹路导致反射光线不同,这些反射光线再穿透屏幕,到达指纹Sensor,从而实现指纹...
  • WEB组态-技术实现方案

    千次阅读 2020-01-26 03:52:30
    2技术路线 后台技术 基础框架:spingMvc+sping+mybatis; 项目主要骨架。 安全认证框架:Shiro; 用户登录认证。 缓存框架:ehcache; 用于提高软件查询速度。 定时任务:quartz-2.x; 定时对需要查询统计...
  • 日均5000万订单点餐系统中间件选型和关键技术实现方案   一、 业务模型  本系统假定的应用场景为:面向中等以上规模餐厅提供二维码扫码点餐服务,客户可以通过微信或支付宝扫码点单。系统规模为: 1) 商家...
  • SD-WAN技术实现方案(细节)-企业侧

    万次阅读 多人点赞 2019-04-01 16:21:04
    网上关于SD-WAN的应用介绍的文章不少,但针对SD-WAN的具体技术的全面介绍文章却难得一见。通过一段时间的学习,从实现的角度阐述SD-WAN的技术实现内容,希望SD-WAN能真正发挥理论水平,实现“多快好省”!
  • 背景  可用性(Availability)和一致性(Consistency)是分布式系统的基本问题,先有著名的CAP理论定义过分布式环境下二者不可兼... 在大数据场景下,分布式数据库的数据一致性管理是其最重要的内核技术之一,也...
  • Air Kiss(飞吻)技术实现方案

    万次阅读 2015-12-10 13:30:36
    一、Air Kiss技术原理简介 802.11是IEEE制定的无线局域网协议,802.11以802.2的逻辑链路控制封装来携带IP封包,因此能够以802.2 SNAP格式接收无线网络数据。如果开启wifi芯片的混杂模式监听空间中的无线信号,并以...
  • 1、通过客户端插件socket接口实现  a、基于Flash的socket接口。优点是实时性强,js可以直接调用flash接口,缺点是依赖于flash插件,有可能被防火墙限制,这种方案在一些网络聊天室、网络互动游戏中已得到广泛使用 ...
  • 这个周末,朋友圈被“请给我一个圣诞帽@微信官网”刷屏了。如果你能“理智”一点,自然知道这和十年前某个QQ里疯传的某些段子没有“本质”区别,例如:今天是腾讯老总马化腾的生日,...作为一个技术人,按照职业习惯
  • 背景 可用性(Availability)和一致性(Consistency)是分布式系统的基本问题,先有著名的CAP理论定义过...在大数据场景下,分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数...
  • 线上抓娃娃机需求最近线上抓娃娃机的项目火爆了,陆陆续续几十款线上抓娃娃机上架,还有一大波正在开发上线中,各大视频云提供商都在蹭热度发布自己的线上抓娃娃机方案,综合了一下,目前线上抓娃娃机的视频需求无非...
  •  LVS(linux virtual server)在linux内核中实现的基于IP层和基于内容请求分发的负载平衡调度解决方法,工作在传输层 【2】 LVS的三种路由方式  1】 VS-NAT  数据包流向: CIP-DGW-VIP-RIP-DIP-DGW-CIP
  • 、从SQL SERVER向ORACLE的迁移方案 比较ORACLE与SQL SERVER在数据类型上的不同,当从SQL SERVER向ORACLE迁移时,可以做如下调整:   SQL SERVER ORACLE 数字类型 DECIMAL[(P[, S])] NUMBER[(P[, S])] ...
  • 、从SQL SERVER向ORACLE的迁移方案 比较 ORACLE与SQL SERVER在数据类型上的不同,当从SQL SERVER向ORACLE迁移时,可以做如下调整:   SQL SERVER ORACLE 数字类型 ...
  • AR引擎技术选型和使用实现方案

    千次阅读 2021-03-23 10:07:22
    Vuforia引擎的评估和实现方案 EasyAR引擎的评估和实现方案 ARFoundation引擎的评估和实现方案 自研发AR引擎的评估和实现方案 多引擎融合使用方案 AR引擎选型和实现总结 EEA是探娱互动研究院(Explore Entertainment ...
  • SpringBoot实战(十八):签到奖励实现方案

    千次阅读 多人点赞 2020-08-30 15:01:29
    前言 最近在做社交业务,用户进入APP后有签到功能,签到成功后获取相应的奖励: 项目状况:前期尝试业务阶段; 特点: 快速实现(不需要做太重,满足初期推广运营即可) 快速投入市场去运营 ...技术实现方案 需求
  • Android语音通话实现方案及相关技术介绍Android语音通话实现方案及相关技术介绍 语音通话 Step1语音采集和输出 Step2编解码方式 Step3网络传输 Step4去噪声消回音 语音通话资料 IMinstant message所涉及的协议 1SIP...
  • 本文包括原理篇/思路篇/实践篇/方案篇/前端篇/总结 直播难:个人认为要想把直播从零开始做出来,绝对是牛逼中的牛逼,大牛中的大牛,因为直播中运用到的技术难点非常之多,视频/音频处理,图形处理,视频/音频压缩...
  • 基于开源技术的上网行为管理实现方案 互联网已经成为人们工作、生活过程不可或缺的工具。在企业普遍存在着电脑和互联网络滥用的严重问题,网购、各种直播、电影、P2P工具下载等与工作无关的行为占用了有限的带宽,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 41,161
精华内容 16,464
关键字:

技术实现方案