精华内容
下载资源
问答
  • 统计分析系统方案
    千次阅读
    2018-01-11 10:53:00

    大数据-实时统计分析-方案对比选型

    image2017-10-27_11-10-53.png (1067×738) elasticsearch-head Elasticsearch-sql client spark streaming reload_百度搜索 基于spark streaming的网管系统告警过滤算法的设计与实现 - 其它论文 - 道客巴巴 scala - Spark Streaming into HBase with filtering logic - Stack Overflow Building Lambda Architecture with Spark Streaming – Cloudera Engineering Blog Druid 实时数据分析存储系统 驱动海量大数据实时多维分析,优酷为什么会选择Druid? - 大数据技术参考_大数据技术文献_大数据趋势分析 Druid(准)实时分析统计数据库——列存储+高效压缩 - bonelee - 博客园 presto、druid、sparkSQL、kylin的对比分析,如性能、架构等,有什么异同? - 知乎 Druid对比Elasticsearch - lpthread - 博客园

    BI报表-实时数据分析-方案对比-参考资料

     

    druid vs kylin vs elasticsearch vs influxdb - Google 搜索 数据可视化的开源方案: Superset vs Redash vs Metabase - hugo - ITeye博客 数据可视化的开源方案: Superset vs Redash vs Metabase (一) - CSDN博客 数据可视化的开源方案: Superset vs Redash vs Metabase (二) - CSDN博客 kibana 与 grafana - 天戈朱 - 博客园 Greenplum roaring bitmap与业务场景 (类阿里云RDS PG varbitx, 应用于海量用户 实时画像和圈选、透视)-博客-云栖社区-阿里云 最全的“大数据”学习资源 – lxw的大数据田地 非常全的大数据相关资源整理 | 人人都是数据咖 非常全的大数据相关资源整理 - 机器学习 - 算法组 A Comparison of Time Series Databases and Netsil’s Use of Druid 统计平台思路分析 · Ruby China 一篇文读懂19款数据分析软件,解救选择困难症! – 运维派 Meetup-Druid和Kylin在美团点评的选型与实践.key presto、druid、sparkSQL、kylin的对比分析,如性能、架构等,有什么异同? - 知乎 OLAP及分析工具选型 - CSDN博客 数据分析必备|你不得不知道的11款数据分析工具 | 人人都是产品经理 Tableau Prep:全新数据准备解决方案 Apache Kylin在美团数十亿数据OLAP场景下的实践 – 过往记忆 Druid在OneAPM的大数据分析实践 – China Hadoop Druid | Interactive Analytics at Scale Druid | Druid |
    更多相关内容
  • 视频客流统计分析系统建设方案
  • 智能视频客流分析统计系统设计方案
  • 视频客流统计分析系统建设方案
  • 智能视频客流分析统计系统设计方案
  • 这是公司在统计方面所做的设计方案 分区,分库,分表的原则都在里面
  • 打车软件系统分析与设计方案

    千次阅读 多人点赞 2021-10-11 20:48:21
    本文从中国网约车行业的发展历程及市场现状出发,立足于当下市场需求,以期设计一款具有市场竞争力的打车软件...本文首先对打车软件进行需求分析,然后采用SA方法及DFD描述工具进行系统建模,最后给出相应的设计方案

    摘要        本文是笔者软件工程与方法课的课程作业,从中国网约车行业的发展历程及市场现状出发,立足于当下市场需求,以期设计一款具有市场竞争力的打车软件。本文首先对打车软件进行需求分析,然后采用SA方法及DFD描述工具进行系统建模,最后给出相应的设计方案。文章中的打车软件系统架构图、系统部署图、功能架构图、数据流图、E-R图均发布在ProcessOn模板社区,欢迎有需要的同学克隆使用!

    关键词:打车软件;系统分析;设计方案;SA;DFD

    1 引言

    随着移动互联网的发展,各行各业纷纷进行升级转型。在传统出租车行业,由于司机绕路、拒载等行为普遍存在,“打车难”、“打车贵”等问题层出不穷。因此,针对这些痛点,打车软件应运而生。打车软件,又称网约车平台,是指以互联网技术为依托构建的服务平台,通过接入符合条件的车辆和驾驶员,整合供需信息,提供非巡游的预约出租汽车服务[1]。

    本文的主要工作是完成打车软件的分析与设计。为设计一款具有市场竞争力的打车软件,有必要了解当前的市场环境,因此本文首先回顾中国网约车行业的发展历程,并对网约车市场现状加以分析。

    1.1 中国网约车行业发展历程

    图 1 中国网约车行业发展历程[2]

    根据易观的《2019中国网约车市场分析报告》[2],中国网约车行业的发展大致分为四个阶段:探索期(2010-2015)、市场启动期(2015-2016)、高速发展期(2017-2024)以及应用成熟期(2025-),如图 1所示。

    在探索期,网约车平台逐渐兴起:2010年,易到用车上线;2012年,滴滴打车和快的打车上线;2014年,Uber进入中国,同年,嘀嗒拼车成立;2015年,神州租车推出神州专车业务。

    2015-2016两年间,网约车行业进入竞争激烈的市场启动期。在这一阶段,发生了两次重大的合并事件:一是滴滴打车和快的打车宣布合并,市场完成初步洗牌;二是滴滴在合并之后又将Uber中国收入囊中,市场进入寡头化。另一方面,传统车企和租赁公司也开始向网约车市场进军,首汽集团的首汽约车、吉利集团的曹操专车于2015年先后上线。

    2016年7月,《网络预约出租汽车经营服务管理暂行办法》颁布,网约车的合法地位得以肯定。此后,网约车行业进入高速发展期。随着美团打车、高德地图以及汽车主机厂的纷纷入局,网约车市场的竞争持续加剧。

    1.2 中国网约车市场现状分析

    目前,中国移动出行市场规模快速增长,移动出行用户将近5亿人,汽车出行市场容量达3800亿元[3]。网约车服务品牌和业务模式大致分为三类:一类是C2C模式的互联网平台,如滴滴出行、嘀嗒出行;一类是B2C模式的车企和租赁公司,车企如上汽投资的享道出行、广汽投资的如祺出行、吉利的曹操出行及三大央企(长安、一汽、东风)投资的T3出行;租赁公司如首汽约车、神州专车等。此外,最近兴起的一类是B2B2C模式的互联网聚合平台,以高德和美团为代表,又被称为“平台之上的平台”,方便用户一键呼叫多个第三方平台的网约车服务。

    整体而言,当前的中国网约车市场呈现“一超多强”的竞争格局。滴滴出行占据大部分市场份额,截至2018年12月31日,滴滴出行app安装渗透率达14.71%,是位列第二的神州专车的10倍以上[4]。滴滴的商业模式属于“纯平台”模式,这种模式轻量化运营、用户和数据变现前景可期,但具有较高的进入壁垒。而且由于政府对平台的监管趋严、合规压力大,运力短缺问题短期内将持续困扰“纯平台”企业[5]。在这种前有围堵(滴滴)后有追兵(合规政策)的局势下,若无颠覆性的技术和极端的政治因素出现,“纯平台”模式很难再出现有威胁的新企业。

    相较“纯平台”模式,“平台+运力”模式尚有机会进入网约车市场分一杯羹。“平台+运力”的网约车公司背靠具有区域优势的租赁公司、整车厂等,受到当地政府的支持,合规化程度较高,投入相对较少,能够在盈利性和运力保障间寻求平衡。

    另外,从长期来看,网约车市场整体需求将持续高涨。一是随着疫情的好转,企业相继复工,出行市场逐渐复苏,网约车市场用户规模将会恢复性增长[6];二是随着城镇化水平提升,经济持续发展,基础设施持续完善,中国未来城镇居民出行需求将持续增长;三是由于私家车的限购及征收拥堵税,随着移动共享出行的日益成熟,共享出行将受到更多消费者的青睐。

    因此,在需求旺盛且有待开垦的二线城市,“平台+运力”模式的网约车企业仍具有一定的发展空间。下文将以这样的企业为业务方,完成打车软件的系统分析与方案设计。

    2 打车软件系统分析

    本节将从需求分析、系统模型两方面对打车软件进行系统分析。

    2.1 需求分析

    需求分析主要可分为业务需求、用户需求、功能性需求、以及非功能性需求四方面。

    2.1.1 业务需求

    打车软件的业务需求是:为乘客提供便捷、舒适、安全的出行服务,为司机提供公平、透明、可靠的接单途径,从而提高乘客用户与司机用户的留存率,通过合作提点、推介佣金、广告植入、广告推送、积分换购[7]等方式,实现盈利创收的目的。

    2.1.2 用户需求

    打车软件的主要服务对象是乘客、司机两种角色,不同的角色对系统的需求是不同的。下面分别对这两种角色的用户需求加以分析。

    2.1.2.1 乘客用户需求

    打车难、安全焦虑[8]、体验差等问题仍是网约车及出租车服务面临的主要问题。虽然相比于传统的扬招打车,网约车在一定程度上解决了一些问题,但对于问题的最终解决仍有很长的路要走。不久前J.D. Power发布的中国网约车服务质量研究[3]显示,网约车行业整体PP100(每百用户抱怨数)偏高,行业平均PP100高达575,即每个用户平均抱怨5.75个问题。用户抱怨主要集中在平台效率方面,叫车过程中的PP100高达166。根据统计数据,“守时”和“高效”对于网约车平台用户留存至关重要:如果接单响应时间超过5分钟,41%的乘客用户会选择取消订单或更换平台叫车;若接单司机与乘客的距离超过10分钟路程,50%的乘客用户会选择取消该订单。此外,地图相关问题也用户抱怨较多。

    上述研究通过对不同品牌和区域网约车用户进行访谈和调研,重点考察了乘客用户在打车过程的6大环节(叫车过程、上车过程、乘坐体验、下车过程、支付和管理以及安全体验)遇到的问题,能够较为全面地反映乘客用户需求。基于此,现将打车软件的乘客用户需求总结如表 1:

    表 1 打车软件的乘客用户需求

    序号

    用户故事

    需求描述

    优先级

    1

    公司或住所位置偏僻,不好打车。

    系统将用户的打车信息推送给一定数量的司机,增加用户成功打到车的机会;提供预约打车功能,使司机提前明确接送任务,保证乘客能打上车。

    P0

    2

    雨雪天气或早晚高峰,担心出门拦不到车,耽误行程。

    系统提供加价功能,激励司机接单,增大司机与乘客相互选择的空间;确实受天气或交通等客观因素限制时,系统提供其他出行方式的建议和参考。

    P0

    3

    线下打车不划算。

    系统提供顺风车、拼车功能,设立优惠券、鼓励金、积分减免等活动。

    P1

    4

    出租车车型舒适度不够。

    系统提供专车打车功能。

    P2

    5

    携带宠物出行。

    系统提供携宠打车功能。

    P2

    6

    携带较多货物出行。

    系统提供同城送货、城际送货功能。

    P2

    7

    老弱病残孕人士出行有特殊需求。

    系统提供爱心打车、无障碍打车功能。

    P2

    8

    加班到深夜,去偏远地区,担心打车不安全。

    系统提供证照信息公示、一键报警功能,保障乘车安全,增加乘客安全感。

    P0

    9

    去外地出差或旅游,不熟悉路线,担心司机绕远,费用高。

    系统提供高精度的地图导航,提供即时计费、评价反馈功能,建立诚信机制。

    P0

    10

    平台派单时间过长,预计接单时间不准,实际等待时间比预计接单时间长很多,甚至没有司机接单。

    系统提供更完善的时间预测算法和司机派单算法;在叫不到车等待时,向乘客显示等待时间、等待人次、排位顺序信息;若超出平台规定最长派单时间,提供合理的减免优惠。

    P0

    11

    看到附近有空车打不到,接单司机距离太远,接单接驾时间长。

    系统提供更完善的司机派单算法,降低“近单远接”的概率;做到车辆状态信息透明化,明确地向乘客展示车辆处于空驶或是已接单状态。

    P0

    12

    联系接单司机浪费时间:司机接单后不主动联系,只有车辆到达地点后找不到人才联系,甚至找不到人也不联系,要不在地点等候,要不在周围绕圈(不方便停车的地方)。

    系统提供通知功能,在司机接单后自动向用户发送消息告知接单司机及车辆相关信息。

    P0

    13

    车辆到达上车点和实际位置有出入,到达上车点时间不准,导航路线不合理,预计到达目的地时间不准,到达目的地位置不准。

    与高质量的地图服务第三方合作,提供更精准的地图服务。

    P0

    14

    对司机服务或车辆不满意。

    系统提供评价反馈功能。

    P0

    15

    个人物品落在车内。

    通过系统的对话功能联系行程司机。

    P0

    2.1.2.2 司机用户需求

    打车软件的司机用户需求与乘客用户需求之间存在关联,现将司机用户需求总结如表 2:

    表 2 打车软件的司机用户需求

    序号

    用户故事

    需求描述

    优先级

    1

    不愿意去偏远地区接单:路程远,时间长,而且途中接不到其他单。

    系统提供加价功能,激励司机接单;提供预约打车功能,使司机提前明确接送任务。

    P0

    2

    深夜接单前往偏远地区,担心不安全。

    系统提供一键报警功能,保障司机安全。

    P0

    3

    看见附近有乘客想打车,但接不到单;系统分配的乘客距离太远,接单中途被取消订单。

    系统提供更完善的派单算法,降低“近单远接”的概率。

    P0

    4

    特殊原因暂时不方便接单(如手机即将没电)。

    系统提供拒单功能,并向乘客发送拒单原因,便于司乘之间的双向选择。

    P0

    5

    接单到地点找不到乘客。

    系统提供对话功能,方便联系乘客。

    P0

    6

    对乘客行为或平台不满意。

    系统提供评价反馈功能。

    P0

    2.1.3 功能性需求

    基于上述用户需求,本节将打车软件的功能性需求分配至乘客端与司机端。

    2.1.3.1 乘客端功能性需求

    乘客端主要包括如下功能性需求:

    (1)注册登录:乘客使用打车软件进行打车时需要处于登录状态,新用户需要进行注册,可以选择使用手机号码与验证码进行注册,或者使用微信、QQ等第三方账号授权登录。

    (2)多样化打车模式:乘客可以选择即时打车或预约打车,其中即时打车的打车模式有快车、专车、顺风车和拼车;预约打车的打车模式有快车、专车、拼车和个性化打车。多样化的打车模式满足更广大用户群体的需求。

    (3)开销预算:乘客提交打车请求后,系统会根据乘客的出发地和目的地,估算出需要花费的时间及费用,方便司机与乘客。

    (4)空车搜索:乘客可以查看附近车辆状态(空驶/已接单),方便乘客自选车辆打车。

    (5)订单管理:乘客可以查看历史订单。在司机接单后,乘客可以查看当前订单详情,了解接单司机的相关信息,包括司机的电话号码,车牌号码、车辆型号、司机评价、司机实时位置等。在行程开始前,乘客可以取消订单。

    (6)消息管理:乘客可以接收系统通知及司机消息,可以向司机发送消息进行联系,并且可以查看历史对话记录。

    (7)即时计费:在乘客上车后计费开始,乘客可以实时查看当前行车路线导航、里程、时间及费用。

    (8)一键报警:如若遇到危险,乘客可以通过一键报警向第三方安全中心求救。

    (9)支付:到达目的地后,乘客可以选择支付宝、微信等第三方支付方式进行支付,同时可以选择使用优惠券、会员积分等获得减免。

    (10)评价:支付完成后,乘客可以对司机的服务进行评价。

    上述需求总结如图 2:

    图 2 乘客端功能性需求

    2.1.3.2 司机端功能性需求

    司机端主要包括如下功能性需求:

    (1)注册登录:司机在使用打车软件时需要处于登录状态,新用户需要注册,向系统提交手机号、驾驶证号、本人与车辆合照等信息,审核通过后才能进行接单。

    (2)订单管理:司机在收到系统推送的订单时,可以选择接单或拒单。司机选择接单后可以查看当前订单详情,确定乘客的上车地点。另外,司机可以查看历史订单信息,方便对工作量的评估。

    (3)乘客搜索:司机可以查看附近请求打车的乘客状态(未上车/已上车),方便司机自找乘客。

    (4)行车导航:司机可以根据行车导航出发去接乘客,并且可以通过导航确定从乘客出发地到目的地的合适路线。

    (5)消息管理:司机可以接收系统通知,与乘客对话沟通,并可以查看历史对话记录。

    (6)一键报警:如若遇到危险,司机可以通过一键报警向第三方安全中心求救。

    (7)评价:订单结束后,司机可以对乘客进行评价。

    (8)收入查询:司机可以查看载客所收到的报酬,通过绑定银行卡提现。

    上述需求总结如图 3:

    图 3 司机端功能性需求

    2.1.4 非功能性需求

    如表 3所示,打车软件不仅要实现用户的基本需求,而且在性能、安全性、软件质量属性等方面有一定的限制要求。

    表 3 打车软件的非功能性需求

    类型

    需求描述

    性能需求

    业务量:系统满足多用户同时工作,保障同时在线用户数500W人,并发操作100W人的使用要求。

    响应时间:在95%的情况下,一般时段响应时间不超过1.5秒,高峰时段不超过4秒。

    精度:地图定位精度误差不超过80米。

    系统容量:满足未来5年业务数据扩展要求。

    资源使用率:CPU占用率<=50%,内存占用率<=50%。

    安全性需求

    严格权限访问控制,用户在经过身份认证后,只能访问其权限范围内的数据,只能进行其权限范围内的操作。

    提供运行日志管理及安全审计功能,可追踪系统的历史使用情况。

    网络传递数据应经过加密。需要保证数据在采集、传输和处理过程中不被偷窥、窃取、篡改。

    能经受来自互联网的一般性恶意攻击,如病毒(包括木马)攻击、口令猜测攻击、黑客入侵等,至少90%的攻击需要在10秒内检测到。

    软件质量属性

    易用性:打车软件面向用户群体广泛,为方便老人使用,要求操作简单,界面美观,用户容易上手,体验良好。

    可靠性:连续运行一周不得出现闪退或程序未响应的情况。

    健壮性:对于运行过程中出现的各种异常情况,如:人为操作错误、输入非法数据、硬件设备失败等,系统能正确地处理回避。

    效率性:尽可能优化通信协议,减少网速对系统的影响。

    兼容性:可运行于安卓系统2.3.0及以上的各个品牌的智能手机上。

    易集成性:要求代码精简、集成度高,易于嵌入美团、高德等互联网聚合平台,有利于后期的发展。

    可扩展性:软件采用模块化设计,接口要标准化,以适应未来功能扩展的需求。

    可测试性:软件开发过程中使用回归测试,交付必须通过100%覆盖的单元测试。

    可维护性:一个模块的最大圈复杂度不超过15。

    其他需求

    软件需按照公司整体风格进行UI调整、色调调整等。

    软件需遵守最新法律法规,根据所在地区规定提供相应的服务。

    2.2 系统模型

    根据上述需求分析,本节采用结构化分析方法(SA, Structure Analysis)中的数据流图(DFD, Data Flow Diagram)定义系统模型。

    打车软件的顶层数据流图如图 4,系统以乘客、司机、第三方地图、第三方支付、以及第三方安全中心为边界。

    图 4 打车软件顶层数据流图

    图 5 打车软件一层数据流图

    图 5为打车软件的一层数据流图,将系统拆分为注册登录、搜索、打车、定位导航、开销预算、派单、订单管理、即时计费、消息管理、评价、报警、电子支付及收入查询环节。由于该数据流图线条繁杂,在此不再给出其细化后的二层数据流图及数据文件,下文的功能设计(3.1节)与数据设计小节(3.2节)将对打车软件的功能与数据做进一步设计说明。

    3 打车软件设计方案

    本节将从功能设计、数据设计、系统架构、系统部署、关键技术五方面介绍打车软件的设计方案。

    3.1 功能设计

    对比乘客端与司机端的功能性需求发现:乘客端与司机端的很多功能是相似的、甚至相同的。因此,相似或相同的功能可并入一个模块处理。如图 6,最终整个打车软件系统可分为个人信息、打车、定位、订单管理、消息管理五个模块。

    图 6 打车软件功能架构

    其中,个人信息、定位、订单管理、消息管理模块是乘客端与司机端都拥有的,打车模块是属于乘客端的。各功能点已在2.1.3节进行过描述,在此不再赘述。

    3.2 数据设计

    本节将从数据库概念设计、数据库逻辑设计、数据库物理设计三方面对系统数据进行设计。

    3.2.1 数据库概念设计

    打车软件系统的E-R图如图 7所示,可以看到:一个乘客可以预定和支付多个订单,一个司机也可以接收多个订单;但一个司机只能驾驶一辆网约车。另外,司机与乘客之间还存在搭乘、对话及评价关系。

    图 7 打车软件系统E-R图

    3.2.2 数据库逻辑设计

    根据系统模型,本文为打车软件系统设计了8个数据表,包括乘客信息表、司机信息表、乘客位置表、司机位置表、订单记录表、消息记录表、乘客评价记录表、司机评价记录表。各数据表的设计结构如下:

    • 乘客信息表(passenger):记录乘客端用户的基本信息,乘客用户注册时添加的用户名、密码、姓名、性别、手机号等基本信息都会存入该表中。该表的主键为乘客编号。
    • 司机信息表(driver):记录司机端用户的基本信息,司机端用户注册时添加的用户名、密码、姓名、性别、手机号、身份证号、驾驶证号等基本信息都会存入该表中。该表的主键为司机编号。
    • 乘客位置表(passenger_location):记录当前乘客的位置信息,包括位置编号、经度、纬度、当前时刻、乘客编号、乘客状态。该表主键为位置编号。
    • 司机位置表(driver_location):记录当前司机的位置信息,包括位置编号、经度、纬度、当前时刻、司机编号、司机状态。该表主键为位置编号。
    • 订单记录表(order):记录每次打车订单的基本信息,包括订单编号、乘客编号、司机编号、起点、终点、打车时间、上车时间等基本信息。该表主键为订单编号。
    • 消息记录表(message):记录乘客与司机的对话信息,包括消息编号、订单编号、消息发送者编号、消息接收者编号、消息发送时间。该表主键为消息编号。
    • 乘客评价表(passenger_review):记录司机给乘客的评价信息,包括评价编号、乘客编号、订单编号、评价等级、评价内容、评价人编号、评价时间。该表主键为评价编号。
    • 司机评价表(driver_review):记录乘客给司机的评价信息,包括评价编号、司机编号、订单编号、评价等级、评价内容、评价人编号、评价时间。该表主键为评价编号。

    3.2.3 数据库物理设计

    数据库物理设计的工作是具体化设计数据字段名、数据类型及相关约束。上述数据表的物理设计如下:

    表 4 乘客信息表(passenger)-与个人信息模块相关

    编号

    字段

    数据类型

    备注

    1

    passengerId

    INT(20)

    乘客编号PK

    2

    usr

    VARCHAR(50)

    用户名

    3

    psw

    VARCHAR(50)

    密码

    4

    name

    VARCHAR(50)

    姓名

    5

    sex

    VARCHAR(3)

    性别

    6

    idno

    VARCHAR(20)

    身份证号

    7

    tel

    VARCHAR(11)

    手机号

    表 5 司机信息表(driver)-与个人信息模块相关

    编号

    字段

    数据类型

    备注

    1

    driverId

    INT(20)

    司机编号PK

    2

    usr

    VARCHAR(50)

    用户名

    3

    psw

    VARCHAR(50)

    密码

    4

    name

    VARCHAR(50)

    姓名

    5

    sex

    VARCHAR(3)

    性别

    6

    idno

    VARCHAR(20)

    身份证号

    7

    tel

    VARCHAR(11)

    手机号

    8

    license

    VARCHAR(20)

    驾驶证号

    9

    carno

    VARCHAR(20)

    车牌号

    10

    cartype

    VARCHAR(20)

    车型

    表 6 乘客位置表(passenger_location)-与定位模块相关

    编号

    字段

    数据类型

    备注

    1

    locId

    INT(20)

    位置编号PK

    2

    longitude

    DOUBLE

    经度

    3

    latitude

    DOUBLE

    纬度

    4

    time

    TIME

    当前时刻

    5

    passengerId

    INT(20)

    乘客编号

    6

    status

    INT(2)

    乘客状态

    表 7 司机位置表(driver_location)-与定位模块相关

    编号

    字段

    数据类型

    备注

    1

    locId

    INT(20)

    位置编号PK

    2

    longitude

    DOUBLE

    经度

    3

    latitude

    DOUBLE

    纬度

    4

    time

    TIME

    当前时刻

    5

    driverId

    INT(20)

    司机编号

    6

    status

    INT(2)

    司机状态

    表 8 订单记录表(order)-与订单管理模块相关

    编号

    字段

    数据类型

    备注

    1

    orderId

    INT(20)

    订单编号PK

    2

    passengerId

    INT(20)

    乘客编号

    3

    driverId

    INT(20)

    司机编号

    4

    startloc

    VARCHAR(50)

    起点

    5

    endloc

    VARCHAR(50)

    终点

    6

    ordertime

    DATETIME

    下单时间

    7

    starttime

    DATETIME

    上车时间

    8

    endtime

    DATETIME

    到达时间

    9

    mileage

    DOUBLE

    里程

    10

    cost

    DOUBLE

    费用

    11

    status

    INT(2)

    订单状态

    表 9 消息记录表(message)-与消息管理模块相关

    编号

    字段

    数据类型

    备注

    1

    messageId

    INT(20)

    消息编号PK

    2

    orderId

    INT(20)

    订单编号

    3

    senderId

    INT(20)

    消息发送者编号

    4

    receiverId

    INT(20)

    消息接收者编号

    5

    time

    DATETIME

    消息发送时间

    表 10 乘客评价表(passenger_review)-与订单管理模块的评价功能相关

    编号

    字段

    数据类型

    备注

    1

    reviewId

    INT(20)

    评价编号PK

    2

    passengerId

    INT(20)

    乘客编号

    3

    orderId

    INT(20)

    订单编号

    4

    rating

    INT(2)

    评价等级

    5

    content

    TEXT

    评价内容

    6

    reviewerId

    INT(20)

    评价人编号

    7

    time

    DATETIME

    评价时间

    表 11 司机评价表(driver_review)-与订单管理模块的评价功能相关

    编号

    字段

    数据类型

    备注

    1

    reviewId

    INT(20)

    评价编号PK

    2

    driverId

    INT(20)

    司机编号

    3

    orderId

    INT(20)

    订单编号

    4

    rating

    INT(2)

    评价等级

    5

    content

    TEXT

    评价内容

    6

    reviewerId

    INT(20)

    评价人编号

    7

    time

    DATETIME

    评价时间

    3.3 系统架构

    系统设计采用MVC(Model View Controller)框架模式,这种框架模式以数据、界面显示、业务逻辑分离的方法组织代码,在改良和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑,使代码具有较好的可扩展性、可复用性、可维护性及灵活性。系统架构如图 8所示,分为三层:前端表现层、业务逻辑层、物理数据层。

    图 8 打车软件系统架构

    其中,前端表现层主要接收用户请求,并为用户呈现信息;业务逻辑层调用模型完成相应的业务,与数据库联动处理增删改查操作;物理数据层用于存储业务相关数据。

    3.4 系统部署

    打车软件基于C/S模型,其乘客端和司机端属于移动客户端,客户端之间通过网络进行通信,服务器端使用负载均衡和集群化的方式来应对高并发的业务需求。系统部署如图 9。

    图 9 打车软件系统部署

    3.5 关键技术

    实现打车软件的关键技术如下表 12,包括操作系统、数据库、移动通信技术等:

    表 12 打车软件的关键技术

    技术类型 

    技术点

    使用原因

    操作系统

    客户端为Andriod/iOS,服务器端为Linux

    打车软件客户端主要运行在智能手机终端,主流操作系统为Andriod与iOS;服务器端选用Linux,是因其具有稳定、安全、易用、费用低的优点。

    数据库

    MySQL、Redis

    MySQL用于持久化存储,Redis用于缓存。

    移动通信技术

    流量控制、负载均衡、实时通信

    应对高并发、低延迟的业务需求。

    数据交换技术

    json、压缩

    json常用于数据传输,为提升传输效率,使用压缩技术。

    业务流程

    派单算法、开销预测算法、计费算法

    打车软件需要专用算法完成业务流程,派单、开销预测、计费等环节对用户体验至关重要。

    地图和定位

    空间索引、空间计算

    空车搜索、乘客搜索等功能需要对空间数据进行高效地查询。

    隐私保护技术

    基于位置的K匿名、差分隐私

    用户的位置、运行轨迹等信息属于个人敏感信息,需要脱敏处理。

    安全技术

    加密算法

    用户密码等数据不得以明文形式进行传输。

    4 总结

    本文主要对打车软件进行系统分析和设计,首先使用SA方法及DFD工具进行系统分析,然后使用MVC框架模式进行系统设计,最后指明了打车软件的系统部署及关键技术。

    参考文献

    ​​【1】网约车_百度百科[EB/OL]. https://baike.baidu.com/item/%E7%BD%91%E7%BA%A6%E8%BD%A6. 2020年7月20日访问.

    【2】易观. 2019中国网约车市场分析报告. 2019年7月.

    【3】J.D. Power. 2020中国网约车服务质量研究报告. 2020年3月.

    【4】极光大数据. 2019年1月网约车行业研究报告. 2019年1月.

    【5】德勤咨询. 十字路口的网约车. 2019年1月.

    【6】CNNIC. 第45次中国互联网络发展状况统计报告. 2020年4月.

    【7】牛伟娜, 马倩瑶. 我国打车软件盈利模式探讨[J]. 合作经济与科技, 2016(19):110-111.

    【8】极光. 2019年网约车出行安全用户信心研究报告. 2019年12月.

    展开全文
  • FineReport数据系统的总体流程为:整合和获取数据,将数据应用于报表的开发,将开发完的报表进行逻辑展示处理和部署,最后呈现给使用者使用。 开发报表的过程中,必须结合企业流程和企业内部的系统数据,进行统一...

    连锁百货企业数据分析系统建设方案


    数据系统建设方案

     

    FineReport数据系统的总体流程为:整合和获取数据,将数据应用于报表的开发,将开发完的报表进行逻辑展示处理和部署,最后呈现给使用者使用。

    开发报表的过程中,必须结合企业流程和企业内部的系统数据,进行统一搭建,最终要求开发出一个结合了各个系统数据的报表决策平台。开发过程中坚持“契合需求,方便高效”的原则,为企业员工、管理者以及决策者提供一个实用、方便、高效的工具。

     

    1.1方案概述

     

    本章将按照建设目标,从业务展示对象和BI分析对象两部分对整个数据系统进行阐述, 包括门店业务主题、库存主题、财务主题、人事主题、客户主题等。围绕需要哪些数据、如何整合数据、从哪些维度展示和分析、需要什么交互条件等主要问题。

    wKiom1aXEwaxQRVrAAVzpTKYZpk918.png 

    1.2业务展示对象

    业务展示类报表主要面向企业各门店的员工以及管理者,可以有效减轻企业员工及管理者在数据录入、处理上的工作量,优化并流畅各门店的运营。

    1.2.1门店业务主题

    门店是连锁行业的基本组成单元,其重要性不言而喻。专业、系统及标准化的门店管理是连锁企业持续赢利、发展的根基,是门店竞争力的核心禀赋。所以针对各门店的业务报表也是其它报表以及分析工具的基础。

     

    1.2.1.1店付款填报单

     

    根据调研,企业各门店的收入款项不仅需要在Hairdes System中录入,而且还需要填写“XX中心XX月工作汇总表”中的多个sheet。这样导致查询历史数据非常麻烦、不利于数据的存档规整、制作成本太高,浪费有效人力资源等很多弊端。

    FineReport支持多源展示,多源填报功能,一张填报单的数据可以应用于“门店业务月报”、“收入明细表”、“员工绩效考核表”等所有报表,达到“一次填报,随意取用”的效果。轻松解决以上弊端。

     

    信息部门只需根据企业需要统计的付款项目,设计一个填报表单,就可以轻松解决填报烦、查询难、分析复杂等问题。

    wKiom1aXEyiw1XqZAAAy8Ujaw2U798.png

    填报项目包括:

     付款编号(自动填报)

     付款时间(自动填报)

     客户名称

     会员ID

     付款数额

     付款方式(下拉框)

     咨询主任(自动填报/下拉框)

     造型师(自动填报/下拉框)

     店长(自动填报)

     门店(自动填报)

     付款项目(下拉框)

     ……

     

    填报的数据存入统一的数据库,企业根据自己关心的数据项目,利用Finereport,只需拖拽等简单操作,就能轻松制作“门店业务月报”、“收入明细表”、“员工绩效考核表”等报表。

     

    1.2.1.2门店业务月(年 周)报

     

    企业根据自己的业务需求,对各门店的业务进行统计

    统计层次可包括:

       发片发套

       洗发染发

       护理用品

       客户数量

       会员数量

       ……

     

    统计内容可包括:

       销售金额

       上月环比

       占比

       排名

    wKioL1aXE6Oy98q6AAEFFm0WnsE651.png   ……

     

     

    当业务进一步扩大,门店增多时,为方便统计查询,还可以根据具体需求设定参数

    可选参数包括:

       地区

       城市

       门店

       日期

       产品类型

       ……

     

    FineReport提供包括“文本控件”“下拉数控件”“下拉复选框控件”“日期控件”在内的18种参数控件,并且可以根据需求设定下拉框参数联动、复选框参数联动、动态列查询、模糊查询等多种查询方式,完全满足企业的个性化需求。

    wKioL1aXE7rgxX2HAABJaa73cB8981.png

    wKioL1aXFEnANCJJAABFugBt2ts037.png

    报表权限:

    当数据涉及权限时,可以对不同模版,模版的不同行、列设定权限参数(FR的权限可以具体到每个单元格),工作人员只能看到自己权限范围的内容。

    wKiom1aXFASAXHvYAABoIxZy5SQ816.png

    (江苏的门店只能看到江苏地区的销售人员)

    wKioL1aXFFiTH9uSAAEhXLdfFMY184.png


    数据钻取:

    当需要查看门店的详细信息时,可设置数据钻取

    FR支持包括“多维数据钻取”,“无限层次钻取”,“不浏览模版直接导出”等多种钻取方式。

    wKiom1aXFEbBil0gAANsOs2AmEg700.png(点击具体门店,可钻取该门店的收入明细表、咨询记录表、员工考勤表……)

     

    1.2.1.3门店收入明细表 咨询记录表:

     

    XXXX月收入明细表:

     wKioL1aXFI2gsFJ7AAClK9tMS0g702.png


    XXXX月咨询记录表:

    wKiom1aXFIORAlHnAACRrQ3jcbs108.png

    1.2.2 库存主题

    在任何企业的运营管理中,库存管理永远是一个重要的主题。

    库存过高将占用企业运转资金增加企业负担并有报废贬值风险。
    库存过低无法满足订单的灵活性,订单交货周期将加长,降低企业竞争力。
    所有企业都希望库存是零或接近零

    因此企业必须对库存进行实时的监控和管理。对于库存的展示及分析,必须是整体而且细致的,需要同时掌握库存静态数据、动态变化和价值结构。

     

     

    1.2.2.1发片库存表

     

    wKioL1aXFPuCblQOAACaFh_442s815.png 

    1.2.2.2辅助产品库存表

     

    wKioL1aXFQax3_qZAADHBxAhXPY617.png 

     

    1.2.3财务主题

     

    在企业内部的管理及业务营运过程中,除了最基本的进、销、存三个基元,财务主题更是最直接反应企业的营运状况。随着企业的不断发展,其传统的 Excel 制作财务报表方式已经 进入瓶颈,表现在如下几点:

    1) Excel 直接操作数据的方式受人为因素影响过大

    财务数据反映的是企业最基本的财务运营状态,一个小的数据出错往往对企业照成不可估量的损失。

    2 耗费大量人力财力和时间

    由于 Excel 操作方式零散、复杂的特点,使得往往简单的计算要耗费掉财务人员无数的时间和精力。

    3 重复工作量大 

    企业的发展要求财务人员每个周期内需要出来不同指标的数据,随着企业的不断发展, 该周期不断被缩小,造成财务人员每天在耗费大量的精力去做重复的工作。

     

    FineReport 采用系统计算的方式,将财务报表的各项指标通过逻辑算法纳入系统中,减少财务人员的重复工作量,避免出现人工的数据错误,从最大程度上,减少财务人员的负担,增加企业财务数据处理效率。

    财务主题包含企业营运的各个方面,渗透在本文档所写的所有主题中,因此本节仅描述一些财务方面特有的几个模板例子,展示一些常用的财务报表。

     

    1 增值税明细账

    将增值税的各项指标展示在web报表页面,并通过设定好的算法由系统计算出增值税明细。

    wKiom1aXFRDgLNZbAAEAQO6hvcM992.png 

    1) 总分类账

    通过数据分类重复工作量得。

    wKioL1aXFVGQPgdtAACYqrTipGg858.png 

    3 明细分类账

    在总化分容,以 web高使效率。

    wKiom1aXFUvw-PtNAACUKzGZ8R8854.png

    4 科目余额报表

    以月基准汇总,并上月情况,便比。

    wKioL1aXFbfA5IV4AABzFhfof_4668.png 

    5 付款凭证

    以付系统存数输出,方便并可出  ExcelwordPDF 

    wKioL1aXFcnD86iHAACdpPd3WY4802.png 

     

    6 记帐凭证

    通过、月记账不断 操作

    wKiom1aXFajxLB0bAACAfkIyNCI637.png 

     

     

    1.2.4人事主题

    随着企业人员的不断扩大,如何合理搭建完善的人事制度、调整人力资源结构、规划企业员工职业发展等问题对企业的长远发展将产生巨大的影响。

    利用FineReport强大功能,可以轻松制作多项目、交互的人事报表。

     

    1.2.4.1员工基本信息表

     

    FineReport操作界面:

    wKiom1aXFc-R0TXyAABnvwrlvE4470.png 

     

    wKiom1aXFfKDjFf2AAEGeITzpIk404.pngWeb浏览器展示界面:

     

     

    1.2.4.2人事变更月报

     

    人事变动月报涵盖维度包括:

     招聘相关招聘职位

     招聘相关招聘人数

     招聘相关应聘人数

     招聘相关报道人数

     招聘相关起讫时间

     人员流动相关流动类型

     人员流动相关试用期

     人员流动相关时间范围

     人员流动相关合计人数

    出勤考察状况可供选择的条件为:月份

    展示效果如下:

    wKioL1aXFk2BjWAsAAGFJvZb2B4625.png 

    1.2.4.3员工考勤表

     

    基本员工考勤表:

    wKiom1aXFiySBQKTAACUpeULV8M987.png 

     

     

    1.2.4.4员工薪资表

     

    “员工薪资表”可以直接抽取数据库数据,通过公式自动计算,免除了多次填报计算的麻烦。

     

    wKiom1aXFm7DJ98QAACMSLpiSoY178.png

    wKioL1aXFveinBxgAABPag5Bc38153.png 

    1.2.4.5店总绩效考核表

    企业可以根据自己的店总或高管考核标准,使用FineReport,轻松制作KPI考核表。

     

    分店总经理KPI考核表:

    wKioL1aXFtnDCUqgAAPdUq1TeBc929.png 

    参考维度

     财务层面

     客户层面

     内部运营层面

     学习成长层面

     ……

     

     

    1.3 BI分析对象

     

    FineReport 不仅是一款高效的数据展示工具,而且是一款高端的数据分析工具。FineReport 数据系统通过集成企业门户平台、规范企业信息资源,为企业提供了良好的信息获取渠道,帮助企业从不同维度把握企业现状,并且通过高端的分析工具,辅助决策者合理预测企业发展。

     

    决策中心——CEO桌面


    wKiom1aXFvjBusknAAFgrasbdt8379.png

     

     

     

     

    1.3.1销售分析

    销售分析结构图(仅供参考):

     

    wKiom1aXF1CgMxtAAAa7M3ifYss131.png 

     

     

    1.3.1.1销售总体概况

    wKioL1aXF5zxWdHXAAK_n6463G0614.png 

    1.3.1.2时间维度统计销售

     

    wKiom1aXF5STshjXAAE4h_WZ1sk810.png

    1.3.1.3地区维度统计销售

     

     

    wKiom1aXF9Pj9qUeAAD5JLNk5io279.png1.3.1.4具体门店销售情况

    wKiom1aXF_HR2iTkAAJhqnSRRmk595.png

    1.3.2财务分析

    财务分析结构图(仅供参考):

     

     

    wKioL1aXGFvweJ-IAAZcE3eVG5g688.png 

    1.3.2.1财务分析首界面

    wKioL1aXGG6gXo_FAAFbE_4A7bA721.png

    1.3.2.2财务分析——盈利能力分析

    wKiom1aXGF6yuFfTAAgCNU4-s1A117.png

    1.3.2.3标准收益分析

    wKioL1aXGKmwYSfUAAJSay2b_qo263.png

    1.3.3 人事分析

     

    人事分析结构(仅供参考):

     

    wKiom1aXGJmzVxMqAAGyCxS-9rg106.png

    1.3.3.1各部门年龄分析

     

    FineReport操作界面:

    wKiom1aXGNHz2daVAACno6l3KJE891.png 

     

    Web浏览器展示界面:

    wKiom1aXGN7z57xIAADqEzBSXeY355.png 

    1.3.3.2各部门员工考勤分析

     

    动态折叠树分析查看各部门员工考勤:

    A:

    wKiom1aXGO3x1Ga6AABiNvfIi9s101.png 

     

    B:

    wKiom1aXGPzgCyCLAABlJjKKmzk210.png 

     

    C:

    wKiom1aXGRPSTFHbAACYVjfB4p8340.png

    1.3.3.3各部门员工学历/工资分析

     

    wKioL1aXGXTyf4ueAAVQy4Rd3Oo092.png 

     

    1.3.3.4优秀销售员分析

     

    wKiom1aXGVOzxoZRAADIkokTVR4784.png 

     

    1.3.4 客户分析

     

    分析纬度:

     客户年龄结构分析

     性别分析

     会员/非会员

     消费区间分析

     消费结构分析

     ……

     

    客户年龄结构分析:

    wKiom1aXGZiBFaeYAABeBB1Vvzk701.png 

     

    客户性别分析:

     

    wKioL1aXGdfDeOMWAAA1cgi-Xhk913.png 

     

     


     

    展开全文
  • 3.离线分析系统架构图 三、技术实现 1.Hadoop CDH集群管理平台 2.Flume采集服务器日志数据到HDFS 3.Spark SQL清洗数据 4.建立Hive仓库并导入清洗完的数据 5.HQL统计分析PV、UV数据 6.Sqoop同步数据 7.代码...

     

    目录

    一、业务需求

    二、业务实现方案

    1.技术栈

    2.业务实现流程

    3.离线分析系统架构图

    三、技术实现

    1.Hadoop CDH集群管理平台

    2.Flume采集服务器日志数据到HDFS

    3.Spark SQL清洗数据

    4.建立Hive仓库并导入清洗完的数据

    5.HQL统计分析PV、UV数据

    6.Sqoop同步数据

    7.代码分享

    8.相关博客文章


    一、业务需求

    根据网站或app应用每天生成的用户日志数据放在大数据平台中来统计出PV(访问量)和UV(独立访客)

    二、业务实现方案

    1.技术栈

    Hadoop CDH(大数据集群管理)+Flume(数据采集)+Spark(数据计算分析)+Hive(数据仓库)+Sqoop(数据同步)+MySQL

    2.业务实现流程

    • 搭建Hadoop CDH集群管理平台
    • Flume将网站日志数据采集到Hadoop中的HDFS分布式存储系统中
    • Spark SQL清洗存储在HDFS的网站日志数据,清洗完后将其数据继续存储在HDFS中
    • Hive建立数据仓库,建立外部表,将清洗完的日志数据从HDFS中导入到Hive的外部表中,作为基础数据的存储
    • 在Hive中新建新的外部表用于存储PV、UV的结果数据
    • 用Hive的HQL统计分析日志数据,统计出PV、UV并将结果数据存到新的外部表中
    • 将统计完的PV、UV数据使用Sqoop从Hive同步到外部的MySQL中供给WEB前端使用

    3.离线分析系统架构图

    这里写图片描述

    三、技术实现

    1.Hadoop CDH集群管理平台

    一般都是运维去搭建,如果想要自己搭建只能查资料采坑跳坑了。

    2.Flume采集服务器日志数据到HDFS

    cd 执行代码目录
    vi hdfs-avro.conf

    hdfs-avro.conf文件内容: 

    #定义agent名, source、channel、sink的名称
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    # 配置Source
    a1.sources.r1.type = exec
    a1.sources.r1.channels = c1
    a1.sources.r1.deserializer.outputCharset = UTF-8
    # 配置需要监控的日志输出目录
    a1.sources.r1.command = tail -F /home/data/nginx_log/access.log
    #设置缓存提交行数
    a1.sources.s1.deserializer.maxLineLength =1048576
    a1.sources.s1.fileSuffix = .DONE
    a1.sources.s1.ignorePattern = access(_\d{4}\-\d{2}\-\d{2}_\d{2})?\.log(\.DONE)?
    a1.sources.s1.consumeOrder = oldest
    a1.sources.s1.deserializer = org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder
    a1.sources.s1.batchsize = 5
    #具体定义channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 10000
    a1.channels.c1.transactionCapacity = 100
    #具体定义sink
    a1.sinks.k1.type = hdfs
    #%y-%m-%d/%H%M/%S
    #存储到hdfs的目录
    a1.sinks.k1.hdfs.path = hdfs://ip:8020/nginx/%Y-%m-%d
    a1.sinks.k1.hdfs.filePrefix = nginx-%Y-%m-%d_%H
    a1.sinks.k1.hdfs.fileSuffix = .log
    a1.sinks.k1.hdfs.fileType = DataStream
    #不按照条数生成文件
    a1.sinks.k1.hdfs.rollCount = 0
    a1.sinks.k1.hdfs.rollSize=0
    a1.sinks.k1.hdfs.useLocalTimeStamp = true
    #组装source、channel、sink
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

    设置定时任务,定时执行flume执行命令来采集日志数据

    flume执行命令内容:

    flume-ng agent \
     --name a1 \
     --conf-file /代码执行目录/hdfs-avro.conf \
     --conf $FLUME_HOME/conf \
     -Dflume.root.logger=INFO,console

    3.Spark SQL清洗数据

    我是参考慕课网一个教程做的,感觉还不错;

    视频教程:

    链接: https://pan.baidu.com/s/1eNWYmM2ZMQAk7F02hunHWA 提取码: sk2u

    博客教程记录:

    Spark SQL清洗日志数据

    一般的Hadoop CDH装的Spark版本都是1.X,Spark1.X版本的不能满足我们的代码实现要求,所以我们需要升级Spark,升级到2.X才能满足我们的代码需求。

    Hadoop CDH 升级Spark教程:

    CDH5.16.2离线安装spark2.1

    CDH5.11 离线安装或者升级spark2.x详细步骤

    PS:大概流程就是提交spark作业来清洗在HDFS中的数据,清洗完后继续存储到HDFS中。

    4.建立Hive仓库并导入清洗完的数据

    • 建立hive表用于存储清洗完的数据
    hive (count_log)> create table date_clear(
                    > id string,
                    > url string,
                    > guid string,
                    > date string,
                    > hour string 
                    > )
                    > row format delimited fields terminated by '\t';
    insert into table date_clear
    hive (count_log)> insert into table date_clear
                    > select id,url,guid ,substring(trackTime,9,2) date,substring(trackTime,12,2) hour from source_log;

    创建分区表(以日期和时间分区,方便实现每小时进行PV、UV统计)

    • 方式一: 创建静态分区表
    hive (count_log)> create  table part1(
                         > id string,
                         > url string,
                         > guid string
                         > )
                         > partitioned by (date string,hour string)
                         > row format delimited fields terminated by '\t';
    hive (count_log)> insert into table part1 partition (data='20150828',hour='18')
                         > select id,url,guid from date_clear where date;
    hive (count_log)> insert into table part1 partition (date='20150828',hour='18')
                         > select id,url,guid from date_clear where date='28' and hour='18';

    • 创建动态分区表(会自动的根据与分区列字段名相同的列进行分区)使用动态分区表前,需要设置两个参数值 
    hive (count_log)> set hive.exec.dynamic.partition=true;
    hive (count_log)> set hive.exec.dynamic.partition.mode=nonstrict;
    hive (count_log)> create table part2(
                         > id string,
                         > url string,
                         > guid string  
                         > )
                         > partitioned by (date string,hour string)
                         > row format delimited fields terminated by '\t';
    hive (count_log)> insert into table part2 partition (date,hour)
                         > select * from date_clear;

    5.HQL统计分析PV、UV数据

    写sql来统计分析出pv、uv并将结果存储到新的表中

    统计PV:

    select date,hour,count(url) PV from part1 group by date,hour;

    统计UV:

    select date,hour,count(distinct guid) uv from part1 group by date,hour;

    6.Sqoop同步数据

    使用Sqoop将存储在Hive中的PV、UV结果数据同步到外部的MySQL中

    sqoop export \
    --connect "jdbc:mysql://ip地址:3306/库名?useUnicode=true&characterEncoding=utf-8" \
    --username 数据库账号 \
    --password "数据库密码" \
    --table resource_search2 \
    --export-dir /user/hive/warehouse/fiveg.db/resource_search \
    --input-null-string '\\N' \
    --input-null-non-string '\\N' \
    --input-fields-terminated-by '\t' \
    --num-mappers 1 

    字段备注:
    connect:数据库连接地址
    username:数据库用户名
    password:数据库密码
    table:数据库表
    export-dir:hive表对应的hdfs存储地址

    7.代码分享

    本博客涉及到的代码分享:

    链接: https://pan.baidu.com/s/1G5t_C9K1QnjtB2ySqXFJ3g 提取码: vv9r 

    8.相关博客文章

    Sqoop安装配置及Mysql->Hive数据导入实践

    结合Hive、Sqoop统计日志pv和uv

    Flume+Spark+Hive+Spark SQL离线分析系统

     

    展开全文
  • 力天创见客流统计分析系统

    千次阅读 2018-10-22 13:29:55
    力天创见客流统计分析系统,基于商业综合体客流状况的精确统计,是其经营决策的重要依据。客户不但是货币的携带者,也是商品的潜在购买者,仔细地研究客流量规律可以增加销售机会,将观看者转变为购物者,最大限度地...
  • IT系统对接方案汇总

    千次阅读 2021-02-07 09:28:46
    如果系统之间存在权限限制或技术限制,可采用接口以保证数据的安全和对接的规范性等等,不同的场景下有不同的对接方案,以下对常用的对接方案做出汇总。 技术方案 接口 接口对接方式是比较常用,且安全规范的传输...
  • 全自动录播教室系统设计方案

    千次阅读 2020-12-30 16:04:05
    全自动录播教室系统设计方案aMt安检之家系统阐述aMt安检之家多媒体录播教室是利用视音频记录技术完整记录课堂的教学活动,实现实时播放和课后回放。课堂教学活动包括老师、学生的图像与声音,教师的计算机课件、板书...
  • MES系统整体解决方案

    千次阅读 多人点赞 2020-07-24 16:40:19
    以柔性制造系统、敏捷制造等信息化改造为建设目标,利用传感技术、无线通信技术、计算机网络技术、智能数字化技术、物联网应用服务平台技术等多种现代化技术,打造基于物联网的综合示范平台,建立起一个示范性应用...
  • 大多数制造业企业几年前...使用工业生产ERP系统统计分析相关工作的效率、准确性有了明显的提高,同时还降低了企业严重依赖于个人员工经验的风险、提高了企业竞争力。那么统计分析到底有哪些功能呢?下面以智邦国际...
  • 目的是为了对云平台上的设备和用户数据做多维度的统计分析,以及便于观察设备数据的历史趋势,让业务部门更好地做业务决策。整体的架构与数据流向如下图所示,采用Hive做数据仓库,使用Spark实现一个ETL组件,完成...
  • 16种常用统计分析软件介绍

    千次阅读 2020-03-20 18:50:46
    SAS 是英文Statistical Analysis System的缩写,翻译成汉语是统计分析系统,最初由美国北卡罗来纳州立大学两名研究生开始研制,1976 年创立SAS公司, 2003年全球员工总数近万人,统计软件采用按年租用制,年租金收入...
  • 桥梁防撞主动预警系统是防止船舶与桥墩碰撞的防护设施;保护船舶正常通行,保障桥梁安全。桥梁防撞主动预警系统预警过往船舶可能对桥墩造成的影响。在桥墩设防区的江湖上设置一定的监视区。一旦船舶进入设防区,即...
  • 在控制层,我们可以提供先进、成熟的控制系统,提供操作员仿真培训系统和先进控制解决方案,帮助用户实现安全、稳定的生产,提高生产效益;培训熟练的操作人员,进行工艺优化;提供先进控制技术,解决复杂控制问题。...
  • 支持实时视频监控与抓拍,对图片和视频源中面部特征进行提取分析,可实现多人脸检测与抓拍、人脸属性分析(如性别、年龄)、人脸识别、人流量统计、人脸比对检索、人脸库管理等。
  • 系统认证风险预测方案总结

    万次阅读 2022-01-18 22:32:54
    1. 算法方案解析 1.1 题目理解 1.2 数据探索 1.3 特征构造 1.3.1 原始特征 1.3.2 时间特征 2.3.3 统计交叉特征 2.3.4 特征构造-词嵌入特征 2.4 模型搭建 2.5 模型融合 2.6 上分点及亮点小结 3. 后续优化思路 4. 总结...
  • 智慧环卫管理系统解决方案

    万次阅读 2022-02-25 15:30:00
    智慧环卫管理系统方案 2022年2月 慧环卫项目综述 智慧环卫背景 城市环境卫生管理是一项复杂而系统的社会工程,不仅是一个城市的“脸面”也是一个城市的文明程度的重要标志。是与人民群众生活最...
  • 第三章城市智慧交通管理和服务平台系统方案设计 3.1系统构成 按照信息获取的方式、传递及使用情况,可以把城市智慧交通管理和服务综合信息服务平台系统划分为4 个层次: 基础层、功能层、共享信息层和服务层。在...
  • 近年来,随着社会经济的发展,...采用JAVA语言编制科学的设备管理应用软件,开发医院设备管理系统,从而使其更好的统计医疗设备运行状况,更好的为医院管理服务。医疗设备管理是一个实时变化的过程,要对其展开有...
  • XX智能停车场系统项目技术方案

    万次阅读 多人点赞 2019-09-30 09:41:55
    根据中国汽车工业协会数据统计,2014年中国汽车产销量达2400万辆,有望连续第六年稳居世界头号汽车产销大国的地位。 伴随着汽车保有量的迅速增加,停车场规模的不断扩大,城市汽车和停车场之间的矛盾也日益突出。...
  • 智慧工厂应用系统建设方案

    千次阅读 2020-08-17 15:00:44
    该数字化平台将作为企业的全方位运营数据来源,整合提取经营、生产、能源、设备、物流等各业务数据,为构建企业的大数据管理和 分析系统提供全方位的数据支撑。 图 3—智能工厂运营管控平台 1.3智能工厂系统体系...
  • LIS系统和医院HIS系统的对接方案

    千次阅读 2021-05-18 08:44:43
    医院信息系统主要包括HIS(Hospital ...LIS和PACS作为专业性很强的信息系统,侧重在与医疗设备的通讯,完成检验数据和影像数据的存储、统计分析等功能。由于HIS系统开发商一般不自行开发LIS和PACS系统,医院通常委托
  • 32. 数据统计分析自定义事件接口 58 33. 微博分享接口 58 34. 自定义编辑框接口 58 35. 游戏引擎接口 58 (1) 插件扩展 58 AppCan IDE 启动画面 62 AppCan IDE 代码编辑界面 63 AppCan IDE模拟器与调试器 63...
  • 北京、广州、上海、深圳、江苏、浙江等东部经济发达地区的城市污水处理厂自控系统建设及使用状况整体较好,中西部地区的污水处理厂自控系统状况还不太理想,有很多甚至处于瘫痪状态。而即使是在经济发达地区的污水...
  • 智能体温监测预警系统方案开发

    千次阅读 2020-03-05 14:39:05
    面对当前新增新型冠状病毒感染肺炎的疑似病例和确诊病例不断增加,坚决遏制疫情的扩散...6108方案智能云利用云计算、大数据、AI智能等工具,推出了智能体温监测预警系统解决方案,希望此方案可以提升政府、教育部...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 251,328
精华内容 100,531
关键字:

统计分析系统方案