精华内容
下载资源
问答
  • 力天创见客流统计分析系统

    千次阅读 2018-10-22 13:29:55
    力天创见客流统计分析系统,基于商业综合体客流状况的精确统计,是其经营决策的重要依据。客户不但是货币的携带者,也是商品的潜在购买者,仔细地研究客流量规律可以增加销售机会,将观看者转变为购物者,最大限度地...
    力天创见客流统计分析系统,基于商业综合体客流状况的精确统计,是其经营决策的重要依据。客户不但是货币的携带者,也是商品的潜在购买者,仔细地研究客流量规律可以增加销售机会,将观看者转变为购物者,最大限度地挖掘商场的销售潜力,增加利润。
    力天创见客流分析报表,以精细化管理以事实为依据,用数字说话,决策者、管理者通过对商业综合体各个硬软件得出的数字进行分析,并用这些数据为顾客与商户服务,客流统计分析是实现精细化管理必不可少的工具。客流数据对商业综合体来说是其核心元素,充足有效的客流能提升商业综合体的盈利能力,客流不仅是定位和招商的基础,更是综合体是否能成功运营的关键。
    力天创见客流分析系统,对于商超租金等费用的利用方案。综合体收入的主要来源是租金、停车费及广告费等服务性费用。通过客流统计系统获得不同时段的客流分布情况,表现优异的租户或区域立时可见,表现较差的营业区域可立即受到关注,后期对于综合体租户组合的调整可以通过客流数据来进行科学分析。通过客流数据给综合体的招商部门在确定具体楼层具体区位的铺位租金水平和今后的租金调整,提供数据支持。通过对出入口人流量数据的观测,可以帮助确定广告位定价,合理确定重要广告的摆放位置。当然,这些落实思路是以历史数据作为基础的,这必须在正式运营并积累一定的客流量历史数据后分析客流数据与经营业绩之间的关系并提炼参数,推动落实。
    力天创见客流分析系统,对于营销策划部——主题活动带来的分析效果,可带来客流量的上升,在活动期间,客流系统提供准确的人流数据,可以直观地对活动效果进行评估,结合其他数据报表可分析出营销活动和促销投资的回报情况,此外,结合历史同期活动的客流量数据,对比分析得出人流规律,为今后活动方案的制定提供依据。
    
    展开全文
  • 大数据-实时统计分析-方案对比选型 image2017-10-27_11-10-53.png (1067×738)elasticsearch-headElasticsearch-sql clientspark streaming reload_百度搜索基于spark streaming的网管系统告警过滤算法的设计与实现 ...

    大数据-实时统计分析-方案对比选型

    image2017-10-27_11-10-53.png (1067×738)
    elasticsearch-head
    Elasticsearch-sql client
    spark streaming reload_百度搜索
    基于spark streaming的网管系统告警过滤算法的设计与实现 - 其它论文 - 道客巴巴
    scala - Spark Streaming into HBase with filtering logic - Stack Overflow
    Building Lambda Architecture with Spark Streaming – Cloudera Engineering Blog
    Druid 实时数据分析存储系统
    驱动海量大数据实时多维分析,优酷为什么会选择Druid? - 大数据技术参考_大数据技术文献_大数据趋势分析
    Druid(准)实时分析统计数据库——列存储+高效压缩 - bonelee - 博客园
    presto、druid、sparkSQL、kylin的对比分析,如性能、架构等,有什么异同? - 知乎
    Druid对比Elasticsearch - lpthread - 博客园

    BI报表-实时数据分析-方案对比-参考资料

     

    druid vs kylin vs elasticsearch vs influxdb - Google 搜索
    数据可视化的开源方案: Superset vs Redash vs Metabase - hugo - ITeye博客
    数据可视化的开源方案: Superset vs Redash vs Metabase (一) - CSDN博客
    数据可视化的开源方案: Superset vs Redash vs Metabase (二) - CSDN博客
    kibana 与 grafana - 天戈朱 - 博客园
    Greenplum roaring bitmap与业务场景 (类阿里云RDS PG varbitx, 应用于海量用户 实时画像和圈选、透视)-博客-云栖社区-阿里云
    最全的“大数据”学习资源 – lxw的大数据田地
    非常全的大数据相关资源整理 | 人人都是数据咖
    非常全的大数据相关资源整理 - 机器学习 - 算法组
    A Comparison of Time Series Databases and Netsil’s Use of Druid
    统计平台思路分析 · Ruby China
    一篇文读懂19款数据分析软件,解救选择困难症! – 运维派
    Meetup-Druid和Kylin在美团点评的选型与实践.key
    presto、druid、sparkSQL、kylin的对比分析,如性能、架构等,有什么异同? - 知乎
    OLAP及分析工具选型 - CSDN博客
    数据分析必备|你不得不知道的11款数据分析工具 | 人人都是产品经理
    Tableau Prep:全新数据准备解决方案
    Apache Kylin在美团数十亿数据OLAP场景下的实践 – 过往记忆
    Druid在OneAPM的大数据分析实践 – China Hadoop
    Druid | Interactive Analytics at Scale
    Druid |
    Druid |
    展开全文
  • Web服务器日志统计分析完全解决方案from: http://kunming.cyberpolice.cn/aqjs/20004.html 摘要对于所有的ICP来说,除了保证网站稳定正常运行以外,一个重要的问题就是网站访问量的统计和分

    Web服务器日志统计分析完全解决方案


    from:  http://kunming.cyberpolice.cn/aqjs/20004.html                                                         
     


    摘要
    对于所有的ICP来说,除了保证网站稳定正常运行以外,一个重要的问题就是网站访问量的统计和分析报表,这对于了解和监控网站的运行状态,对提高各个网站的服务能力和服务水平是必不可少的。通过对Web服务器的日志文件进行分析和统计,能够有效掌握系统运行情况以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。本文对Web服务器日志分析的原理和技术进行讨论。(2003-04-03 13:26:53)
    --------------------------------------------------------------------------------
    By ideal
    http://www.linuxaid.com.cn/


    请注意本文已刊载在《开放系统世界》2003年第二期,该文章版权属于该杂志所有,请勿随意转载,转载请保留该声明

    关键字:web服务器 日志 统计分析 crontab cronolog apache

    摘要:对于所有的ICP来说,除了保证网站稳定正常运行以外,一个重要的问题就是网站访问量的统计和分析报表,这对于了解和监控网站的运行状态,对提高各个网站的服务能力和服务水平是必不可少的。通过对Web服务器的日志文件进行分析和统计,能够有效掌握系统运行情况以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。本文对Web服务器日志分析的原理和技术进行讨论。

    文章相关软件:

    webalizer http://www.mrunix.net/webalizer/
    cronolog http://www.cronolog.org/
    Apache http://www.apache.org/

    一、 前言
    随着Internet上Web服务的发展,几乎各个政府部门、公司、大专院校、科研院所等都在构建或正在建设自己的网站。而与此同时,在构建网站建设中各个单位都会遇到各种各样的问题,那么对web服务器的运行和访问情况进行详细和周全的分析对于了解网站运行情况,发现网站存在的不足,促进网站的更好发展重要性是不言而喻的。

    管理Web网站不只是监视Web的速度和Web的内容传送,它要求不仅仅关注服务器每天的吞吐量,还要了解对这些Web网站的外来访问,了解网站各页面的访问情况,根据各页面的点击频率来改善网页的内容和质量、提高内容的可读性,跟踪包含有商业交易的步骤以及管理Web网站“幕后”的数据等。
    为了更好地提供WWW服务,监控WEB服务器的运行情况、了解网站内容的详细访问状况就越来越显得重要和迫切了。而这些要求都可以通过对web服务器的日志文件的统计和分析来做到。

    二、WEB日志分析的原理
    网站服务器日志记录了web服务器接收处理请求以及运行时错误等各种原始信息。通过对日志进行统计、分析、综合,就能有效地掌握服务器的运行状况,发现和排除错误原因、了解客户访问分布等,更好的加强系统的维护和管理。

    在WWW服务模型是非常简单的(见图1):

    1) 客户端(浏览器)和web服务器建立tcp连接,连接建立以后,向web 服务器发出访问请求(如:get),根据HTTP协议该请求中包含了客户端的IP地址、浏览器的类型、请求的URL等一系列信息。

    图1 web访问机制

    2) web服务器收到请求后,将客户端要求的页面内容返回到客户端。如果出现错误,那么返回错误代码。

     

    3) 服务器端将访问信息和错误信息纪录到日志文件里。下面是客户端发送给web服务器请求的数据报的内容:

    GET /engineer/ideal/list.htm HTTP/1.1
    Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */*
    Referer: http://www.linuxaid.com.cn/engineer/ideal/
    Accept-Language: zh-cn
    Accept-Encoding: gzip, deflate
    User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
    Host: http://www.linuxaid.com.cn/
    Connection: Keep-Alive

    可以看到,在客户机的请求里包含了很多有用的信息,例如:客户端类型等等。而web服务器就会将请求的web页内容发送返回给客户机。

    目前最常用的web服务器有Apache、Netscape enterprise server、MS IIS等。而目前互联网上最常用的web服务器就是apache,因此我们这里的讨论都以Linux+apache环境讨论,其他的应用环境类似。对于Apache来说,支持多种日志文件格式,最常见的是common和combined两种模式,其中combined方式比common方式的日志的信息要多Referer(该请求来自于哪里,例如来自于yahoo的搜索引擎)和User-agent(用户客户端类型,如mozilla或IE)。我们这里讨论combined类型。下面是common类型的日志示例:

    218.242.102.121 - - [06/Dec/2002:00:00:00 +0000] "GET /2/face/shnew/ad/via20020915logo.gif HTTP/1.1" 304 0 "http://www.mpsoft.net/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"
    61.139.226.47 - - [06/Dec/2002:00:00:00 +0000] "GET /cgi-bin/guanggaotmp.cgi?1 HTTP/1.1" 200 178 "http://www3.beareyes.com.cn/1/index.php" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"
    218.75.41.11 - - [06/Dec/2002:00:00:00 +0000] "GET /2/face/shnew/ad/via20020915logo.gif HTTP/1.1" 304 0 "http://www.mpsoft.net/" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"
    61.187.207.104 - - [06/Dec/2002:00:00:00 +0000] "GET /images/logolun1.gif HTTP/1.1" 304 0 "http://www2.beareyes.com.cn/bbs/b.htm" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
    211.150.229.228 - - [06/Dec/2002:00:00:00 +0000] "GET /2/face/pub/image_top_l.gif HTTP/1.1" 200 260 "http://www.beareyes.com/2/lib/200201/12/20020112004.htm" "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)"

    从上面的日志文件可以看出日志记录会记录客户端的IP地址、访问发生的时间、访问请求的页面、web服务器对于该请求返回的状态信息、返回给客户端的内容的大小(以字节为单位)、该请求的引用地址、客户浏览器类型等信息。

    三、apache日志的配置和管理
    本文中我们假设我们的apache运行有两个虚拟主机:www.secfocus.com和www.tomorrowtel.com。我们需要对这两个虚拟主机分别进行访问日志分析和统计。

    Apache配置文件中,我们需要关心的和日志相关的配置有两个:

    CustomLog /www/logs/access_log common
    ErrorLog /www/logs/error_log

    CustomLog用来指示apache的访问日志的存放位置(这里保存在/www/logs/access_log中)和格式(这里为common);ErrorLog用来指示apache错误信息日志的存放位置。

    对于不配置虚拟主机的服务器来说,只需要直接在httpd.conf中查找CustomLOg的配置进行修改即可;而对于具有多个虚拟服务器的web服务器来说,需要分离各个虚拟服务器的访问日志,以便对各个虚拟服务器进行访问统计和分析。因此这就需要在虚拟服务器配置中进行独立的日志配置,示例:

    NameVirtualHost 75.8.18.19


    ServerName http://www.secfocus.com/
    ServerAdmin secfocus@secfocus.com
    DocumentRoot /www/htdocs/secfocus/
    CustomLog "/www/log/secfocus" combined
    Alias /usage/ "/www/log/secfocus/usage/"


    ServerName http://www.tomorrowtel.com/
    ServerAdmin tomorrowtel @ tomorrowtel.com
    DocumentRoot /www/htdocs/ tomorrowtel
    CustomLog "/www/log/tomorrowtel " combined
    Alias /usage/ "/www/log/tomorrowtel/usage/"


    这里需要注意的是每个虚拟主机的定义都有一个CustomLog命令,用来指定该虚拟主机访问日志的存放文件;而Alias命令用来让日志分析生成的报表能通过www.secfocus.com/usage/的方式来访问。通过上面的配置就完成了日志文件的保存。

    但是下来遇到的一个问题就是日志文件的轮循,因为日志是一直在增大的,如果不进行处理那么日志文件会越来越大,会影响web服务器运行效率;速率,还可能过大耗尽服务器硬盘空间,导致服务器无法正常运行,另外如果单个日志文件大于操作系统单文件尺寸的的限制,从而更进一步影响web服务的运行。而且日志文件如果不进行轮循也不变于日志统计分析程序的运行,因为日志统计分析都是以天为单位进行统计分析的,跨越很长时间日志会使得日志统计分析程序运行特别慢。因此这里就需要对web服务器日志文件每天进行轮循。

    四、web服务器日志轮循
    web服务器日志轮循比较好的方式有三种:第一种方法是利用Linux系统自身的日志文件轮循机制:logrotate;第二种方法是利用apache自带的日志轮循程序rotatelogs;第三种是使用在apache的FAQ中推荐发展已经比较成熟的一个日志轮循工具cronolog。

    对于大型的WEB服务来说,其往往使用实用负载均衡技术提高web站点服务能力,这样后台有多个服务器提供WEB服务,这大大方便了服务的分布规划和扩展性,但多个服务器的分布就需要对日志进行合并统一进行统计分析。因此为了保证统计的精确性就需要严格按照每天的时段来自动生成日志文件。

    4.1 logrotate实现日志轮循
    首先我们讨论采用Linux系统自身的日志文件轮循机制:logrotate的方法。Logrotate是Linux系统自身带的一个日志轮循程序,是专门对各种系统日志(syslogd,mail)进行轮循的程序。该程序是由运行程序的服务crond来每天凌晨4:02运行的,可以在/etc/cron.daily目录下可以看到logrotate文件,其内容如下:

    #!/bin/sh
    /usr/sbin/logrotate /etc/logrotate.conf

    可以看到每天清晨crond都会启动/etc/cron.daily目录下的logrotate脚本来进行日志轮循。

    而在/etc/logrorate.conf中可以看到内容如下:

    # see "man logrotate" for details
    # rotate log files weekly
    weekly
    # keep 4 weeks worth of backlogs
    rotate 4
    # create new (empty) log files after rotating old ones
    create
    # uncomment this if you want your log files compressed
    #compress
    # RPM packages drop log rotation information into this directory
    include /etc/logrotate.d
    # no packages own wtmp -- we'll rotate them here
    /var/log/wtmp {
    monthly
    create 0664 root utmp
    rotate 1
    }

    # system-specific logs may be also be configured here.

    从logrotate的配置文件中可以看到除了wtmp以外,需要滚动的日志的配置都保存在/etc/logroate.d目录下。因此我们只需要在该目录下创建一个名为apache的配置文件,来指示logrotate如何轮循web服务器的日志文件即可,下面是一个示例:

    /www/log/secfocus {
    rotate 2
    daily
    missingok
    sharedscripts
    postrotate
    /usr/bin/killall -HUP httpd 2> /dev/null || true
    endscript
    }
    /www/log/tomorrowtel {
    rotate 2
    daily
    missingok
    sharedscripts
    postrotate
    /usr/bin/killall -HUP httpd 2> /dev/null || true
    endscript
    }

    这里“rotate 2”表示轮循时只包括两个备份文件,也就是只有:access_log、access_log.1、access_log.2三个日志备份文件。就这样就实现了对两个虚拟主机的日志文件的轮循。后面我们会讨论如何使用日志统计分析软件对日志文件进行处理。

    这种方法的优点是不需要其他第三方工具就可以实现日志轮循,但是对于重负载的服务器和使用负载均衡技术的web服务器来说这种方法就不是很实用。因为它是对相应服务进程发出一个-HUP重启命令来实现日志的截断归档的,这样会影响服务的连续性。

    4.2 使用apache自带的rotatelogs实现日志轮循
    apache提供了将不把日志直接写入文件,而是通过管道发送给另外一个程序的能力,这样就大大的加强了对日志进行处理的能力,这个通过管道得到的程序可以是任何程序:如日志分析,压缩日志等。要实现将日志写到管道只需要将配置中日志文件部分的内容替换为“|程序名“即可,例如:

    # compressed logs
    CustomLog "|/usr/bin/gzip -c >> /var/log/access_log.gz" common

    这样就可以实用apache自带的轮循工具:rotatelogs来对日志文件进行轮循。rotatelogs基本是用来按时间或按大小控制日志的。

    CustomLog "|/www/bin/rotatelogs /www/logs/secfocus/access_log 86400" common

    上面的示例中apache访问日志被发送给程序rotatelogs,rotatelogs将日志写入/www/logs/secfocus/access_log,并每隔86400秒(一天)对日志进行一次轮循。轮循以后的文件名为/www/logs/secfocus/access_log.nnnn,这里nnn是开始记录日志的时间。因此为了将日志按天对齐就需要在凌晨00:00启动服务,使得每天轮循得到的日志刚好是完整一天的日志,以提供给访问统计分析程序进行处理。如果是00:00开始生成新的日志,那么轮循得到的日志就是access_log.0000。

    4.3 使用cronolog实现日志轮循
    首先需要下载和安装cronolog,可以到http://www.cronolog.org下载最新版本的cronolog。下载完毕以后,解压安装即可,方法如下所示:

    [root@mail root]# tar xvfz cronolog-1.6.2.tar.gz
    [root@mail root]# cd cronolog-1.6.2
    [root@mail cronolog-1.6.2]# ./configure
    [root@mail cronolog-1.6.2]# make
    [root@mail cronolog-1.6.2]# make check
    [root@mail cronolog-1.6.2]# make install

    这就完成了cronolog的配置和安装,默认情况下cronolog是安装在/usr/local/sbin下。
    修改apache日志配置命令如下所示:

    CustomLog "|/usr/local/sbin/cronolog /www/logs/secfocus/%w/access_log" combined

    这里%w表示按照日期星期几在不同的目录下保存日志,这种方式会保存一周的日志。为了进行日志分析,需要每天将该日志文件拷贝(或移动,如果不希望保存一周的日志)到一个固定的位置以方便日志分析统计文件进行处理,实用crontab –e,如下添加定时任务:

    5 0 * * * /bin/mv /www/logs/secfocus/`date -v-1d +/%w`/access_log /www/logs/secfocus/access_log_yesterday

    这样再使用日志统计分析程序的对文件access_log_yesterday进行处理。

    对于使用负载均衡技术的大型站点,就存在多个服务器的访问日志的合并处理问题.对于这种情况,各个服务器定义或移动日志文件时就不能使用access_log_yesterday了,就应该带上服务器编号了,例如服务器IP地址等信息以区分。然后在各个服务器上运行网站镜像和备份服务rsyncd(参考文章” 用rsync实现网站镜像和备份”,ttp://www.linuxaid.com.cn/engineer/ideal/article/rsync.htm),然后将每个服务器每天的安装配置文件通过rsync下载到专门进行访问统计分析的服务器上进行合并。

    合并多个服务器的日志文件,例如:log1 log2 log3并输出到log_all中的方法是:

    sort -m -t " " -k 4 -o log_all log1 log2 log3

    -m: 使用 merge优化算法,-k 4表示根据时间进行排序,-o表示将排序结果存放到指定的文件中。

    五、日志统计分析程序webalizer的安装和配置
    webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果是HTML文件格式,从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。Webalizer具有以下一些特性:

    是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10000条记录,所以分析一个40M大小的日志文件只需要15秒。
    webalizer支持标准的一般日志文件格式(Common Logfile format);除此之外,也支持几种组合日志格式(Combined Logfile format)的变种,从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。
    支持命令行配置以及配置文件。
    可以支持多种语言,也可以自己进行本地化工作。
    支持多种平台,比如UNIX、linux、NT, OS/2 和 MacOS等。  


    上图是webalizer生成的访问统计分析报表第一页的内容,这里包含每个月的平均访问量的表格和条形图统计分析情况。点击每个月分,可以得到这个月每天的详细统计信息。

    5.1 安装
    在安装以前首先需要确保系统已经安装有gd库,可以使用:

    [root@mail root]# rpm -qa|grep gd
    gd-devel-1.8.4-4
    gdbm-devel-1.8.0-14
    gdbm-1.8.0-14
    sysklogd-1.4.1-8
    gd-1.8.4-4

    来确认系统已经安装有gd-deve和gd两个rpm包。

    安装webalizer有两种方式,一种是下载源代码来安装,一种是直接使用rpm包来安装。

    使用rpm包方式安装非常简单,从rpmfind.net找到webalizer包,下载以后:

    rpm –ivh webalizer-2.01_10-1.i386.rpm

    即可实现安装。

    对于源代码方式首先需要从http://www.mrunix.net/webalizer/下载,然后安装,首先解开源代码包:

    tar xvzf webalizer-2.01-10-src.tgz

    在生成的目录中有个lang目录,该目录中保存了各种语言文件,但是只有繁体中文版本,可以自己转换成简体,或者自己重新翻译一下。然后进入生成的目录:

    cd webalizer-2.01-10
    ./configure
    make --with-language=Chinese
    make install

    编译成功后,会在/usr/local/bin/目录下安装一个webalizer可执行文件。

    5.2 配置和运行
    对webalizer运行的控制可以通过配置文件或者在命令行指定参数的两种方式进行。而使用配置文件方式是比较简单和灵活的,适用于自动web服务器日志统计分析的应用环境。

    webalizer的默认配置文件为/etc/webalizer.conf,当启动Webalizer时没有使用“-f“选项时,Webalizer就会寻找文件/etc/webalizer.conf,也可以使用“-f”来指定配置文件(当服务器有虚拟主机时,就需要配置多份不同的webalizer配置文件,不同的虚拟主机的webalizer使用不同的配置文件。Webalizer.conf配置文件中需要修改的配置选项如下:

    LogFile /www/logs/secfocus/access_log

    用来指示配置文件的路径信息,webalizer会将该日志文件作为输入进行统计分析;

    OutputDir /www/htdocs/secfocus/usage

    用来指示生成的统计报表的保存目录,在前面我们使用alias,使得用户可以使用http://www.secfocus.com/usage/来访问统计报表。

    HostName http://www.secfocus.com/

    用来指示主机名,统计报表中会引用该主机名。

    其他选项就无需修改,配置文件修改完毕以后,就需要在定时webalizer,每天生成当日的统计分析。

    以root身份运行:crontab –e 进入定时运行任务编辑状态,加入如下任务:

    5 0 * * * /usr/local/bin/webalizer –f /etc/secfocus.webalizer.conf
    15 0 * * * /usr/local/bin/webalizer –f /etc/tomorrowtel.webalizer.conf

    我们这里假设系统运行有两个虚拟主机,并分别定义了日志分析配置文件secfocus.webalizer.conf和tomorrowtel.webalizer.conf。这样我们定义在凌晨00:05对secfocus的日志进行统计分析;在凌晨00:15对tomorrowtel的日志进行统计分析。

    然后第二天分别使用http://www.secfocus.com/usage/和http://www.tomorrowtel.com/usage来察看各自的日志分析报表。

    六、保护日志统计分析报告不被未授权用户访问
    我们肯定不会希望自己网站访问统计信息随意被别人浏览,因此需要将usage目录保护起来,只允许合法用户访问。这里可以采用apache自带的基本的认证机制,配置以后再连接这个地址就会需要用户提供密码才能访问该页面:


    1、条件

    在配置文件中对目录"/"应该设置为:

    DocumentRoot /www/htdocs/secfocus/
    AccessFileName .htaccess
    AllowOverride All

    2、需求

    需求:限制对http://www.secfocus.com/usage/的访问,要求用户认证才能访问。这里设置用户为"admin",口令为"12345678"。

    3、使用htpasswd建立用户文件

    htpasswd -c /www/.htpasswd admin
    此程序会询问用户"admin"的口令,你输入"12345678",两次生效。

    4、建立.htaccess文件

    用vi在/www/logs/secfocus/usage/目录下建立一个文件.htaccess,写入以下几行:
    AuthName admin-only
    AuthType Basic
    AuthUserFile /www/.htpasswd
    require user admin

    5、测试

    这时候通过浏览器访问http://www.secfocus.com/usage就会弹出框请求输入用户名和口令,这时候输入admin、12345678就可以才可以访问访问日志统计分析报表。


    展开全文
  • FineReport数据系统的总体流程为:整合和获取数据,将数据应用于报表的开发,将开发完的报表进行逻辑展示处理和部署,最后呈现给使用者使用。 开发报表的过程中,必须结合企业流程和企业内部的系统数据,进行统一...

    连锁百货企业数据分析系统建设方案


    数据系统建设方案

     

    FineReport数据系统的总体流程为:整合和获取数据,将数据应用于报表的开发,将开发完的报表进行逻辑展示处理和部署,最后呈现给使用者使用。

    开发报表的过程中,必须结合企业流程和企业内部的系统数据,进行统一搭建,最终要求开发出一个结合了各个系统数据的报表决策平台。开发过程中坚持“契合需求,方便高效”的原则,为企业员工、管理者以及决策者提供一个实用、方便、高效的工具。

     

    1.1方案概述

     

    本章将按照建设目标,从业务展示对象和BI分析对象两部分对整个数据系统进行阐述, 包括门店业务主题、库存主题、财务主题、人事主题、客户主题等。围绕需要哪些数据、如何整合数据、从哪些维度展示和分析、需要什么交互条件等主要问题。

    wKiom1aXEwaxQRVrAAVzpTKYZpk918.png 

    1.2业务展示对象

    业务展示类报表主要面向企业各门店的员工以及管理者,可以有效减轻企业员工及管理者在数据录入、处理上的工作量,优化并流畅各门店的运营。

    1.2.1门店业务主题

    门店是连锁行业的基本组成单元,其重要性不言而喻。专业、系统及标准化的门店管理是连锁企业持续赢利、发展的根基,是门店竞争力的核心禀赋。所以针对各门店的业务报表也是其它报表以及分析工具的基础。

     

    1.2.1.1店付款填报单

     

    根据调研,企业各门店的收入款项不仅需要在Hairdes System中录入,而且还需要填写“XX中心XX月工作汇总表”中的多个sheet。这样导致查询历史数据非常麻烦、不利于数据的存档规整、制作成本太高,浪费有效人力资源等很多弊端。

    FineReport支持多源展示,多源填报功能,一张填报单的数据可以应用于“门店业务月报”、“收入明细表”、“员工绩效考核表”等所有报表,达到“一次填报,随意取用”的效果。轻松解决以上弊端。

     

    信息部门只需根据企业需要统计的付款项目,设计一个填报表单,就可以轻松解决填报烦、查询难、分析复杂等问题。

    wKiom1aXEyiw1XqZAAAy8Ujaw2U798.png

    填报项目包括:

     付款编号(自动填报)

     付款时间(自动填报)

     客户名称

     会员ID

     付款数额

     付款方式(下拉框)

     咨询主任(自动填报/下拉框)

     造型师(自动填报/下拉框)

     店长(自动填报)

     门店(自动填报)

     付款项目(下拉框)

     ……

     

    填报的数据存入统一的数据库,企业根据自己关心的数据项目,利用Finereport,只需拖拽等简单操作,就能轻松制作“门店业务月报”、“收入明细表”、“员工绩效考核表”等报表。

     

    1.2.1.2门店业务月(年 周)报

     

    企业根据自己的业务需求,对各门店的业务进行统计

    统计层次可包括:

       发片发套

       洗发染发

       护理用品

       客户数量

       会员数量

       ……

     

    统计内容可包括:

       销售金额

       上月环比

       占比

       排名

    wKioL1aXE6Oy98q6AAEFFm0WnsE651.png   ……

     

     

    当业务进一步扩大,门店增多时,为方便统计查询,还可以根据具体需求设定参数

    可选参数包括:

       地区

       城市

       门店

       日期

       产品类型

       ……

     

    FineReport提供包括“文本控件”“下拉数控件”“下拉复选框控件”“日期控件”在内的18种参数控件,并且可以根据需求设定下拉框参数联动、复选框参数联动、动态列查询、模糊查询等多种查询方式,完全满足企业的个性化需求。

    wKioL1aXE7rgxX2HAABJaa73cB8981.png

    wKioL1aXFEnANCJJAABFugBt2ts037.png

    报表权限:

    当数据涉及权限时,可以对不同模版,模版的不同行、列设定权限参数(FR的权限可以具体到每个单元格),工作人员只能看到自己权限范围的内容。

    wKiom1aXFASAXHvYAABoIxZy5SQ816.png

    (江苏的门店只能看到江苏地区的销售人员)

    wKioL1aXFFiTH9uSAAEhXLdfFMY184.png


    数据钻取:

    当需要查看门店的详细信息时,可设置数据钻取

    FR支持包括“多维数据钻取”,“无限层次钻取”,“不浏览模版直接导出”等多种钻取方式。

    wKiom1aXFEbBil0gAANsOs2AmEg700.png(点击具体门店,可钻取该门店的收入明细表、咨询记录表、员工考勤表……)

     

    1.2.1.3门店收入明细表 咨询记录表:

     

    XXXX月收入明细表:

     wKioL1aXFI2gsFJ7AAClK9tMS0g702.png


    XXXX月咨询记录表:

    wKiom1aXFIORAlHnAACRrQ3jcbs108.png

    1.2.2 库存主题

    在任何企业的运营管理中,库存管理永远是一个重要的主题。

    库存过高将占用企业运转资金增加企业负担并有报废贬值风险。
    库存过低无法满足订单的灵活性,订单交货周期将加长,降低企业竞争力。
    所有企业都希望库存是零或接近零

    因此企业必须对库存进行实时的监控和管理。对于库存的展示及分析,必须是整体而且细致的,需要同时掌握库存静态数据、动态变化和价值结构。

     

     

    1.2.2.1发片库存表

     

    wKioL1aXFPuCblQOAACaFh_442s815.png 

    1.2.2.2辅助产品库存表

     

    wKioL1aXFQax3_qZAADHBxAhXPY617.png 

     

    1.2.3财务主题

     

    在企业内部的管理及业务营运过程中,除了最基本的进、销、存三个基元,财务主题更是最直接反应企业的营运状况。随着企业的不断发展,其传统的 Excel 制作财务报表方式已经 进入瓶颈,表现在如下几点:

    1) Excel 直接操作数据的方式受人为因素影响过大

    财务数据反映的是企业最基本的财务运营状态,一个小的数据出错往往对企业照成不可估量的损失。

    2 耗费大量人力财力和时间

    由于 Excel 操作方式零散、复杂的特点,使得往往简单的计算要耗费掉财务人员无数的时间和精力。

    3 重复工作量大 

    企业的发展要求财务人员每个周期内需要出来不同指标的数据,随着企业的不断发展, 该周期不断被缩小,造成财务人员每天在耗费大量的精力去做重复的工作。

     

    FineReport 采用系统计算的方式,将财务报表的各项指标通过逻辑算法纳入系统中,减少财务人员的重复工作量,避免出现人工的数据错误,从最大程度上,减少财务人员的负担,增加企业财务数据处理效率。

    财务主题包含企业营运的各个方面,渗透在本文档所写的所有主题中,因此本节仅描述一些财务方面特有的几个模板例子,展示一些常用的财务报表。

     

    1 增值税明细账

    将增值税的各项指标展示在web报表页面,并通过设定好的算法由系统计算出增值税明细。

    wKiom1aXFRDgLNZbAAEAQO6hvcM992.png 

    1) 总分类账

    通过数据分类重复工作量得。

    wKioL1aXFVGQPgdtAACYqrTipGg858.png 

    3 明细分类账

    在总化分容,以 web高使效率。

    wKiom1aXFUvw-PtNAACUKzGZ8R8854.png

    4 科目余额报表

    以月基准汇总,并上月情况,便比。

    wKioL1aXFbfA5IV4AABzFhfof_4668.png 

    5 付款凭证

    以付系统存数输出,方便并可出  ExcelwordPDF 

    wKioL1aXFcnD86iHAACdpPd3WY4802.png 

     

    6 记帐凭证

    通过、月记账不断 操作

    wKiom1aXFajxLB0bAACAfkIyNCI637.png 

     

     

    1.2.4人事主题

    随着企业人员的不断扩大,如何合理搭建完善的人事制度、调整人力资源结构、规划企业员工职业发展等问题对企业的长远发展将产生巨大的影响。

    利用FineReport强大功能,可以轻松制作多项目、交互的人事报表。

     

    1.2.4.1员工基本信息表

     

    FineReport操作界面:

    wKiom1aXFc-R0TXyAABnvwrlvE4470.png 

     

    wKiom1aXFfKDjFf2AAEGeITzpIk404.pngWeb浏览器展示界面:

     

     

    1.2.4.2人事变更月报

     

    人事变动月报涵盖维度包括:

     招聘相关招聘职位

     招聘相关招聘人数

     招聘相关应聘人数

     招聘相关报道人数

     招聘相关起讫时间

     人员流动相关流动类型

     人员流动相关试用期

     人员流动相关时间范围

     人员流动相关合计人数

    出勤考察状况可供选择的条件为:月份

    展示效果如下:

    wKioL1aXFk2BjWAsAAGFJvZb2B4625.png 

    1.2.4.3员工考勤表

     

    基本员工考勤表:

    wKiom1aXFiySBQKTAACUpeULV8M987.png 

     

     

    1.2.4.4员工薪资表

     

    “员工薪资表”可以直接抽取数据库数据,通过公式自动计算,免除了多次填报计算的麻烦。

     

    wKiom1aXFm7DJ98QAACMSLpiSoY178.png

    wKioL1aXFveinBxgAABPag5Bc38153.png 

    1.2.4.5店总绩效考核表

    企业可以根据自己的店总或高管考核标准,使用FineReport,轻松制作KPI考核表。

     

    分店总经理KPI考核表:

    wKioL1aXFtnDCUqgAAPdUq1TeBc929.png 

    参考维度

     财务层面

     客户层面

     内部运营层面

     学习成长层面

     ……

     

     

    1.3 BI分析对象

     

    FineReport 不仅是一款高效的数据展示工具,而且是一款高端的数据分析工具。FineReport 数据系统通过集成企业门户平台、规范企业信息资源,为企业提供了良好的信息获取渠道,帮助企业从不同维度把握企业现状,并且通过高端的分析工具,辅助决策者合理预测企业发展。

     

    决策中心——CEO桌面


    wKiom1aXFvjBusknAAFgrasbdt8379.png

     

     

     

     

    1.3.1销售分析

    销售分析结构图(仅供参考):

     

    wKiom1aXF1CgMxtAAAa7M3ifYss131.png 

     

     

    1.3.1.1销售总体概况

    wKioL1aXF5zxWdHXAAK_n6463G0614.png 

    1.3.1.2时间维度统计销售

     

    wKiom1aXF5STshjXAAE4h_WZ1sk810.png

    1.3.1.3地区维度统计销售

     

     

    wKiom1aXF9Pj9qUeAAD5JLNk5io279.png1.3.1.4具体门店销售情况

    wKiom1aXF_HR2iTkAAJhqnSRRmk595.png

    1.3.2财务分析

    财务分析结构图(仅供参考):

     

     

    wKioL1aXGFvweJ-IAAZcE3eVG5g688.png 

    1.3.2.1财务分析首界面

    wKioL1aXGG6gXo_FAAFbE_4A7bA721.png

    1.3.2.2财务分析——盈利能力分析

    wKiom1aXGF6yuFfTAAgCNU4-s1A117.png

    1.3.2.3标准收益分析

    wKioL1aXGKmwYSfUAAJSay2b_qo263.png

    1.3.3 人事分析

     

    人事分析结构(仅供参考):

     

    wKiom1aXGJmzVxMqAAGyCxS-9rg106.png

    1.3.3.1各部门年龄分析

     

    FineReport操作界面:

    wKiom1aXGNHz2daVAACno6l3KJE891.png 

     

    Web浏览器展示界面:

    wKiom1aXGN7z57xIAADqEzBSXeY355.png 

    1.3.3.2各部门员工考勤分析

     

    动态折叠树分析查看各部门员工考勤:

    A:

    wKiom1aXGO3x1Ga6AABiNvfIi9s101.png 

     

    B:

    wKiom1aXGPzgCyCLAABlJjKKmzk210.png 

     

    C:

    wKiom1aXGRPSTFHbAACYVjfB4p8340.png

    1.3.3.3各部门员工学历/工资分析

     

    wKioL1aXGXTyf4ueAAVQy4Rd3Oo092.png 

     

    1.3.3.4优秀销售员分析

     

    wKiom1aXGVOzxoZRAADIkokTVR4784.png 

     

    1.3.4 客户分析

     

    分析纬度:

     客户年龄结构分析

     性别分析

     会员/非会员

     消费区间分析

     消费结构分析

     ……

     

    客户年龄结构分析:

    wKiom1aXGZiBFaeYAABeBB1Vvzk701.png 

     

    客户性别分析:

     

    wKioL1aXGdfDeOMWAAA1cgi-Xhk913.png 

     

     


     

    展开全文
  • 绝对干货:保险公司决策分析系统建设方案

    千次阅读 热门讨论 2014-05-22 15:28:38
    绝对干货:保险公司决策分析系统建设方案 本文由CSDN博主IT小牛吐血打造,亲身经历,独家报道,第一视角呈现、解读保险公司决策分析系统建设的背景、实现目的是哪些,其项目建设方案又是如何。绝对干货,绝对超值!...
  • 大多数制造业企业几年前...使用工业生产ERP系统统计分析相关工作的效率、准确性有了明显的提高,同时还降低了企业严重依赖于个人员工经验的风险、提高了企业竞争力。那么统计分析到底有哪些功能呢?下面以智邦国际...
  • 医院院长查询系统 目前,大中型医院的信息处理正从传统手工方式飞速向电脑信息化建设方案转变,一个大中型医院担负着繁重的医疗和科研任务,以及繁杂的事务性工作,院长必须时刻与各科室保持密切的连续,以便随时...
  • 【案例实战】餐饮企业分店财务数据分析系统解决方案:业务需求一、建设目的某餐饮集团需要将每个分店的财务状况进行分析,目前使用的是excel来存储查看各区域的收入情况,每个区域各年月的收入情况汇总数据都是通过多...
  • 压力性能测试是软件测试当中非常重要的一部分,也是比较复杂,耗时的一个测试类型。...该解决方案利用了数理统计的方法,巧妙的解决了性能测试数据分析的问题,并且提供了一套完整的持续集成方案
  • 目录前言1,关于Golang 统计系统2,使用 dataframe-go3,使用 go-talib3,使用 go-talib4,总结 前言 相关Golang 全部分类: https://blog.csdn.net/freewebsys/category_2120333.html 本文的原文连接是: ...
  • 【案例实战】餐饮企业分店财务数据分析系统解决方案:系统功能开发建设目的某餐饮集团需要将每个分店的财务状况进行分析,目前使用的是excel来存储查看各区域的收入情况,每个区域各年月的收入情况汇总数据都是通过多...
  • 大数据平台日志存储分析系统是在大数据平台下,针对业务系统产生的日志记录进行存储和分析。日志数据来自ElasticSearch存储的日志历史数据,并将需要存储和分析的日志数...
  • 国内某电网公司开发计量生产分析系统,负责对计量装置的生产、调度全过程进行监控,并提取历史业务数据、统一汇总所有供电单位的用表需求,根据各项需求的具体情况进行智能分析,科学调度各个库房的设备配送、检定...
  • 将mysql的数据转存到Hadoop做实时统计分析,应该采用怎样的解决方案
  • 3.离线分析系统架构图 三、技术实现 1.Hadoop CDH集群管理平台 2.Flume采集服务器日志数据到HDFS 3.Spark SQL清洗数据 4.建立Hive仓库并导入清洗完的数据 5.HQL统计分析PV、UV数据 6.Sqoop同步数据 7.代码...
  • 常用统计分析软件介绍

    万次阅读 2018-03-08 08:45:12
    SAS 是英文Statistical Analysis System的缩写,翻译成汉语是统计分析系统,最初由美国北卡罗来纳州立大学两名研究生开始研制,1976 年创立SAS公司, 2003年全球员工总数近万人,统计软件采用按年租用制,年租金收入...
  • ORACLE 统计分析

    千次阅读 2012-12-02 14:30:06
    ORACLE 统计分析 统计分析主要包括产生表及索引的统计信息 表的统计信息主要包括表的行数,每行的平均长度(字节),空闲块,统计时间等信息 索引的统计信息主要包括行数、层数、叶块数、统计时间等信息。 ...
  • 实时统计分析技术浅谈

    千次阅读 2013-05-22 08:40:32
    实时统计分析技术主要是为了满足数据应用中大家对数据的变化情况有一个较高时间灵敏度需求的情况。应用要求能够近乎及时的反映数据的整体变化情况。那么实时统计分析的核心关键点是实时性,也就是性能。其还伴有另一...
  • 16种常用统计分析软件介绍

    万次阅读 2019-05-13 18:41:19
    SAS 是英文Statistical Analysis System的缩写,翻译成汉语是统计分析系统,最初由美国北卡罗来纳州立大学两名研究生开始研制,1976 年创立SAS公司, 2003年全球员工总数近万人,统计软件采用按年租用制,年租金收入...
  • matlab统计分析

    万次阅读 2017-06-20 19:33:19
    由于对matlab当中的统计分析的工具箱不太熟悉,现在想测试一下 1、概率分布 随机变量的统计行为,就是他的概率分布。分别是 概率密度函数 pdf 表示的连续分布,每个点在这个范围的可能性。 累积分布函数...
  • http://topic.csdn.net/u/20090701/11/2599adb6-32ef-4688-9235-5015461a4a65.html 不显示删除回复显示所有回复显示星级回复显示得分回复 [推荐] 讨论下:你碰到的业务系统中,报表统计功能如何组织()
  • 关于聚类分析、判别分析、主成分分析、因子分析 主成分分析与因子分析的区别   1. 目的不同: 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子和仅对某一个变量有作用的特殊...
  • 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析、百度统计 和 腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于...
  • 制药企业BI系统方案整体设计分享

    千次阅读 2015-12-07 11:11:30
    支持对制药企业价值链的信息数据的分析与价值发现,为决策管理、经营管理、业务活动的优化提供真实的数据依据,控制风险,辅助企业管理优化、战略抉择、创新转型。掌控制药企业的各种业务活动,及时准确的展现它们的...
  • R语言与统计分析

    万次阅读 2015-12-16 11:20:29
    R语言与统计分析 汤银才 主编 高等教育出版社 二○○八年五月 内容介绍 本书以数据的常用统计分析方法为基础,在简明扼要地阐述统计学基本概 念、基本思想与基本方法的基础上,讲述与之相对应的R函数的实现,...
  • 系统设计:关于高可用系统的一些技术方案

    万次阅读 多人点赞 2017-09-17 09:22:32
    系统设计关于高可用系统的一些技术方案 高可用方法论 扩展 隔离 解耦 限流 分类 漏桶算法 令牌桶算法 滑动窗口计数法 动态限流 降级 熔断 发布相关 模块级自动化测试 灰度发布 回滚 其他 总结 参考资料 ...
  • Druid (大数据实时统计分析数据存储)

    万次阅读 2016-12-18 09:48:14
    原文见此 : Druid White PaperDruid 是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层,一个分布式、shared-nothing的架构,和一个高级的索引结构,来达成在秒级...
  • 美容美发管理系统方案

    千次阅读 2009-08-22 16:14:00
    美容美发管理系统方案 第一篇 美容店管理系统实施意义1.为美容店引进规范化、系统化的管理模式,实现专业化、流程化、科学化的管理,从而创造利润最大化,并为行业建立一套科学的管理模式和赢利模式。2.信息化的...
  • 常用的数据统计分析软件

    千次阅读 2015-03-23 11:59:23
    数据分析工具最常用的就是Excel,主要用于统计分析和数据挖掘。Excel功能非常强大,几乎可以完成所有的统计分析工作。常用的数据分析工具有SPSS/Clementine/SAS/Origin/Matlab等等。 SPSS(IBM) SPSS是世界上最早...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 190,682
精华内容 76,272
关键字:

统计分析系统方案