精华内容
下载资源
问答
  • 从分析当前大学英语视听说的教学现状入手,阐述了以TBLT为基础的英语视听说翻转课堂的构建与实施,并进一步指出这种新型教学模式所带来的优势和挑战,以期为大学英语视听说教学更为合理、有效地利用翻转课堂模式提供...
  • 精细化管理是企业从粗放型管理转向集约型管理的有效途径,梨园矿将精细化管理的理论运用到班组建设中,构建了梨园矿班组精细化"五要素"管理模式,即:班组安全管理精细化;班组现场管理精细化;班组成本管理精细化;班组...
  • 探索健全和完善基于价值创造的权责明晰的母子公司管理体制,徐矿在总结试点矿井运行经验的基础上,全面推行徐州矿区矿井自营管理,科学有效地还原矿井作为相对独立的市场主体运营发展职能,消除了矿井市场之间距离,...
  • 以山东某煤矿为研究背景,介绍了传统安全管理精益安全管理的区别,明确了精益安全管理的概念。根据过程防错理论方法,设计了煤矿过程防错体系及防错流程,结合煤矿实际建立了一套内容齐全的煤矿防错技术方法。
  • 探讨“双师驱动”工作模式在服装自主品牌企业发展中的重要性和必要性,并对目前在服装企业中实施“双师驱动”最主要的障碍:“制版师”人才设计师之间的不平衡现状进行了调研和剖析,提出了从国家、行业和企业以及...
  • 围绕新型干法水泥设备巡检岗位能力要求,以新型干法水泥设备为载体,进行学习任务开发,使课程 理论知识、技能操作工作任务紧密联系;构建实施基于新型干法水泥设备巡检的“项目引导、任务驱动三 段式”教学模式
  • 通过对井下人员定位系统运维管理上存在问题进行梳理和管理模式的调研,构建出一套行之有效的井下人员定位系统管理体系。重点阐述了管理体系的制度建设、统一模板、技术培训、"菜单式"检查、信息系统、煤矿自主管理等...
  • 应用物理学专业实践教学体系是依据应用型人才培养的特点构建起来的,它包括了实验教学、实习实训、创新实践等多个方面,尤其在实习、实训的环节上将学生的“学”企业的“产”密切结合起来,实现“学”“研”、...
  • 确立应用型人才培养的理念,构建"开放式"实践教学资源平台和实践教学体系,探索实施"基础层、实践层、综合应用层"的人才培养方案。专业实践及就业信息反馈表明,应用型人才培养模式下的"开放式"实践教学成效显著,学生...
  • 对于很多企业而言,大数据的重要性不言而喻,但是如何构建实施和应用大数据系统却是一个复杂工程。本书让读者认识到大数据不仅仅是数据、技术、架构、应用,更是结合了商业模式、战略定位、信息安全、单位协同、...
  • 模式主要包括实习基地的选择建立,教学指导思想教学原则的转变,实习前期、中期、后期中具体工作的开展,教学模式的评价等内容.模式实施有利于培养和提高学生的科学研究素质和实践创新能力,同时取得较好的...
  • 针对国家提出的加快煤层气地面开发和推广煤矿"先抽后建"理念,分析了新建突出煤矿"先抽后建"的基本特征,构建了"先抽后建"的时间-空间-安全条件模式模型政策落实-技术研究-工程实施路径图,并对官寨煤矿工程实例进行...
  • 基于《纲要》实施与构建大学体育教学平台探析,鲁飞,,传统体育课程模式和运行机制难以承载《全国普通高等学校体育课程教学指导纲要》所赋予的任务。以培养学生体育创新精神和实践能力
  • 本文分析国家对工程人才培养的标准和要求,考虑企业对服装人才的需求,...提出“3+1四模块”服装人才培养体系,完成课程体系、实践教学体系、企业培养方案构建,为全面提高服装人才的工程化培养提供了可行的实施办法。
  • 校企联合培养是卓越工程师计划得以顺利实施的重要平台,通过对当前机械专业卓越工程师培养现状进行分析,明确校企合作培养模式的原则,探讨通过构建学习并进的理论和实践培养体系完善高校企业联合教学的新机制,形成...
  • 本文根据国务院教育改革和发展纲要的精神,结合地方高校自身发展的条件,从地方高校的定位发展、培养方案等方面对地方高校人才培养模式构建进行分析,提出要在以学生为本的教育教学思想指导下,制订培养方案,结合...
  • 研究生导师作为国家实施研究生教育的...通过导师自身素质人格魅力的提高、高水平导师团队的组建、考核评估机制的有效引导等举措,积极依托学科建设平台,实施研究生联合指导,构建研究生导师队伍建设可持续性发展模式
  • 探索有效的实验实践教学方法人才培养模式,提高人才培养质量,是高校教育的重要任务。根据人才培养的不同类型,结合社会的发展需要,提出了“分层次按需求的实验实践教学”模式。从创新类课程设置、“三位一体”...
  • OAA概述OAA工作模式联动及;传统网络模式面临的挑战需选择不;开放应用体系架构OAA路由交;OAA的优势传统网络设备1~3;开放业务平台OAP开放的软;OAP体系架构及模块独立业务组;主机模式15234报文到达路由;镜像模式报文...
  • 从会计标准的一次性制定、后续修订完善和体系构建,以及管理惯例、监管施行的成本成效等角度分析两种模式的利弊,认为最节约资源的模式当属我国目前采用的“资产减值准则相关具体准则相协调的模式”。五年来的实施...
  • 讨论了大学英语教学的现状,提出了以人为本的大学英语课堂教学管理模式及其具体的实施策略,指出人性化的课堂管理模式符合语言教学的内在规律,能够在一定程度上解决英语课堂教学中教学的矛盾,有效激发学生的学习兴趣...
  • 国防工业科技成果转化知识对接模式实施路径,刘希宋,李玥,知识对接是科技成果转化知识管理至关重要的步骤。本文明确了国防工业科技成果转化知识对接的内涵、目标功能,构建知识对接的传
  • 通过调查分析,总结当前经验,提出新形势下大学生心理健康教育的新模式,即针对学生特点实施心理健康教育,把心理健康教育渗透于课堂教学的部分情境之中;建立高素质、专兼职结合的师资队伍;建立大学生心理健康教育...
  • 根据CDIO工程教育理念,分析了机械基础课程之间的联系和存在的问题,在此基娜出上通过合理选摘受计项目,并以设计项目为载体,构建了基于CDIO理念的课程一体化培养模式,讨论并实施了相应的改革方案及措施,取得了阶段性...
  • 日前,美国总统拜登签署“改善国家网络安全行政命令”,强调了联邦政府必须果断实施零信任...传统防护体系基于“边界”构建,默认边界以内,人、设备、系统网络环境均可信;边界以外,均不可信。然而由于新场景层...

    日前,美国总统拜登签署“改善国家网络安全行政命令”,强调了联邦政府必须果断实施零信任架构等措施以加速网络安全现代化。

     

    伴随企业业务上云、数字化转型落地等技术变革,传统网络边界被打破造成新的安全困境。当传统安全建设的“守成者”力不从心,不受制于边界的零信任架构成为更有潜力的“破局者”。白山云基于十年安全行业经验,持续寻找新场景下的安全最优解

     

    传统安全防护“守成者”危机四伏

     

    传统防护体系基于“边界”构建,默认边界以内,人、设备、系统与网络环境均可信;边界以外,均不可信。然而由于新场景层出不穷,传统网络安全架构在日益严峻的新挑战下险象环生。

     

    • 内部风险:传统安全访问控制采用粗粒度授权,攻击者一旦进入内网,企业则无法应对其在内部的横向攻击;同时内部“合法用户”的威胁,也否定了基于边界区分是否“可信”的有效性。

    • 外部风险:云计算、物联网、远程办公等技术落地,各类应用分散部署在不同公有云、私有云及本地IDC。越来越多的应用在网络边界暴露业务端口,增加了数据暴露面,被攻击风险大幅上升。

    • 安全管理难度大、IT建设效率低:通过堆叠部署不同维度的安全产品建立的统一安全边界,其“创可贴式安全”提升了IT复杂性,导致网络管理难度加大。

     

    为应对传统边界防护面临的风险及挑战,网络安全建设亟需新架构加持,于是强调“永不可信,始终验证”的零信任理念备受关注。

     

    零信任理念正在成为“破局者”

     

    作为新一代网络安全防护理念,零信任并非单一的安全技术或产品。其目标是降低资源访问过程的安全风险,防止未经授权的资源访问;核心是打破信任和网络位置的默认绑定关系。零信任将防护从依靠网络边界的“马奇诺防线”向个体保护目标收缩,把防护重心从网络转移到资源本身。

     

    行业普遍认为零信任架构需遵循以下原则:

     

    • 始终假定网络是危险的;

    • 始终警惕存在外部和内部威胁;

    • 仅凭网络位置,不足以决定网络信任度;

    • 所有设备、用户和网络流量均需经过检查、身份认证和授权;

    • 策略必须是动态的,并基于尽可能多的当前状态信息得出。

     

    NIST在《零信任架构》中提出了零信任概念架构模型:

    图片

    注:图片引用自NIST《零信任架构》

     

    访问者访问企业资源时,需通过存在于控制平面、数据平面的策略决策点与策略执行点授予访问权限。

     

    • 控制平面:策略决策点作用于控制平面,拆分为策略引擎和策略管理器;

      Ø  策略引擎负责最终决定是否授予访问者对资源的访问权限;

      Ø  策略管理器负责建立或切断访问者与资源的通信路径;

    • 数据平面:策略执行点作用于数据平面,负责启动、监控、终止访问者与资源的连接。

     

    作用于控制平面的策略引擎进行访问决策时,还需其他数据源提供输入和策略规则,包括:CDM系统、行业合规系统、威胁情报源、网络与系统行为日志、数据访问策略、公钥基础设施、身份管理系统、SIEM系统等。

     

    白山云零信任理念实践

     

    白山云安全团队基于对零信任的理解和深入研究,整合现有边缘云平台的安全能力,推出白山云零信任产品方案。

     

    参考零信任架构体系,白山云零信任产品方案也从控制平面和数据平面两方面实现:

     

    • 控制平面:收集各个节点的检查结果,通过策略引擎进行持续信任评估和分析决策,最终根据决策结果判断下一步访问请求的动作;

    • 数据平面:通过在用户设备上安装的客户端对设备进行安全检查,确保设备接入的安全性;同时将流量引至白山云边缘节点,发挥边缘节点所具备的安全能力,对过往流量进行检查过滤,阻断恶意请求;另一部分访问流量则通过身份认证和权限识别后,最终访问授权应用。

     

    基于两大平面进行五项判断,完成可信性确认与动态信任评估:

    • 确认设备可信:基于客户端、第三方安全检查产品进行设备安全检查,确认接入设备是否可信;

    • 确认行为可信:在边缘节点先行检查所有流量,并结合威胁情报与恶意软件分析技术,实现针对恶意请求和内容的阻断,同时将相关访问行为记录上传策略引擎持续分析,确保行为可信;

    • 确认身份可信:结合身份管理组件,对每一个访问请求进行持续身份认证,保证授权访问应用的身份可信;

    • 确认应用可信:授权访问应用隐藏至白山云边缘后端,实现应用完全隐身;

    • 动态信任评估:UEBA引擎基于环境/行为/身份等信息进行持续信任评估,动态调整访问权限;

     

    借助零信任理念,白山云帮助企业实现动态控制与授权、资产集中管控、降低IT复杂度,全面强化安全能力建设

     

    目前白山云已为银联商务、中集集团、万达集团、新东方、小红书等客户提供安全解决方案,服务覆盖政务、金融、制造、地产、互联网等三十余行业。未来,白山云将持续推进零信任实践,筑牢安全基础,完善跨行业、跨场景的解决方案,助力企业数字化转型。

     

    关于白山云

     

    白山云科技是全球领先的边缘云服务商,提供中立的基础设施、云原生安全、开发者引擎等产品及服务。结合企业数字化转型的云化需求,以及5G和IoT应用落地场景,白山云致力于为全球企业客户提供跨行业不同应用场景的解决方案。

    展开全文
  • #super-object-mapper 随时灵活地实施任何模式。 SuperOM是对任何对象(白名单字段)的架构... 在使用此模块构建了少量应用程序之后,弹出了一些模式-Super Object Mapper打算使用简单的API展示这些模式。 #用法
  • 本节书摘来自华章计算机《企业大数据系统构建实战:技术、架构、实施与应用》一书中的第2章,第2.1节,作者 吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第2章 企业...

    本节书摘来自华章计算机《企业大数据系统构建实战:技术、架构、实施与应用》一书中的第2章,第2.1节,作者 吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

    第2章

    企业大数据职能规划

    第1章我们介绍了企业大数据在宏观和微观层面的定位,立足于解答企业大数据的商业模式、市场机会、延伸价值、内部功能定义等问题。当企业已经确定要实施大数据战略时,应该如何针对性地建立职能架构体系以保证企业大数据的有效实施和落地?各个职能部门的职责范畴如何定义?不同体系和部门间如何协同和流程化工作?

    本章将详细讲解企业大数据职能规划体系,包括如何定义大数据部门在企业中的角色,常见的大数据职能及职责分工,不同职位的职责划分以及大数据制度和流程建设等问题。

    2.1 大数据组织架构体系

    要建立适合企业的大数据组织架构,首先要明确大数据部门在企业中的角色。不同的角色对应到企业内部会有不同的架构方式和职能定位。

    2.1.1 大数据部门在企业中的角色

    大数据部门泛指大数据中心、大数据部门、大数据组甚至是个体员工,它代表一类群体的角色扮演。按照大数据部门在企业中的不同角色和存在特征,可比喻为以下四类:路人、侍从、灯塔、先知。

    1.路人

    路人是指大数据部门处于企业边缘,其存在属于可有可无的境况,这是一种危险的企业处境。

    目前很多企业的大数据部门都处于这类角色中,其实质是由于企业主观上对数据不敏感、不听、不信以及缺乏数据工作文化等原因,以及客观上缺乏有效的流程和制度约束、有经验的数据工作人员以及有价值的数据产出,导致大数据部门的存在与否无关紧要。

    这类角色通常在企业中有以下几种行为和职能特征:

    • 数据部门的职能定位不清晰,发展规划不明确,部门建设毫无方法可言;
    • 缺乏有效的数据工作目标和数据价值产出;
    • 数据工作从未参与企业运营落地环节,更无法渗透到企业核心业务流程;
    • 数据部门缺乏“大领导”,无法直接跟企业C-Level的领导层进行汇报;
    • 数据部门通常都是由个人或少数员工从事,甚至由运营人员兼任。

    对于大数据部门是否处于这种状态,通常只需回答一个问题:“如果没有大数据部门,企业会损失什么?”如果无法准确回答或含糊其辞,那么这个答案就是肯定的。

    2.侍从

    侍从,即随从侍奉,这体现了大数据部门角色定位于企业辅助层面。侍从的角色相对于路人有明显的提升,该角色已经处于有明确工作需求的状态;但与此同时,大数据部门的这种状态也存在明显的问题:缺乏独立和自主性,侍从从来都不会自己决定去做什么,而是等待被分配工作和任务。同样,在企业中的大数据部门也无法决定企业在业务层面应该做什么、怎么做等问题。这种角色通常提供的职能包括如下几个方面:

    (1)数据管理

    数据管理工作包括:数据配置管理、数据权限管理、用户权限管理、数据导入管理、数据导出管理。

    • 数据配置管理:主要进行数据存储、安全、排除设置、并发控制、进程控制、结构控制等管理工作。
    • 数据权限管理:主要进行数据保存、新增、删除、更新、备份、合并、拆分、导出、打印等管理工作。
    • 用户权限管理:主要进行用户新增、删除、重置、过期设置、共享、安全等管理工作。
    • 数据导入管理:主要进行数据导入格式、时间、条件、规则、异常处理、记录数、来源等管理工作。
    • 数据导出管理:主要进行数据导出格式、时间、条件、规则、记录数、加密、位置等管理工作。

    (2)数据查询

    很多企业的数据都在IT中心进行统一管理,而大数据部门也属于IT眼中的“业务部门”。由于大数据部门天生具有接触数据和处理数据的需求,因此很多时候也会被开放某些附属库、从属库或复制库的权限。某些情况下,大数据部门也会承担类似“取数”的功能,这类需求在某些情况下会频繁发生,例如:

    • 大型活动之后,没有数据权限的业务部门可能会发出“看结果”的需求;
    • 当出现意外运营情况时,业务部门也会想要“先看看数据”;
    • 做年度、季度、月度和周度等计划性的总结及规划时,业务部门也会想“参考下数据”;
    • 规律性导出的日报、周报、季报、半年报、年报的详细和结果数据。

    限制业务部门的“取数”权限从企业宏观来讲利于数据安全把控,这是实现数据安全的途径之一。但从整体来看,如何平衡安全和工作效率,并释放人力和时间资源到更好的工作或项目机会上,需要进行权衡。毕竟,数据安全不只有权限控制这一种方法,而且只有这一种方法也无法完全保证数据安全。

    (3)数据校验

    这里的数据校验是指用一定的方法保证多数据源之间的完整性、一致性、准确性、及时性和有效性。

    数据校验通常存在于大型企业中,这类企业往往存在多平台、多系统、多生产环境和多测试环境,此时如何保证多个系统对于同一业务主体的测量满足上述条件就要通过数据校验工作来实现。

    数据校验(某些公司也称为数据治理)是保证和提升数据质量的重要步骤之一,如果该过程缺乏有效执行,将很有可能导致“Rubbish in,Rubbish out”的局面,后续所有数据工作的价值将无从谈起。

    (4)数据统计

    大多数日常报表需要通过技术开发形成产品报表体系,以提供日常业务支持。当有突发性事件或活动时,需要人工整理和汇总报表。日常报表完成后,通过自动发送邮件或短信、在线访问、离线客户端访问等接入。

    根据数据日常报表提供频率和周期不同,日常报表可分为日报、周报、月报、季报、半年报和年报。报告内容因公司需求而异,但基本框架是统计周期内企业整体、各运营环节KPI陈列、对比和简单分析,目的是通过周期性数据进行业务诊断,发现业务效果趋势和异常点,为业务优化执行提供基本支持。

    根据数据日常报表支持对象在企业内部分工不同,日常报表可分为针对决策层的报表和针对执行层的报表。针对决策层的报表侧重于宏观的、整体的效果汇总和结果分析,借助对比、趋势和主要维度下钻等方式进行初步分析并定位结论和问题点;针对执行层的报表侧重于微观的、个体的效果分析,各业务执行层只针对各自业务维度进行分析,并提供实际可行的操作型建议。
    对于数据指标的设定,既要包括公司核心结果指标如利润,又要包括各个业务节点的过程类或间接辅助类指标,以更全面地评估和定性整体及各业务线的工作结果。

    3.灯塔

    灯塔意味着企业的工作方向或职能开展需要大数据部门进行指导,此时大数据部门承担着以下三类角色和功能:

    • 剖析过去。对过去所发生事件的原因进行剖析,找到影响全局或特殊事件的关键因素并加以提炼以形成优化或改良机制;找到数据中的频繁规则并提炼出可供现在或未来使用的业务方法;从海量数据中发现数据知识,并能通过知识来引导业务行动或进行业务优化规则的启发。
    • 监控现在。对数据实时的监控和反馈通常是大数据部门的必备职能之一,数据反馈的实时性通常对于在线活动影响极大,无论是基于预测的、异常波动区间的还是数据分布模型的监控方法,只要能快速、有效并且准确地告知业务主体当前发生的问题,并配合业务一起剖析问题,尽快解决类似于流量作弊、黄牛订单、恶意注册、虚假投资、骗保等问题,能为企业节省大量时间、资源和项目等成本支出项。很多时候,时间就是机会,而时间也是最大的成本。
    • 预测未来。基于历史情况对未来的事件预测意味着业务在开展行动之前需要有明确的目标导向,基于目标可以制定明确的KPI、匹配为实现目标所需要的资源、预估行动成本和收益、平衡不同项目的机会成本和对企业整体战略布局的影响。

    大多数企业中的大数据部门都有类似于数据挖掘、数据分析、专项分析类的职责,这类工作的核心价值通常不是产生多少模型、几种算法、多少报告等,而是直接对于企业整体销售和利润的提升,或在保持相同销售和利润水平下对成本的控制和缩减。当然,某些企业内部会由于各种原因,比较注重知识产权、专利申请、科学研究、学术报告和期刊等的影响力,这些视具体情况而定。

    这类角色通常通过一定的模型、算法、流程和机制对数据进行解析,大多数的工作都是通过专项数据挖掘或分析的形式开展。

    数据专项挖掘分析是指针对某一特定课题或需求,采用专项分析或长期课题分析的形式对数据进行深入挖掘和分析,以提炼出相应结果或方法论供业务参考或使用。数据专项挖掘分析是数据发挥价值的重要手段,更是数据辅助支持作用的关键,大多数公司的数据工作意义都来源于此。

    为了提高数据工作的针对性,数据专项挖掘通常按业务模块划分,常见的数据专项挖掘分析模块包括市场分析、营销分析、运营分析、会员分析、用户体验分析、销售分析、移动分析、O2O分析、库存分析、供应链分析等。不同分析模块课题依业务需求而定。

    4.先知

    在上述三类角色中,我们讨论的知识前提都是数据依托于业务主体开展工作。但无论开展的工作是预测性的、剖析性的还是知识挖掘性的,可以说没有业务就没有数据发挥作用的土壤,更无法落地应用和实施。因此,从某种程度上看,数据是一定要依托于业务主体而存在。那么数据真的只能处于依托作用或依托于业务而存在吗?

    在大数据时代的当下,身边所有介质所产生的任何属性、行为、结果等都可以通过一定的形式进行记录。现在除了传统的结构化数据外,还包括半结构化和非结构化的数据形式或类别,例如日志、文本、视频、语音、图片、文档、XML、HTML等。这些数据形式或状态可以被人类识别并加以有效分析、整合和利用,既然人类可以做到,那么理论上在一定条件下计算机也有机会这样开展工作。

    人类开展工作的前提是从出生开始便不断接收外界各种信息源的刺激和学习,相对的,计算机所能接收到的信息相对于人类接收到的数据和信号而言,都是碎片化并且微乎其微的。基于计算机视觉、模式识别、自然语言处理、机器学习、深度学习等领域的人工智能正在被人们进行广泛的研究。假如通过一定途径将人类接收到的所有信息都能传递给计算机,那么计算机便可识别、加工、分析、应用和预测这些信号。因此,解决了这些问题之后,计算机智能便可脱离业务主体而存在,甚至在一定程度上,它可以创造业务、思考业务和优化业务并找到最优化方法进行求解。

    目前,这类角色在企业和社会中还没有大规模的综合性应用案例,但在很多垂直领域中已经有所突破,例如机器翻译、语音识别、图片识别、自动规划、智能无人汽车、智能博弈等;而在学术和知识研究领域也有各自阵地,包括深度学习、神经网络、机器学习等。未来,数据的价值将借助于传感器、海量数据、数据推演的模型和算法、自动程序设计、自动控制以及硬件集成等方式独立开展行动。

    2.1.2 常见的大数据职能及职责

    常见的大数据组织架构分为四种类型,根据不同公司的性质可分为分散型架构、集中型架构、复合型架构和矩阵型架构。

    1.分散型架构

    在分散型数据架构中,数据作为单独的部门位于各个业务中心之下,职责是提供本中心的数据支持。如图2-1所示,营销中心、运营中心、会员中心和IT中心都有自己的数据部门,各个部门相互独立。

    image

    分散型数据架构常见于企业创建数据体系的初期,初衷是先将数据置于某个中心之下,待数据工作正常开展并卓有成效之后,再在其他部门成立数据部门并辅助业务工作。

    分散型数据架构下,各大数据部门的职责是高度相似的,包括:

    • 运营业务数据统计;
    • 用户体验、SEO、用户研究等通用方向的分析;
    • 各自业务中心业务活动效果分析;
    • 关键业务项目的数据挖掘和分析;
    • 数据报表和数据产品开发(主要是IT中心的大数据部门);
    • 机器学习算法实现和集成(主要是IT中心的大数据部门)。

    这种数据架构的优势非常明显:前期投入较小,只需人员成本和极少的系统成本便可开展工作;数据从业人员由于处于业务工作体系内,对业务熟悉度较高,数据落地价值更大;另外,相同体系下的各个部门协同工作效率更高,利于业务方数据理解和执行。当然,这种架构的缺点也是显而易见的:

    • 数据质量难以保证。各部门数据来源分散且不完整,数据质量难以保证,基于未知质量上的数据结论可能无法立足。
    • 数据共享困难。不同数据部门之间的数据孤立还会导致数据孤岛的出现,不同的思维方法、工作机制,甚至定义方法不同导致数据源和数据结果无法流通、共享和综合应用。比如,对于转化率的定义方法,可能有订单/UV、订单/访问、订单客户/UV甚至件数/PV。数据共享困难一方面可造成数据价值难以最大化传播,另一方面在同一个数据项目的处理上也造成重复的人力、时间和物力投入并导致资源浪费。
    • 数据结果混乱。由于数据来源不一致或同一来源下定义口径的不同,各个业务部门汇报结果可能存在数据出入。这会影响决策层对业务结果的判断,同时影响数据的可信度。
    • 难以形成合力。各部门基于自身需求搭建支持体系,不同部门间难以形成合力共同搭建对全公司服务的数据支撑点。

    2.集中型架构

    集中型数据架构与分散型数据架构相反,它是把所有的数据工作汇总到一个中心集中统筹规则,通常该中心是信息技术中心或IT中心。图2-2为典型的集中型数据架构图。

    image

    该架构下由于所有的数据都集中到IT中心,因此大数据部门工作职能高度集中,主要包括:

    • 异构数据和主从数据的校验;
    • 数据统一管理和权限管理;
    • 数据报表开发和产品开发;
    • 根据业务需求的数据抽取;
    • 机器学习算法实现和集成;
    • 针对各业务线的数据分析。

    这种数据架构体系有效地解决了数据源不一致和数据口径定义的问题。由于所有数据从生产到应用都由该中心统一负责,数据质量度较高。这种数据架构的主要问题是业务理解与支持较弱:

    • 业务工作流程复杂。所有业务中心的数据需求都需要经过该中心处理,需求沟通、确认、实施、反馈的流程较为复杂,影响业务对数据需求的积极性与主动性。
    • 业务理解度不够。在该中心统筹下的数据体系,附带了技术的思维方式和工作方式,对业务的理解程度低,使得数据难以落地应用。
    • 技术响应及时性差。该中心的部门都有各自的工作计划和排期,业务方多而杂的临时需求影响其正常工作,大量需求可能被积压甚至无限延期。

    为了解决集中型数据架构带来的业务应用问题,行之有效的一种方法是派驻数据分析师入驻到各个业务中心。这能在很大程度上缓解技术类中心“不懂业务”的被动局面,但对数据分析师个人素质和能力有较高要求:

    • 扎实的基本数据素质。分析师需要具有扎实的基本数据素质,能及时、有效、准确地解答业务数据问题。
    • 良好的个人时间把控能力。由于身处业务中间,分析师会面临很多临时需求,包括咨询、取数、分析、报告等,这就要求分析师具有良好的个人时间管理素质。
    • 完善的工作流程和机制。流程和机制可以使各项工作有据可依,过滤无效需求的同时保证数据安全性、有效性、及时性和落地应用价值。

    上述方式可以有效保证数据质量和业务应用效果,但同时我们需要考虑数据之外的问题:如何管理分散到各个业务中心的分散人员?如何协同各部门工作?如何避免交叉管理问题?

    在集中型数据架构下,分散到各业务中心的分析师的组织架构仍然属于技术中心。

    3.复合型架构

    复合型数据架构是建立在分散和集中基础上的复合组织架构。数据端集中到统一中心之下管理,该中心通常是IT或数据中心;业务端分散到各业务中心之下设立数据支持部门,如图2-3所示。

    image

    复合型数据架构既能保证数据的质量标准化,又能保证各个业务节点的数据落地应用,同时还可以结合各业务共同需求以及公司战略发展需求开发全局应用的智能产品。不同中心间的分工如下:

    (1)IT/数据中心

    • IT/数据中心的数据职能是对接全公司所有业务高级需求,统筹整体并进行相关数据产品开发:
    • 统一口径。数据源的定义、数据出口和抽取逻辑的统一、数据指标和应用场景的规范等。
    • 搭建平台。经过整合和清洗的干净的数据源甚至数据平台、报表可视化等。
    • 智能数据产品开发。自动化数据挖掘模型封装和开发、BI、个性化推荐等。
    • 对接业务中心高级需求。深度数据源抽取和应用、数据建模和挖掘技术支持等。
    • 数据技能培训。提高业务数据应用能力和素养,包括知识、技能、素质、最佳实践场景推广等,涵盖数据知识、数据应用和工具使用知识。

    (2)各业务中心

    各业务中心除对接各自中心的需求以外,还需要与IT/数据中心协同工作:

    • 根据数据中心的统一规范,制订适合本中心的数据应用场景、指标和分析体系等;
    • 收集各自中心的零散需求并反馈到IT/数据中心,参与IT/数据中心公司级数据产品开发和应用,参与环节包括底层收集、数据ETL、数据建模、数据可视化、数据智能应用等——该项工作是数据协同工作的重要产出。

    4.矩阵型架构

    矩阵型数据结构常见于第三方服务或外部服务公司,属于项目管理类企业的常见架构,对于这种企业而言,项目制的工作方式是企业业务运作的基本模式,如图2-4所示。

    image

    这种模式或职能结构具有以下特点:

    • 所有大数据项目都有直接项目负责人,该角色可能是项目经理也可能是项目总监,具体视项目重要性而定。
    • 不同项目间通常相互独立,可独立核算成本和利润,这使得所有项目可衡量、可优化和可改进。
    • 业务动作以项目为导向,除了企业管理类部门外,其他所有的职能部门都是为项目提供服务,支持项目工作的有效开展。
    • 公共资源池的有效利用:项目间的资源利用可以从公司整体统一调度,通常以设立资源池作为调用出口,所有项目资源(人力、设备、技术、产品等)使用完成之后可快速回收并调配到其他资源中。
    • 项目间的资源流通性提升:不同项目间虽然独立运营并参与核算,但资源也可以互通使用,这会利于保证有效资源的有效调节和最大化使用。
    • 大数据项目管理中心统一协调:作为所有项目管理的枢纽,该角色承担的项目工作包括项目获取、组建、管理、运营、重组、回收、调节等,整体把控性更强。

    这种整体与局部的有效统一使得所有的大数据工作环境都相对可控,利于企业利益最大化,但同时也存在一些不可避免的问题:

    • 员工缺乏归属感:大多数参与项目工作的员工,通常需要驻扎在客户阵地前线,这使得项目完成之后员工需要根据下一项目需求调度到其他项目中重新投入工作。很多情况下可能会到全国各地做项目,导致员工很难产生归属感,容易造成员工流失。
    • 企业人员有效管理问题:对于大多数项目工作制的劳动方式而言,大多数时候都在“甲方”工作,这使得员工的“工作过程”很难把控,因此大多数项目员工会以项目交付成果作为考核依据;除此之外关于员工的费用、社保、培训、晋升、汇报、福利、知识等所有问题由于缺乏有效的基于地理位置的管控,只能通过在线系统开展并需要依靠公司制度约束,这些都会对员工管理造成困扰,员工越多管理难度越大。
    • 员工成长问题:处于项目工作中的员工,在不同项目中扮演的角色是类似的,应用的技能也基本类似。技能的成长通常只能由生到熟而遇到技能瓶颈,职业通道和发展路径上又受到项目的限制而缺乏其他管理类经验,因此“天花板”问题比较突出。
    • 企业文化培养问题:由于员工长期处于“甲方”工作状态,企业内部工作文化很难进行有效落实,并且项目内员工的问题也很难通过正常渠道反馈到企业工作流程和机制中,通常项目经理或项目总监就是一个企业的“小老板”。

    对于矩阵型的大数据工作架构,不同部门间的职能分配如下:

    (1)大数据项目管理中心

    核心职能:

    • 资源管理:根据公司项目开展需要,建立和健全项目资源管理制度,实现公司所有资源在项目内的总体协调与调度最优化,以保证资源效率最优、利润率最大。
    • 项目管理:组织和策划公司项目招标、计划实施与协调,确保各项目的有效推进和落地。
    • 质量管理:制定施工方案、质量工作标准和验收标准,组织质量管理培训、逐步推进项目活动全过程的质量管理工作。
    • 费用管理:组织实施工程项目管理的项目经理责任制和项目成本核算管理。
    • 监察管理:对各项目中可能存在的影响公司整体利益的外包项目分派、内部资源的外部利用、项目违规操作、个人边缘利益以及其他违反公司规章和制度的监督和管理措施。

    非核心职能:

    • 知识管理:针对项目实施过程中遇到和应用的场景、行业、案例、模型等知识物料进行统一汇总和管理,形成可供企业所有项目参考的知识库,最终根据企业市场形态建立针对性的解决方案。
    • 培训管理:项目招投标、实施、验收等过程中所需的各种技能和职业素养要求的培训,重点在于满足项目工作需求,是对普通职业技能的拓展。
    • 人员管理:项目工作中所需人员的管理,包括组织规划、人员选聘和项目核心骨干建设等一系列工作。
    • 档案管理:建立和完善项目信息、档案信息制度,组织和指导建档工作并及时汇总和更新档案信息。

    大数据项目管理中心和各项目中心的职能中,除资源管理和项目管理外,其他职能可能会根据公司实际运营情况有所差异,某些公司甚至会采用各项目组独立核算成本的方式。

    (2)各项目中心

    • 范围管理:为实现项目预期目标,对项目的工作范围进行管理的过程,包括范围的界定、规划、调整等具体工作。
    • 时间管理:为确保项目交付时间而进行的一系列管理过程,包括具体项目实施的规划,实施过程界定,项目细分内容优先级评估、时间估计,项目进度控制,周期性监察,进度报告等各项管理工作。
    • 成本管理:在保障项目交付的前提下对实际需要的各种成本、费用的管理过程,包括软硬件资源的配置、调整,弹性解决方案应用,项目内费用审批及控制等各项工作。
    • 质量管理:为达到项目交付约定的质量要求所实施的一系列管理过程,包括质量规划、质量控制、质量验收和质量保证等。
    • 人力资源管理:项目内的人力资源管理通常是对于项目内部人员的工作职责、范围的调整,以及为最大化人力资源产出而实施的工作时间、效率和结果的一系列管理措施。
    • 风险管理:对项目工作过程中涉及的可能会影响项目交付时间、交付质量、交付数量等交付成果的各种不确定因素的识别、量化、规避和控制等管理措施。

    很多公司为了避免项目的失控并保证公司利益最大化,都会设置项目内的双管理(两个项目负责人)检查的制度,这样不但可以保证各利益方相互监督,同时又能最大限度地避免利益主体抱团。

    展开全文
  • 本节书摘来自华章出版社《企业大数据系统构建实战:技术、架构、实施与应用》一书中的第2章,第2.1节,作者吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区“华章计算机”公众号查看 第2章 企业大数据...

    本节书摘来自华章出版社《企业大数据系统构建实战:技术、架构、实施与应用》一书中的第2章,第2.1节,作者吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区“华章计算机”公众号查看

    第2章

    企业大数据职能规划

    第1章我们介绍了企业大数据在宏观和微观层面的定位,立足于解答企业大数据的商业模式、市场机会、延伸价值、内部功能定义等问题。当企业已经确定要实施大数据战略时,应该如何针对性地建立职能架构体系以保证企业大数据的有效实施和落地?各个职能部门的职责范畴如何定义?不同体系和部门间如何协同和流程化工作?
    本章将详细讲解企业大数据职能规划体系,包括如何定义大数据部门在企业中的角色,常见的大数据职能及职责分工,不同职位的职责划分以及大数据制度和流程建设等问题。

    2.1 大数据组织架构体系

    要建立适合企业的大数据组织架构,首先要明确大数据部门在企业中的角色。不同的角色对应到企业内部会有不同的架构方式和职能定位。

    2.1.1 大数据部门在企业中的角色

    大数据部门泛指大数据中心、大数据部门、大数据组甚至是个体员工,它代表一类群体的角色扮演。按照大数据部门在企业中的不同角色和存在特征,可比喻为以下四类:路人、侍从、灯塔、先知。
    1.?路人
    路人是指大数据部门处于企业边缘,其存在属于可有可无的境况,这是一种危险的企业处境。
    目前很多企业的大数据部门都处于这类角色中,其实质是由于企业主观上对数据不敏感、不听、不信以及缺乏数据工作文化等原因,以及客观上缺乏有效的流程和制度约束、有经验的数据工作人员以及有价值的数据产出,导致大数据部门的存在与否无关紧要。
    这类角色通常在企业中有以下几种行为和职能特征:
    数据部门的职能定位不清晰,发展规划不明确,部门建设毫无方法可言;
    缺乏有效的数据工作目标和数据价值产出;
    数据工作从未参与企业运营落地环节,更无法渗透到企业核心业务流程;
    数据部门缺乏“大领导”,无法直接跟企业C-Level的领导层进行汇报;
    数据部门通常都是由个人或少数员工从事,甚至由运营人员兼任。
    对于大数据部门是否处于这种状态,通常只需回答一个问题:“如果没有大数据部门,企业会损失什么?”如果无法准确回答或含糊其辞,那么这个答案就是肯定的。
    2.?侍从
    侍从,即随从侍奉,这体现了大数据部门角色定位于企业辅助层面。侍从的角色相对于路人有明显的提升,该角色已经处于有明确工作需求的状态;但与此同时,大数据部门的这种状态也存在明显的问题:缺乏独立和自主性,侍从从来都不会自己决定去做什么,而是等待被分配工作和任务。同样,在企业中的大数据部门也无法决定企业在业务层面应该做什么、怎么做等问题。这种角色通常提供的职能包括如下几个方面:
    (1)数据管理
    数据管理工作包括:数据配置管理、数据权限管理、用户权限管理、数据导入管理、数据导出管理。
    数据配置管理:主要进行数据存储、安全、排除设置、并发控制、进程控制、结构控制等管理工作。
    数据权限管理:主要进行数据保存、新增、删除、更新、备份、合并、拆分、导出、打印等管理工作。
    用户权限管理:主要进行用户新增、删除、重置、过期设置、共享、安全等管理工作。
    数据导入管理:主要进行数据导入格式、时间、条件、规则、异常处理、记录数、来源等管理工作。
    数据导出管理:主要进行数据导出格式、时间、条件、规则、记录数、加密、位置等管理工作。
    (2)数据查询
    很多企业的数据都在IT中心进行统一管理,而大数据部门也属于IT眼中的“业务部门”。由于大数据部门天生具有接触数据和处理数据的需求,因此很多时候也会被开放某些附属库、从属库或复制库的权限。某些情况下,大数据部门也会承担类似“取数”的功能,这类需求在某些情况下会频繁发生,例如:
    大型活动之后,没有数据权限的业务部门可能会发出“看结果”的需求;
    当出现意外运营情况时,业务部门也会想要“先看看数据”;
    做年度、季度、月度和周度等计划性的总结及规划时,业务部门也会想“参考下数据”;
    规律性导出的日报、周报、季报、半年报、年报的详细和结果数据。
    限制业务部门的“取数”权限从企业宏观来讲利于数据安全把控,这是实现数据安全的途径之一。但从整体来看,如何平衡安全和工作效率,并释放人力和时间资源到更好的工作或项目机会上,需要进行权衡。毕竟,数据安全不只有权限控制这一种方法,而且只有这一种方法也无法完全保证数据安全。
    (3)数据校验
    这里的数据校验是指用一定的方法保证多数据源之间的完整性、一致性、准确性、及时性和有效性。
    数据校验通常存在于大型企业中,这类企业往往存在多平台、多系统、多生产环境和多测试环境,此时如何保证多个系统对于同一业务主体的测量满足上述条件就要通过数据校验工作来实现。
    数据校验(某些公司也称为数据治理)是保证和提升数据质量的重要步骤之一,如果该过程缺乏有效执行,将很有可能导致“Rubbish in,Rubbish out”的局面,后续所有数据工作的价值将无从谈起。
    (4)数据统计
    大多数日常报表需要通过技术开发形成产品报表体系,以提供日常业务支持。当有突发性事件或活动时,需要人工整理和汇总报表。日常报表完成后,通过自动发送邮件或短信、在线访问、离线客户端访问等接入。
    根据数据日常报表提供频率和周期不同,日常报表可分为日报、周报、月报、季报、半年报和年报。报告内容因公司需求而异,但基本框架是统计周期内企业整体、各运营环节KPI陈列、对比和简单分析,目的是通过周期性数据进行业务诊断,发现业务效果趋势和异常点,为业务优化执行提供基本支持。
    根据数据日常报表支持对象在企业内部分工不同,日常报表可分为针对决策层的报表和针对执行层的报表。针对决策层的报表侧重于宏观的、整体的效果汇总和结果分析,借助对比、趋势和主要维度下钻等方式进行初步分析并定位结论和问题点;针对执行层的报表侧重于微观的、个体的效果分析,各业务执行层只针对各自业务维度进行分析,并提供实际可行的操作型建议。
    对于数据指标的设定,既要包括公司核心结果指标如利润,又要包括各个业务节点的过程类或间接辅助类指标,以更全面地评估和定性整体及各业务线的工作结果。
    3.?灯塔
    灯塔意味着企业的工作方向或职能开展需要大数据部门进行指导,此时大数据部门承担着以下三类角色和功能:
    剖析过去。对过去所发生事件的原因进行剖析,找到影响全局或特殊事件的关键因素并加以提炼以形成优化或改良机制;找到数据中的频繁规则并提炼出可供现在或未来使用的业务方法;从海量数据中发现数据知识,并能通过知识来引导业务行动或进行业务优化规则的启发。
    监控现在。对数据实时的监控和反馈通常是大数据部门的必备职能之一,数据反馈的实时性通常对于在线活动影响极大,无论是基于预测的、异常波动区间的还是数据分布模型的监控方法,只要能快速、有效并且准确地告知业务主体当前发生的问题,并配合业务一起剖析问题,尽快解决类似于流量作弊、黄牛订单、恶意注册、虚假投资、骗保等问题,能为企业节省大量时间、资源和项目等成本支出项。很多时候,时间就是机会,而时间也是最大的成本。
    预测未来。基于历史情况对未来的事件预测意味着业务在开展行动之前需要有明确的目标导向,基于目标可以制定明确的KPI、匹配为实现目标所需要的资源、预估行动成本和收益、平衡不同项目的机会成本和对企业整体战略布局的影响。
    大多数企业中的大数据部门都有类似于数据挖掘、数据分析、专项分析类的职责,这类工作的核心价值通常不是产生多少模型、几种算法、多少报告等,而是直接对于企业整体销售和利润的提升,或在保持相同销售和利润水平下对成本的控制和缩减。当然,某些企业内部会由于各种原因,比较注重知识产权、专利申请、科学研究、学术报告和期刊等的影响力,这些视具体情况而定。
    这类角色通常通过一定的模型、算法、流程和机制对数据进行解析,大多数的工作都是通过专项数据挖掘或分析的形式开展。
    数据专项挖掘分析是指针对某一特定课题或需求,采用专项分析或长期课题分析的形式对数据进行深入挖掘和分析,以提炼出相应结果或方法论供业务参考或使用。数据专项挖掘分析是数据发挥价值的重要手段,更是数据辅助支持作用的关键,大多数公司的数据工作意义都来源于此。
    为了提高数据工作的针对性,数据专项挖掘通常按业务模块划分,常见的数据专项挖掘分析模块包括市场分析、营销分析、运营分析、会员分析、用户体验分析、销售分析、移动分析、O2O分析、库存分析、供应链分析等。不同分析模块课题依业务需求而定。
    4.?先知
    在上述三类角色中,我们讨论的知识前提都是数据依托于业务主体开展工作。但无论开展的工作是预测性的、剖析性的还是知识挖掘性的,可以说没有业务就没有数据发挥作用的土壤,更无法落地应用和实施。因此,从某种程度上看,数据是一定要依托于业务主体而存在。那么数据真的只能处于依托作用或依托于业务而存在吗?
    在大数据时代的当下,身边所有介质所产生的任何属性、行为、结果等都可以通过一定的形式进行记录。现在除了传统的结构化数据外,还包括半结构化和非结构化的数据形式或类别,例如日志、文本、视频、语音、图片、文档、XML、HTML等。这些数据形式或状态可以被人类识别并加以有效分析、整合和利用,既然人类可以做到,那么理论上在一定条件下计算机也有机会这样开展工作。
    人类开展工作的前提是从出生开始便不断接收外界各种信息源的刺激和学习,相对的,计算机所能接收到的信息相对于人类接收到的数据和信号而言,都是碎片化并且微乎其微的。基于计算机视觉、模式识别、自然语言处理、机器学习、深度学习等领域的人工智能正在被人们进行广泛的研究。假如通过一定途径将人类接收到的所有信息都能传递给计算机,那么计算机便可识别、加工、分析、应用和预测这些信号。因此,解决了这些问题之后,计算机智能便可脱离业务主体而存在,甚至在一定程度上,它可以创造业务、思考业务和优化业务并找到最优化方法进行求解。
    目前,这类角色在企业和社会中还没有大规模的综合性应用案例,但在很多垂直领域中已经有所突破,例如机器翻译、语音识别、图片识别、自动规划、智能无人汽车、智能博弈等;而在学术和知识研究领域也有各自阵地,包括深度学习、神经网络、机器学习等。未来,数据的价值将借助于传感器、海量数据、数据推演的模型和算法、自动程序设计、自动控制以及硬件集成等方式独立开展行动。

    2.1.2 常见的大数据职能及职责

    常见的大数据组织架构分为四种类型,根据不同公司的性质可分为分散型架构、集中型架构、复合型架构和矩阵型架构。
    1?分散型架构
    在分散型数据架构中,数据作为单独的部门位于各个业务中心之下,职责是提供本中心的数据支持。如图2-1所示,营销中心、运营中心、会员中心和IT中心都有自己的数据部门,各个部门相互独立。


    8c7994b434074bb3a29556f6f4a8070c0712e874

    图2-1 分散型数据架构图
    分散型数据架构常见于企业创建数据体系的初期,初衷是先将数据置于某个中心之下,待数据工作正常开展并卓有成效之后,再在其他部门成立数据部门并辅助业务工作。
    分散型数据架构下,各大数据部门的职责是高度相似的,包括:
    运营业务数据统计;
    用户体验、SEO、用户研究等通用方向的分析;
    各自业务中心业务活动效果分析;
    关键业务项目的数据挖掘和分析;
    数据报表和数据产品开发(主要是IT中心的大数据部门);
    机器学习算法实现和集成(主要是IT中心的大数据部门)。
    这种数据架构的优势非常明显:前期投入较小,只需人员成本和极少的系统成本便可开展工作;数据从业人员由于处于业务工作体系内,对业务熟悉度较高,数据落地价值更大;另外,相同体系下的各个部门协同工作效率更高,利于业务方数据理解和执行。当然,这种架构的缺点也是显而易见的:
    数据质量难以保证。各部门数据来源分散且不完整,数据质量难以保证,基于未知质量上的数据结论可能无法立足。
    数据共享困难。不同数据部门之间的数据孤立还会导致数据孤岛的出现,不同的思维方法、工作机制,甚至定义方法不同导致数据源和数据结果无法流通、共享和综合应用。比如,对于转化率的定义方法,可能有订单/UV、订单/访问、订单客户/UV甚至件数/PV。数据共享困难一方面可造成数据价值难以最大化传播,另一方面在同一个数据项目的处理上也造成重复的人力、时间和物力投入并导致资源浪费。
    数据结果混乱。由于数据来源不一致或同一来源下定义口径的不同,各个业务部门汇报结果可能存在数据出入。这会影响决策层对业务结果的判断,同时影响数据的可信度。
    难以形成合力。各部门基于自身需求搭建支持体系,不同部门间难以形成合力共同搭建对全公司服务的数据支撑点。
    2.?集中型架构
    集中型数据架构与分散型数据架构相反,它是把所有的数据工作汇总到一个中心集中统筹规则,通常该中心是信息技术中心或IT中心。图2-2为典型的集中型数据架构图。


    8ed3b3ee46550f50417e0fcc889c5ba25cce667e

    图2-2 集中型数据架构图
    该架构下由于所有的数据工作都集中到IT中心,因此大数据部门工作职能高度集中,主要包括:
    异构数据和主从数据的校验;
    数据统一管理和权限管理;
    数据报表开发和产品开发;
    根据业务需求的数据抽取;
    机器学习算法实现和集成;
    针对各业务线的数据分析。
    这种数据架构体系有效地解决了数据源不一致和数据口径定义的问题。由于所有数据从生产到应用都由该中心统一负责,数据质量度较高。这种数据架构的主要问题是业务理解与支持较弱:
    业务工作流程复杂。所有业务中心的数据需求都需要经过该中心处理,需求沟通、确认、实施、反馈的流程较为复杂,影响业务对数据需求的积极性与主动性。
    业务理解度不够。在该中心统筹下的数据体系,附带了技术的思维方式和工作方式,对业务的理解程度低,使得数据难以落地应用。
    技术响应及时性差。该中心的部门都有各自的工作计划和排期,业务方多而杂的临时需求影响其正常工作,大量需求可能被积压甚至无限延期。
    为了解决集中型数据架构带来的业务应用问题,行之有效的一种方法是派驻数据分析师入驻到各个业务中心。这能在很大程度上缓解技术类中心“不懂业务”的被动局面,但对数据分析师个人素质和能力有较高要求:
    扎实的基本数据素质。分析师需要具有扎实的基本数据素质,能及时、有效、准确地解答业务数据问题。
    良好的个人时间把控能力。由于身处业务中间,分析师会面临很多临时需求,包括咨询、取数、分析、报告等,这就要求分析师具有良好的个人时间管理素质。
    完善的工作流程和机制。流程和机制可以使各项工作有据可依,过滤无效需求的同时保证数据安全性、有效性、及时性和落地应用价值。
    上述方式可以有效保证数据质量和业务应用效果,但同时我们需要考虑数据之外的问题:如何管理分散到各个业务中心的分散人员?如何协同各部门工作?如何避免交叉管理问题?
    在集中型数据架构下,分散到各业务中心的分析师的组织架构仍然属于技术中心。
    3.?复合型架构
    复合型数据架构是建立在分散和集中基础上的复合组织架构。数据端集中到统一中心之下管理,该中心通常是IT或数据中心;业务端分散到各业务中心之下设立数据支持部门,如图2-3所示。


    a6d4e269f786361c55488b6a6834fdea6630edf6

    图2-3 复合型数据架构图
    复合型数据架构既能保证数据的质量标准化,又能保证各个业务节点的数据落地应用,同时还可以结合各业务共同需求以及公司战略发展需求开发全局应用的智能产品。不同中心间的分工如下:
    (1)IT/数据中心
    IT/数据中心的数据职能是对接全公司所有业务高级需求,统筹整体并进行相关数据产品开发:
    统一口径。数据源的定义、数据出口和抽取逻辑的统一、数据指标和应用场景的规范等。
    搭建平台。经过整合和清洗的干净的数据源甚至数据平台、报表可视化等。
    智能数据产品开发。自动化数据挖掘模型封装和开发、BI、个性化推荐等。
    对接业务中心高级需求。深度数据源抽取和应用、数据建模和挖掘技术支持等。
    数据技能培训。提高业务数据应用能力和素养,包括知识、技能、素质、最佳实践场景推广等,涵盖数据知识、数据应用和工具使用知识。
    (2)各业务中心
    各业务中心除对接各自中心的需求以外,还需要与IT/数据中心协同工作:
    根据数据中心的统一规范,制订适合本中心的数据应用场景、指标和分析体系等;
    收集各自中心的零散需求并反馈到IT/数据中心,参与IT/数据中心公司级数据产品开发和应用,参与环节包括底层收集、数据ETL、数据建模、数据可视化、数据智能应用等——该项工作是数据协同工作的重要产出。
    4.?矩阵型架构
    矩阵型数据结构常见于第三方服务或外部服务公司,属于项目管理类企业的常见架构,对于这种企业而言,项目制的工作方式是企业业务运作的基本模式,如图2-4所示。


    52fb9a2d9e4446e8284d94c46b8776a551da8516

    图2-4 矩阵型数据结构图
    这种模式或职能结构具有以下特点:
    所有大数据项目都有直接项目负责人,该角色可能是项目经理也可能是项目总监,具体视项目重要性而定。
    不同项目间通常相互独立,可独立核算成本和利润,这使得所有项目可衡量、可优化和可改进。
    业务动作以项目为导向,除了企业管理类部门外,其他所有的职能部门都是为项目提供服务,支持项目工作的有效开展。
    公共资源池的有效利用:项目间的资源利用可以从公司整体统一调度,通常以设立资源池作为调用出口,所有项目资源(人力、设备、技术、产品等)使用完成之后可快速回收并调配到其他资源中。
    项目间的资源流通性提升:不同项目间虽然独立运营并参与核算,但资源也可以互通使用,这会利于保证有效资源的有效调节和最大化使用。
    大数据项目管理中心统一协调:作为所有项目管理的枢纽,该角色承担的项目工作包括项目获取、组建、管理、运营、重组、回收、调节等,整体把控性更强。
    这种整体与局部的有效统一使得所有的大数据工作环境都相对可控,利于企业利益最大化,但同时也存在一些不可避免的问题:
    员工缺乏归属感:大多数参与项目工作的员工,通常需要驻扎在客户阵地前线,这使得项目完成之后员工需要根据下一项目需求调度到其他项目中重新投入工作。很多情况下可能会到全国各地做项目,导致员工很难产生归属感,容易造成员工流失。
    企业人员有效管理问题:对于大多数项目工作制的劳动方式而言,大多数时候都在“甲方”工作,这使得员工的“工作过程”很难把控,因此大多数项目员工会以项目交付成果作为考核依据;除此之外关于员工的费用、社保、培训、晋升、汇报、福利、知识等所有问题由于缺乏有效的基于地理位置的管控,只能通过在线系统开展并需要依靠公司制度约束,这些都会对员工管理造成困扰,员工越多管理难度越大。
    员工成长问题:处于项目工作中的员工,在不同项目中扮演的角色是类似的,应用的技能也基本类似。技能的成长通常只能由生到熟而遇到技能瓶颈,职业通道和发展路径上又受到项目的限制而缺乏其他管理类经验,因此“天花板”问题比较突出。
    企业文化培养问题:由于员工长期处于“甲方”工作状态,企业内部工作文化很难进行有效落实,并且项目内员工的问题也很难通过正常渠道反馈到企业工作流程和机制中,通常项目经理或项目总监就是一个企业的“小老板”。
    对于矩阵型的大数据工作架构,不同部门间的职能分配如下:
    (1)大数据项目管理中心
    核心职能:
    资源管理:根据公司项目开展需要,建立和健全项目资源管理制度,实现公司所有资源在项目内的总体协调与调度最优化,以保证资源效率最优、利润率最大。
    项目管理:组织和策划公司项目招标、计划实施与协调,确保各项目的有效推进和落地。
    质量管理:制定施工方案、质量工作标准和验收标准,组织质量管理培训、逐步推进项目活动全过程的质量管理工作。
    费用管理:组织实施工程项目管理的项目经理责任制和项目成本核算管理。
    监察管理:对各项目中可能存在的影响公司整体利益的外包项目分派、内部资源的外部利用、项目违规操作、个人边缘利益以及其他违反公司规章和制度的监督和管理措施。
    非核心职能:
    知识管理:针对项目实施过程中遇到和应用的场景、行业、案例、模型等知识物料进行统一汇总和管理,形成可供企业所有项目参考的知识库,最终根据企业市场形态建立针对性的解决方案。
    培训管理:项目招投标、实施、验收等过程中所需的各种技能和职业素养要求的培训,重点在于满足项目工作需求,是对普通职业技能的拓展。
    人员管理:项目工作中所需人员的管理,包括组织规划、人员选聘和项目核心骨干建设等一系列工作。
    档案管理:建立和完善项目信息、档案信息制度,组织和指导建档工作并及时汇总和更新档案信息。
    大数据项目管理中心和各项目中心的职能中,除资源管理和项目管理外,其他职能可能会根据公司实际运营情况有所差异,某些公司甚至会采用各项目组独立核算成本的方式。
    (2)各项目中心
    范围管理:为实现项目预期目标,对项目的工作范围进行管理的过程,包括范围的界定、规划、调整等具体工作。
    时间管理:为确保项目交付时间而进行的一系列管理过程,包括具体项目实施的规划,实施过程界定,项目细分内容优先级评估、时间估计,项目进度控制,周期性监察,进度报告等各项管理工作。
    成本管理:在保障项目交付的前提下对实际需要的各种成本、费用的管理过程,包括软硬件资源的配置、调整,弹性解决方案应用,项目内费用审批及控制等各项工作。
    质量管理:为达到项目交付约定的质量要求所实施的一系列管理过程,包括质量规划、质量控制、质量验收和质量保证等。
    人力资源管理:项目内的人力资源管理通常是对于项目内部人员的工作职责、范围的调整,以及为最大化人力资源产出而实施的工作时间、效率和结果的一系列管理措施。
    风险管理:对项目工作过程中涉及的可能会影响项目交付时间、交付质量、交付数量等交付成果的各种不确定因素的识别、量化、规避和控制等管理措施。
    很多公司为了避免项目的失控并保证公司利益最大化,都会设置项目内的双管理(两个项目负责人)检查的制度,这样不但可以保证各利益方相互监督,同时又能最大限度地避免利益主体抱团。
    展开全文
  • 敏捷实践实施模式——技术实践组合 越来越多的人开始采纳、实施敏捷实践,他们也在寻找...该策略敏捷实践的实施模式直接相关.很多团队实施诸如测试优先开发、简单设计以及其他敏捷实践,并获得了成功以及失败的

    敏捷实践实施模式——技术实践组合

    越来越多的人开始采纳、实施敏捷实践,他们也在寻找相关的指导和建议,希望知道如何成功实施敏捷。然而,他们有很多问题,诸如:"我该如何开始?","我该选择哪些实践?","我该怎么做到增量式实施?",还有"我在哪些地方会遇到问题?"这些问题并没有得到正确解答。

    这本书回答了这些问题,帮助读者以他们的业务价值和相应环境为中心,构建他们自己的实施策略。该策略与敏捷实践的实施模式直接相关.很多团队实施诸如测试优先开发、简单设计以及其他敏捷实践,并获得了成功以及失败的经验教训,这些模式就是这些经验教训的总结。

    188页,6" x 9", ISBN# 978-1-4303-1488-2

    免费下载

    感谢Amr Elssamadisy和InfoQ.com,我们很高兴能够提供免费版本的下载,让尽可能多的人得到其中的知识。 免费下载这本书(PDF)

    花费24.95美元购买印刷版本

    如果你喜欢阅读该免费(不可打印)下载版,欢迎购买印刷版本,仅需24.95美元,支持作者和InfoQ系列书籍。

    目录

    第一部分:业务价值、异味和实施策略

    1. 业务价值
    2. 异味
    3. 敏捷实施策略

    第二部分:模式

    1. 简介
    2. 自动化测试(抽象模式)
    3. 测试后行开发(实现自动化测试)
    4. 测试先行开发(实现自动化测试)
    5. 重构
    6. 持续集成
    7. 简单设计
    8. (自动化)功能测试
    9. 集体代码所有权

    第三部分:模式组合

    1. 实践的组合
    2. 演进式设计
    3. 测试驱动开发
    4. 测试驱动需求

    结论

    附录

    1. 敏捷实践模式与商业价值的映射
    2. 敏捷实践模式与异味的映射
    3. 敏捷实施策略案例研究
    4. 其他引用到的敏捷实践模式
    5. 充分利用敏捷实践模式
    6. 有效地阅读这些模式

    关于作者

    Amr Elssamadisy 是一个软件开发实践者--他在多个开发团队中担任过各种不同的角色,包括教练、指导人员、开发人员、架构师、技术负责人、Scrum Master,项目经理等等。他热衷于开发出好的软件。这需要创造性,很有挑战,有时会让人垂头丧气,但最终又会觉得一切付出都非常值得。这也是为什么他痴迷于敏捷开发实践的原因--因为如果能正确地应用这些敏捷实践,将会为软件开发团队带来意想不到的奇迹。


    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 445
精华内容 178
关键字:

模式构建与实施