精华内容
下载资源
问答
  • 作为数据产品,前期的数据分析工作是必不可少的,只有经历过足够多的数据分析小活,对业务的认知和对底层数据的熟悉度才能够足够深入,足够支撑我们将底层的需求提升成为数据产品层面上的需求。而数据分析的方法...

    作为数据产品,前期的数据分析工作是必不可少的,只有经历过足够多的数据分析小活,对业务的认知和对底层数据的熟悉度才能够足够深入,足够支撑我们将底层的需求提升成为数据产品层面上的需求。而数据分析的方法层出不穷,但很多都是基于前人最基础的数据方法论所衍生出来的,因此对原始常见的数据方法论的了解和认知程度很大层度影响了后面的工作。本篇文章将介绍常见的数据分析方法,并会在自己工作过程中,结合实际的事件进行不断的丰富。

    数据分析流程: 明确分析的目的并提出问题>>数据采集>>数据处理>>数据探索>>分析数据>>得到可视化结果

    营销方面的理论模型有: 4P、用户使用行为、STP理论、SWOT等。
    管理方面的理论模型有: PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等
    基本分析方法: 对比分析,分组分析,交叉分析,结构分析,漏斗分析,多维分解,因素分析,矩阵分析等
    高级分析方法: 相关分析,回归分析,聚类分析,判断分析,成分分析,因子分析,时间序列等
    新进发展起来的分析方法: 同期群分析,用户分层和用户分群,A/B测试,RFM模型,用户路径分析等
    常用分析维度指标: 流量、用户、订单、内容、活动

    一、营销方面的理论模型

    1、4P理论

    说明: 从产品(Product)、价格(Price)、渠道(Place)和促销(Promote)这四个方面分析市场。适用于公司整体经营状况的分析,通过将四者的结合、协调发展,从而提高企业的市场份额,达到最终获利的目的

    产品:指公司提供什么产品或服务?那个产品销量最好?是否与用户需求一致?购买产品的都是些什么用户?
    价格:公司收入如何?用户能接受的价格时什么样?用户的支付方式?
    渠道:公司的渠道方式有哪些?各种渠道的转化率、地区覆盖率等?渠道政策的吸引力?
    促销:投入多少促销资源?效果如何?

    2、用户使用行为理论

    说明: 认知—熟悉—试用—使用—忠诚。用户行为指用户为获取、使用产品或服务才去的各种行动,首先要认知熟悉,然后试用,再决定是否继续消费使用,最后成为产品或服务的忠实用户
    用户行为分析对应的五大场景分别是:拉新,转化,促活,留存,变现
    用户行为分析是最为常见的分析工作,特别是以软件为核心的业务的公司,常会分析软件的用户信息、点击信息、异常信息等
    在这里插入图片描述

    3、SWOT理论

    说明: S:strengths(优势),weaknesses(劣势),Opportunities(机会),Trreats(威胁) SWOT分析又称态势分析法,基于内外部竞争环境和竞争条件下的态势分析,就是将与研究对象密切相关的各种主要内部优势、劣势和外部的机会和威胁等,通过调查列举出来,并依照矩阵形式排列,然后用系统分析的思想,把各种因素相互匹配起来加以分析,从中得出一系列相应的结论,而结论通常带有一定的决策性
    在这里插入图片描述

    4、STP理论

    说明:市场细分(Segmentation)、选择适当的市场目标(Targeting)和市场定位(Positioning),是战略营销的核心内容。STP理论是指企业在一定的市场细分的基础上,确定自己的目标市场,最后把产品或服务定位在目标市场中的确定位置上。

    二、管理方面的理论模型

    1、PEST理论

    说明: 从政治(Politics)、经济(Economy)、社会(Society)、技术(Technology)这4个方面分析内外环境。该方法适用于行业分析、企业战略管理、产品分析等。常见于行业报告中的分析方法

    政治环境:政治体制、经济体制、财政政策、税收政策、产业政策、投资政策等
    社会环境:人口规模、性别比例、年龄结构、生活力式、购买习惯、城市特点等
    技术环境:折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度等
    经济环境:GDP及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等

    2、5W2H理论

    说明: 从Why、When、Where、What、Who、How、How much 这7个常见的维度分析问题

    -------最常见的例子:需要组织一个拉新活动来增长网站新用户注册量,使用5W2H方法来思考--------
    What:要举办一个什么样的拉新活动?活动的助力或阻力是什么?具体工作有哪些?
    Why:为什么要举办这个活动?为什么要采取线上/线下的活动形式?
    Who:活动面向的用户是哪些人?参加活动的工作人员有哪些?谁负责哪部分工作?
    When:活动策划什么时候完成?什么时候开始宣传?活动举办的时间?
    Where:活动在哪举办?是线上(宣传渠道有哪些?活动渠道是?)还是线下(具体地点是?在哪做活动宣传?)活动
    How:活动举办的形式是?通过什么方式来吸引用户?怎么做宣传?
    How much:我们期待达成的目标注册量是多少?活动需要的选产成本是什么?

    ------当做分析的时候,也可以用5W2H来思考工作的进行--------
    我做这个的分析报告目的是什么?为什么要做(why)?
    要做成什么样的形式,会用到什么样的数据,用到什么样的方法(what)?
    做这个分析的时候可能会涉及到哪些业务线的人,需要谁的帮助(who)?
    什么时候开始做,截止期限是什么(when)?
    要达到怎样的分析高度—可以是技术层面,也可以是职位层面(where)?
    采取什么样的分析分析,怎么样分析才能符合业务背景(How)?
    在整个分析过程中要付出多少努力?(How much)?

    3、逻辑树理论

    说明: 又称问题树、演绎树或分解树等。它将问题的所有子问题分层罗列,从最高层开始,并逐步向下扩展。适用于业务问题专题分析
    逻辑树分析法三原则:
    a、要素化:把相同问题总结归纳成要素
    b、框架化:将各个要素组成框架,遵守不重不漏原则
    c、关联化:框架内的各要素保持必要的相互关系,简单而不孤立

    ---------麦肯锡逻辑树一共分为7个步骤---------
    第一步确认你要解决什么问题
    第二步是分解问题,运用树枝的逻辑层层展开
    第三步是剔除次要问题
    第四步是制定详细的工作计划,并将计划分为可执行的带日期的步骤
    第五步是进行关键分析,对于关键驱动点再通过头脑风暴,进行分析找到解决方案
    第六步综合分析结果,建立论证
    第七步陈述工作过程,进行交流

    4、SMART原则

    说明:SMART原则(Specific具体、Measurable可度量、Attainable可实现、Relevant现实性、Time-based时限性)
    是一种目标管理方法,按照这个原则制定出的目标才能保证可实施、可跟进、可考核,也更容易实现。

    三、基本分析方法

    1、交叉分析法

    说明: 用于分析两个变量之间的相互关系的一种基本数据分析法。把统计分析数据制作成二维交叉表格,将具有一定联系的变量分别设置为行变量和列变量,两个变量在表格中的交叉结点即为变量值,通过表格体现变量之间的关系,称为交叉分析法

    2、矩阵关联分析法

    说明: 矩阵分析法是指根据事物的两个重要属性作为分析的依据,进行分类关联分析,找出解决问题的一种分析方法,也称为象限图分析法。以属性A为横轴,属性B为纵轴,在两个轴上分别按照某标准进行划分,构成四个象限,将待分析的主体项目对应投射进四象限中,可直观表现出两属性的关联性。

    3、漏斗分析方法

    说明: 转化漏斗分析是业务分析的基本模型,最常见的是把最终的转化设置为某种目的的实现,最典型的就是完成交易。 漏斗帮助我们解决两方面的问题:
    ①在一个过程中是否发生泄漏,如果有泄漏,我们能在漏斗中看到,并且能够通过进一步的分析堵住这个泄漏点。
    ②在一个过程中是否出现了其他不应该出现的过程,造成转化主进程收到损害。
    ---------比如一个电商的活动页,它的漏斗模型应该是这样的-------- 在这里插入图片描述

    四、高级分析方法

    1、聚类分析

    说明: 聚类分析常用于数据挖掘当中,也常用于数据标签指标聚合之中,样本个体或指标变量按其具有的特性进行分类,寻找合理的度量事物相似性的统计量。
    性质分类:
    a、Q型聚类分析:对样本进行分类处理,又称样本聚类分祈 使用距离系数作为统计量衡量相似度,如欧式距离、极端距离、绝对距离等
    b、R型聚类分析:对指标进行分类处理,又称指标聚类分析 使用相似系数作为统计量衡量相似度,相关系数、列联系数等 方法分类:
    a、系统聚类法:适用于小样本的样本聚类或指标聚类,一般用系统聚类法来聚类指标,又称分层聚类
    b、逐步聚类法:适用于大样本的样本聚类
    c、其他聚类法:两步聚类、K均值聚类等

    2、时间序列分析

    说明: 动态数据处理的统计方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题 时间序列通常由4种要素组成:趋势、季节变动、循环波动和不规则波动

    五、新进发展起来的分析方法

    1、RFM模型

    从最近一次消费(Recency)
    客户最近一次消费距离现在的时间,消费频率(Frequency)
    客户在固定时间内的购买次数(一般是1年),消费金额(Monetary)
    客户在一段时间(通常是1年)内的消费金额这3个方面来衡量客户价值和客户创利能力

    --------根据三维图表,以RFM为XYZ轴,1代表高,0代表低,进行用户分层--------------
    在这里插入图片描述

    六、常用分析维度指标

    1、流量

    访问:PV、UV、IP(最常见);跳出率、平均访问时长、平均访问页数等;使用设备、操作系统、浏览器、地域分布等访问行为
    注册:注册人数、注册走势、累计注册人数、达成率等
    渠道&推广:来源渠道分布、总消费、展示量、点击率、点击率、平均点击价格、转化率、转化成本、ROI等

    2、用户

    活跃/登录:活跃/登录:DAU、WAU、MAU、活跃率、登录人数等
    留存:次日留存率、周留存率、月留存率等,还有按渠道去分析留存率
    流失:流失率,流失人数、每日平均流失人数
    付费:付费人数、付费转化率、单笔订单平均金额等 其他:每日评论人数、收藏人数、分享人数
    头像:一方面分析用户属性:关注年龄、性别、学历、职业、地域、婚否、收入、兴趣等;另一方面分析用户行为:登录次数、活跃率、累计消费金额、最近一次购买、购买次数、复购率等

    3、订单

    付费人数、新增付费人数;总金额、每日订单数、平均每日成交额、客单价;付费金额、付费毛利、付费利润、复购率、ARPU、付费各个路径转化等

    4、内容

    PV、UV;UGC、PGC、文章数、关注数、阅读数、互动数(评论、点赞等)、传播数(转发、分享等)

    5、活动

    活动页PV、UV、新增人数、参与人数、登录人数、转化人数、转化成交金额、ARPU、优惠券发放/使用人数、营销成本、营销转化率、ROI、分享人数、分享次数等,数据要根据活动类型而定。

    展开全文
  • PTN原理学习笔记

    2012-02-09 20:34:12
    文档的内容摘录自中兴资料《Unitrans ZXCTN 9008(V2[1].08.31)分组传送产品产品描述.pdf》中。 2.1. PTN的定义 分组传送网(PTN)是指这样一种传送网络架构和具体技术:  在IP业务和底层光传输媒质之间设置了一...
  • 篇从源码层面捋一捋,通过篇介绍,除了能够了解如何将一个节点加入到group中,也可以了解在这个过程中,节点是如何进行分布式通信模块进行初始化,上层如何响应底层上发的消息,事务进入MGR后是如何通过pipeline...

    此文已由作者温正湖授权网易云社区发布。

    欢迎访问网易云社区,了解更多网易技术产品运营经验。


    上一篇我们从方案层面讲解了MGR的成员管理和故障恢复。本篇从源码层面捋一捋,通过本篇介绍,除了能够了解如何将一个节点加入到group中,也可以了解在这个过程中,节点是如何进行分布式通信模块进行初始化,上层如何响应底层上发的消息,事务进入MGR后是如何通过pipeline一步步执行的,等待。


    start group_replication处理逻辑

    该命令用于将一个正在运行且已经install了group_replication.so插件的mysqld加入到group中。又可以根据是否设置了group_replication_bootstrap_group来分为创建一个新的group或加入一个已有的group。start group_replication对应的实现函数为plugin_group_replication_start,其做些基本的检查后交由initialize_plugin_and_join()来执行节点加入group的任务,下图为该函数的主要执行流程。

    a9cefe74-a5c1-46a8-a755-b8b65c7c8fd0

    下面我们注意对其9个阶段进行逐一分析:


    1、调用Gcs_operations::initialize()来创建gcs_interface对象并设置gcs日志系统;

    89440be2-ab23-4011-9001-9b736d93fc05?imageView&thumbnail=980x0


    2、根据用户配置的MGR参数设置GCS,其中最重要的逻辑是调用Gcs_xcom_interface::initialize_xcom()来进行MGR目前唯一执行的gcs实现xcom的初始化,该函数详见后续小节描述。

    1b82f575-1f55-416d-b155-67ffc4b1d311?imageView&thumbnail=980x0


    3、设置本节点的MGR成员管理对象,包括本节点信息维护对象local_member_info和集群信息维护对象group_member_mgr,此时group_member_mgr还只有本地节点的信息。

    713dbb1d-f889-4f1a-bea4-b143160d342a?imageView&thumbnail=980x0


    4、initialize_recovery_module()函数初始化节点的MGR recovery模块,包括创建Recovery_module对象,为其设置节点上线策略(认证完上线还是回放完上线),设置全局故障恢复节点donor节点连接失败重试的次数和失败重连的时间间隔。Recovery_module模块在start group_replication命令返回后,负责将节点从恢复中变为在线状态。

    1eaa53f7-c9f3-4895-a142-c8f2c74d8be3


    5、接下来调用configure_and_start_applier_module()函数配置和启动节点的MGR Applier_module模块,该模块是MGR的核心模块之一,用于对通过xcom进入该节点的包括用户事务数据包(package)在内的众多行为(action)/事件(event)进行分发、认证和执行。

    9e4f931a-cc56-4360-b1fd-5fb30b5f567d?imageView&thumbnail=980x0


    首先创建一个Applier_module对象,并将其赋予Recovery_module模块;接着对Applier_module对象进行初始化,包括创建用于缓存等待处理的消息的队列incoming,初始化模块的处理机制pipeline;最后启动一个新的线程,并制定处理函数applier_thread_handle(),用于具体处理这些入队的消息。MGR使用pipeline管道的方式处理每个消息,pipeline设置和初始化详见后续小节分析。


    6、在单主模式下,调用initialize_asynchronous_channels_observer()进行节点异步复制通道的操作行为监听。主要监听行为是io thread和sql thread启动操作。原因是在单主模式下,只有primary节点能接收外部写请求,所以需要禁止MGR单主模式的secondary节点启动非MGR的异步复制和回放Relay log的通道。而多主模式下各节点均可写,不存在该限制。

    26fd79f7-927f-474b-816e-1243f2331368


    7、下一步initialize_group_partition_handler()用于初始化MGR的网络分区处理对象group_partition_handler。应对MGR中的节点因为网络问题导致相互间无法进行正常的通信。当有节点无法连上其他节点时,就会启动handler->partition_thread_handler()网络分区处理线程,若在超时时间内()网络无法恢复,则会进行网络分区处理,包括退出group并rollback已进入MGR的事务等。


    8、调用start_group_communication()启动节点与group中其他节点的通信是及其重要的步骤。直接决定了该节点是否能够正常加入group。

    7f6bb349-45e1-4f0d-9266-5b00347dd83d


    该函数首先设置节点的自增列的自增区间和自增初始值。然后初始化group集群视图变化状态设置监听对象view_change_notifier,该notifier会设置和监控视图变化情况并作出相应处理,初始化非常重要的events_handler,该handler是向gcs注册的事件回调接口,用于处理gcs(paxos)返回的各种消息/事件,包括用户事务数据包、group变化的控制包等。接着,view_change_notifier设置view_changing变量,表示正式进入视图切换阶段(当view_changing重新变为false时,start group_replication即可返回)。最后调用Gcs_operations::join()函数执行将该节点加入group的操作,该函数详见后续小节描述。


    9、以上就是start group_replication命令所要执行的所有操作,在完成这些操作后,initialize_plugin_and_join()调用view_change_notifier->wait_for_view_modification()来等待view_changing变为false,之命令返回。若返回值非零,则意味着加入失败,需要进行操作回滚。若返回值为零,则节点进入故障恢复流程,最终将节点设置为在线状态。


    Gcs_xcom_interface::initialize_xcom()

    initialize_xcom()用于初始化节点的xcom实例。但此时该实例仍未运行和加入的group。

    c4263267-6631-4b13-a95f-06096a5837a1?imageView&thumbnail=980x0


    如上图所示,该函数主要是初始化xcom实例的group信息及相关对象,设置将该xcom加入group所需的种子节点,注册各种xcom消息的回调处理函数,创建xcom的各种操作接口xcom_proxy,最后创建Gcs_xcom_engine对象,并调用Gcs_xcom_engine::initialize()来启动节点的xcom处理引擎,xcom引擎通过独立线程的处理函数process_notification_thread来调用2.2.1.3.3设置的回调函数处理各种xcom消息。process_notification_thread的处理逻辑如下所示:

    8e7b208c-381c-486c-bd9c-0a44cd4f1eb3


    paxos消息接收和执行

    上面我们说了m_notification_queue消息的执行框架,那么这些消息如何加入m_notification_queue队列呢,详见下图例子:

    6a666d4b-c9e4-4727-9b26-c9f0871e38e9


    deliver_to_app是MGR最底层paxos将已达成一致性的消息发送给上层的主要接口之一,其调用在该类消息处理函数xcom_receive_data()进行处理,处理操作很简单,经创建一个Data_notification对象,参数中指定了具体的消息处理函数,最后将其push到我们上面所述的m_notification_queue队列。我们进一步看看do_cb_xcom_receive_data()如何处理该消息:

    93a01fc3-d4e3-4a0a-90f7-5b138620402f?imageView&thumbnail=980x0


    首先,将从paxos接收到的消息进行pipeline处理(注意跟Applier_module的pipeline相区分),目前pipeline仅可注册一个stage,即Gcs_message_stage_lz4,用于对paxos消息进行压缩。可通过参数group_replication_compression_threshold来设置进行消息压缩的阈值。

    接着,若消息类型为进行视图切换时产生的成员状态交换消息(CT_INTERNAL_STATE_EXCHANGE),调用process_control_message()函数进行处理。否则,判断是否正在进行视图切换,若是,则暂时buffer住这些消息,等到视图完成切换后(即成员加入group后)再处理。否则,调用上层为每种消息注册的回调函数on_message_received()进行处理。


    下面,我们简要介绍process_control_message()和on_message_received():

    1d6c64ce-2e79-465a-9e81-e7ac01672ecd?imageView&thumbnail=980x0

    on_view_changed是各个节点对视图切换的响应,是视图切换关键性的函数,包含了对加入节点、退出节点的处理,处理完成后还会判断是否需要发起选主,如果是节点加群那么还会调用故障恢复模块recovery_module函数start_recovery()。其处理流程如下:

    6b1b84f2-d921-4d4e-a9e4-ae18c760cd2d?imageView&thumbnail=980x0

    on_message_received()是个消息分发枢纽,其操作如下:

    9a55ca5b-3afd-49f4-957f-f003a54d8649?imageView&thumbnail=980x0


    如上图所示,根据消息类型的不同,分别调用不同的处理函数,其中对于单主模式新primary完成relay log回放后的消息和事务性消息(事务和视图数据包)均进入到applier_module的incoming队列按顺序执行。其他三种消息分别是用于节点间进行事务执行状态周期性同步的CT_PIPELINE_STATS_MEMBER_MESSAGE消息,该消息是performance_schema.replication_group_member_stats和replication_group_members的主要数据来源。会触发节点进入流控模式。CT_RECOVERY_MESSAGE消息用于在节点完成故障恢复后将自己设置为在线状态前给group发送的广播消息,确保其他节点及时感知节点状态变化。CT_CERTIFICATION_MESSAGE是周期性发送的,用于对applier_module模块的冲突检测数据库进行无用信息purge的消息。


    Applier_module的pipeline实现

    MGR使用pipeline管道的方式处理每个消息,pipeline设置和初始化详见第5小节分析。目前官方设置了3个pipeline处理器(handler),分别是CATALOGING_HANDLER、CERTIFICATION_HANDLER和SQL_THREAD_APPLICATION_HANDLER,其中CATALOGING_HANDLER用于待处理的事件进行分类,主要通过判断事件类型是否为binary_log::TRANSACTION_CONTEXT_EVENT来设置事务开始的标志,并判断是否为SINGLE_VIEW_EVENT来标识处理视图变更事件。CERTIFICATION_HANDLER是最核心的pipeline处理器,在各个节点采用相同的规则独立进行事务认证,包括认证模块初始化和销毁、事务快照版本解析、对事务进行冲突检测和在视图变更的时候初始化冲突检测数据库等。


    SQL_THREAD_APPLICATION_HANDLER用于并行回放通过了认证的异地事务,更新本地的数据库版本。3个pipeline的汇总信息如下图所示:

    a5b45ed6-61f9-4421-87a2-2c31d633eb76?imageView&thumbnail=980x0



    Gcs_operations::join()

    该接口用于在start group_replication时将节点加入group。具体流程如下:

    19d0c684-295e-4fd4-976f-5c7b547b82a4?imageView&thumbnail=980x0


    首先进行通信(gcs_communication)和控制(gcs_control)接口初始化,确保从gcs层发送上来的各种消息能够被正确执行。最后调用Gcs_xcom_control::join()来执行最终的节点入群操作,该函数判断是创建group还是加入group场景,并在Gcs_xcom_control::do_join()中进行对应处理,do_join在Gcs_xcom_interface::initialize_xcom()的基础上完成最后的加入操作,流程如下:

    132b1664-06c5-4a75-a7ff-a947d5bdf5c3?imageView&thumbnail=980x0


    先创建m_xcom_thread线程,通过proxy->xcom_init()进行最后的初始化,让xcom实例进入运行状态;在确保xcom实例通信正常的情况下,分别调用proxy->xcom_client_boot()或proxy->xcom_client_add_node()创建一个group或加入已存在的group。


    梳理总结

    上面就是start group_replication命令的全部操作。经过上面介绍后,还有2个大疑问没有解释清楚:


    1、该命令在什么时候返回?

    上面我们只是说在view_changing为false的时候返回,那么该变量什么时候会变为false呢,首先需要明确的是在前述的Plugin_gcs_events_handler::on_view_changed()函数中设置,对于执行该命令的节点,会在Plugin_gcs_events_handler::handle_joining_members()函数中调用view_change_notifier->end_view_modification()设置,并进行广播:

    b72f1c9d-ec7f-4045-946d-a31113a1f14e?imageView&thumbnail=980x0

    94e54ea3-ad94-4e17-a6bf-ee2472af9b3d


    2、在介绍process_control_message()时我们知道该函数是接收了CT_INTERNAL_STATE_EXCHANGE消息后调用执行的。那么该消息是在什么场景下发出的?

    下面我们从源头开始进行简单介绍:

    fb6c6f3b-02e2-4d98-bdf2-9b040a838de9?imageView&thumbnail=980x0

    detector_task是paxos层的一个定时任务机制,用于发现group的成员变化情况,并进行相应的处理。对于我们所述的场景,有一个新的节点加入paxos group中,所以会触发该任务发送一个view_msg消息。最终调用do_cb_xcom_receive_global_view进行处理。具体逻辑为:

    dde5bfd4-c0b9-401d-8635-9f3842a79625?imageView&thumbnail=980x0

    该函数会获取自己节点的状态信息get_exchangeable_data(),并使用Gcs_xcom_state_exchange::broadcast_state()来广播一个CT_INTERNAL_STATE_EXCHANGE。


    网易云免费体验馆,0成本体验20+款云产品! 

    更多网易技术、产品、运营经验分享请点击


    相关文章:
    【推荐】 干货|盘点国内真正的大数据分析产品
    【推荐】 一步一步学习JNI

    转载于:https://www.cnblogs.com/zyfd/p/9816699.html

    展开全文
  • 全面支持一条命令安装云帮平台、调整SDN网络组件、8 个中等级别以上的bug修复、云帮社区版 迎来2017年3月升级版本,本次升级主要集中在平台底层服务,以及云帮的私有化安装部署的流程上,...本月产品层面的升级主要...
        

    全面支持一条命令安装云帮平台、调整SDN网络组件、8 个中等级别以上的bug修复、云帮社区版 迎来2017年3月升级版本,本次升级主要集中在平台底层服务,以及云帮的私有化安装部署的流程上,针对SDN网络,我们开源了容器的插件式网络组件midonet-cni,针对公有云,我们的计费方式已经完全过度到了以应用为计费单元。本月产品层面的升级主要集中在PHP语言源码构建方面,全面支持PHP 7.0.X 和 PHP 7.1.X 并100%兼容ThinkPHP开发框架

    云帮(ACP)

    云帮是好雨科技研发的一款基于容器技术的应用管理平台(Application-Centric Platform as a service)。社区版针对个人、企业完全免费,您可以自由的下载与传播。借助它您可以实现:

    • 企业级的Docker管理平台

    • 开发、测试环境的CI/CD平台

    • 生产环境的高效运维平台

    云帮社区版发布以来,我们得到了不同行业,数百家企业用户在云帮社区版、企业版安装、使用以及优化配置过程中遇到的问题反馈以及对产品的建议。在这个过程中,我们发现了云帮产品的诸多不足,同时也感受到了广大用户对我们产品给予的厚望。

    通过这一个月紧张的开发和测试,我们迎来了云帮社区版2017年第3个升级迭代版本。研发团队在这一个月中对底层组件进行了升级与调整,修复了 8个中等级别以上的bug。

    下面我们针对本月的一些重点的 新功能 以及Bug进行详细的说明:

    产品新特性

    1. 支持PHP 7.X,并全面兼容ThinkPHP开发框架

    随着3月份的好雨开发者大赛第一期开赛,平台的源码构建针对PHP 7版本进行了全面的升级,目前支持7.0.16 和7.1.2 ,并全面兼容ThinkPHP 5的开发框架。详情参见:PHP支持文档ThinkPHP 5框架支持文档

    2. 以应用为中心按需计费(公有云)

    云帮强调以应用为中心,用户的操作和维护的单元都是应用,去掉了所有的过程操作,如系统配置,环境配置等。目前公有云的计费方式也从团队账号按内存收费方式转变为以每个应用为计费单元,方便用户了解单个用户的资源使用情况,以及可以灵活的针对单个应用做资源和费用的调整。

    应用资源及费用详情

    系统新特性

    1. 全面支持一条命令安装云帮平台

    云帮在2017年1月份就已经支持了一条命令安装,但只支持单个节点,本月我们对这项特性进行了升级,同样是一条命令,可以对当前的云帮集群进行扩容操作。详情参见:快速开始

    2. SDN组件midonet-cni开源

    CNI(容器网络接口)是一种操作容器网络规范,包含方法规范,参数规范等。
    CNI只关心容器的网络连接,在容器创建时分配网络资源,并在删除容器时删除分配的资源。因为这个焦点,CNI有广泛的支持,规格易于实现。CNI接口只需要实现两个方法,一个创建容器时调用,一个删除容器时调用。

    更多技术细节参见:Kubernetes容器网络接口(CNI) midonet网络插件的设计与实现

    Bug修复列表

    • 解决了MySQL应用添加phpmyadmin应用后访问地址错误的问题

    • 修正从源码创建应用,语言未识别时,还可以点击下一步按钮的问题

    • 解决从云市安装应用选择租户流程的bug ( 公有云)

    • 解决新建应用时,新增依赖,找不到之前创建的应用(开启了对内服务)的问题

    • 解决云市中的应用,部署未完成时,不能删除的bug

    • 解决MySQL应用可以关联自身的bug

    • 修改端口绑定范围限制问题

    • 解决集群安装时计算节点网络组件安装失败的Bug

    2017年3月详细的特性及Bug修复列表请参见:云帮更新日志


    云帮产品每周会有一次产品迭代,社区版不会每周发布,我们会在每月的25统一更新社区版安装包。如果您需要及时的更新以及专业的服务请购买我们的云帮企业版

    展开全文
  • 最近新发布的Open Container Initiative 1.0版本规范是容器技术开发领域的里程碑,标志着正式进入创新的下一阶段。...“现在我们有了底层的标准,可以开始下一层面的工作了,”Gracely在一次采访中说道。

    640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1


    最近新发布的Open Container Initiative 1.0版本规范是容器技术开发领域的里程碑,标志着正式进入创新的下一阶段。


    这是Brian Gracely所说,他是Red Hat公司的产品策略总监,曾经是Wikibon的分析师,和SiliconANGLE同属同一家公司。“现在我们有了底层的标准,可以开始下一层面的工作了,”Gracely在一次采访中说道。


    该标准覆盖了容器的运行时和镜像规范,让软件应用程序无论迁移到什么样的计算环境里都能够保持一致的运行。OCI标准解决了最为重要的组件,该组件确保容器跨实现和平台时保持一致性。


    镜像组件定义了脚本如何告诉容器在启动前组装哪些部分。运行时陈述了在给定平台上运行二进制容器文件的标准。用Gracely的话来说,这两种技术很“枯燥”,但是它能够填补不同容器实现之间的裂缝。


    比如,在运行时组件的领域,“在Linux上有LXC,随后Docker格式出现并获得了很多关注,”Gracely说,“CoreOS有一个称为Rocket的版本,在安全方面稍有不同。它们都是很好的方案。OCI现在涵盖了这些不同组件。”这意味着开发人员可以构建,打包并且签署容器,同时能够在合规的引擎上运行。


    接下来会弄什么?

    640?wx_fmt=png


    这并不意味着initiative的工作已经完成了。这个组织,是Linux Foundation的子组织,还没有确定下一个项目,但是支持超过40个技术供应商的成就让它有机会去尝试更多野心勃勃的事情。


    Gracely希望以后的工作会包括安全和扫描。“大家想标准化的下一个事情围绕着如何做镜像的加密签名,这样用户就可以知道该镜像是来自于可信任的资源,并且没有被篡改过,”他说。扫描是“一种一致性的方式,确保一些人没有干坏事,比如在脚本里加一行而引入某个众所周知的漏洞。”


    OCI还可能会尝试让容器可以跨很多操作系统可用,包括Windows,Solaris和主机。“Windows和Docker[应用程序接口]兼容,但是Linux实现容器的方式和Windows实现的方式不同,”Gracely说。“OCI项目能够定义一种通用的方式和操作系统会话。”


    转向Kubernetes

    640?wx_fmt=png


    spec的发布还为开发人员扫清了障碍,让他们可以集中注意力到其他容器生态系统组件上,比如Kubernetes,它正在成为容器编排的实际标准。Linux社区还在开发轻量的,裁剪的操作系统版本,比如Red Hat Atomic,专为运行容器作了优化。


    “在标准发行版里,有很多东西其实你并不需要,因此很自然需要一种完全基于容器的Linux操作系统,”Gracely说。带来的好处是性能,稳定性和安全性,因为轻量的操作系统的攻击面更小。


    相关的开发还有无服务器计算,一种基于微服务的云原生的操作模型,动态管理底层基础架构的资源。它让开发人员可以关注于功能,而不用操心基础架构,并且只为使用了的资源付费,而不是根据使用服务器的时间。


    无论OCI剑指何处,该组织都证明了相互竞争的供应商是可以一起合作并推动标准的制定的。“现在每个主流企业都说,“好的,我很想贡献这些开源标准,因为我不想错过下一波大趋势,”Gracely说。这确保了没有一家公司会独占整个市场,将其标准强加到别的公司上,这是Microsoft之前20多年来干的事。”


    原文链接:https://siliconangle.com/blog/2017/09/26/technology-expert-says-release-open-container-spec-milestone-industry/


    深入学习Kubernetes

    640?wx_fmt=png


    本次培训内容包含:Kubernetes架构、Kubernetes安装、Kubernetes功能导览、监控解决方案、Kubernetes高阶——设计和实现、Kubernetes落地实践等,点击识别下方二维码加微信好友了解具体培训内容


    640?wx_fmt=jpeg


    点击阅读原文链接即可报名。
    展开全文
  • 就目前个人观察到的情况,一些负责基础性组件测试的团队,比如底层平台、SDK等,或者是负责功能通用性高的产品,比如防火墙、邮件系统等,都可以做到比较高的自动化率,而且自动化测试开发的过程通常也没有那么纠结...
  •  《互联网世界观:思维的起点,商业的引爆点》不是一简单的“互联网思维”的商战之书  它是站在传统工业时代的边界,试图探寻互联网时代的生存方式。  你以为你的对手是友商,其实你的对手是时代。时代颠覆的...
  • – 安全、基础设施、底层硬件层面问题尤其严重,供需平衡差值分别为17%、16%和13% 主要短板 – 超过三成厂商和用户均认为兼容性、可扩展性和产品性能是现阶段信创生态主要短板 – 厂商方面认为技术和价格方面也许...

空空如也

空空如也

1 2 3 4 5 ... 9
收藏数 178
精华内容 71
关键字:

本产品层面底层产品层面