每年的十一月都是各位剁手党买买买的季节，今年更加特殊，1号凌晨30分尾款一支付，最快快递包裹五分钟内，即00:35分快递已经到杭州萧山的李先生的手上的，大数据时代真的足够可怕。为了让双11包裹提速，菜鸟数字供应链今年与更多品牌商家合作，通过智能预测，把预售订单提前下沉到配送网点和社区，尾款一支付，用最快的速度将快递送到您手上。大数据时代着实惊人。
然而各行业商家肯定关注的是自己行业内哪类产品是最受欢迎，销量最佳，成价额最高的，客户评论情感倾向，但想要知道这些数据对于不懂数据获取的商家门来说肯定是可望而不可即的。
想要这些数据肯定是需要千万数据支撑的如以下的淘宝评论数据，这是数据的分析的底层，想要获得结果的必经之路



可能在很多人眼里，觉得这辈子都不可能会运用大数据，更别说让大数据给自己带来商业辅助了。
不知道您是否对大数据有何见解呢

了解更多电商数据抓取分析：http://cloud.yisurvey.com:9081/html/1d3e52e7-f130-4b08-8f2c-8c54d7ae676d.html

    
面向文档的数据
Schema 设计原则

在任何数据库系统中建模数据时，下面这些问题都需深思熟虑。
数据的基本单元是什么？

RDBMS中有带行列的数据表，键值存储中有指向不定类型值的键，MongoDB中数据的基本是BSON文档。
如何查询并更新数据？

RDBMS有即时查询和联结操作查询，MongoDB也有即时查询但不支持联结操作，键值存储只能根据单个键获取值。
应用程序的访问模式是什么？

除了理解数据的基本单元和数据库的特性，还需明确应用程序的需求。
在确定理想的数据模型前，必须问无数个与应用程序有关的问题，读写比是多少？需要何种查询？数据是如何更新的？能想到什么并发问题？数据的结构化程度如何？
设计电商数据模型
电商站点通常要求有事务，而事务是RDBMS的主要特性。
产品分类
> var doc={
    slug:"gardening-tools",
    ancestors:[
        {name:"Home",slug:"home"},
        {name:"Outdoors",slug:"outdoors"},
    ],
    parent_id:ObjectId(),
    name:"Gardening Tools",
    description:"Gardening gadgets galore!"
};

> db.categories.insert(doc);

> db.categories.find();
{
    "_id" : ObjectId("5a05b1e6f156220da1caf69e"),
    "slug" : "gardening-tools",
    "ancestors" : [ 
        {
            "name" : "Home",
            "slug" : "home"
        }, 
        {
            "name" : "Outdoors",
            "slug" : "outdoors"
        }
    ],
    "parent_id" : ObjectId("5a05b1e6f156220da1caf69d"),
    "name" : "Gardening Tools",
    "description" : "Gardening gadgets galore!"
}

产品信息
存放基本产品信息，如产品名称、SKU，其他表用来关联送货信息和价格历史、属性等等。
# 创建数据库
> use eshop;
#创建文档
> var doc = {
    slug:"wheel-barrow-9902", // URL短名称，需设置唯一性索引。
    sku:"9902",
    name:"Extra Large Wheel Barrow",
    description:"Heavy duty wheel barrow...",
    // 产品详情
    detail:{
        weight:47,// 重量
        weight_units:"lbs", // 计量单位
        model_num:4039283402,//厂商型号代码
        manufacturer:"Acme",
        color:"Green"//颜色
    },
    
    total_reviews:4,
    average_reviews:4.5,
    // 当前价格
    pricing:{
          retail:589700, //零售价
          sale:489700//特价
        },
        //历史价格
    price_history:[
        {retail:529700, sale:429700, start:new Date(2017,11,23), end:new Date(2017,12,21)},
        {retail:529700, sale:529700, start:new Date(2017,10,21), end:new Date(2017,10,30)}
    ],
    // 产品分类
    category_ids:[ 
          new ObjectId('5a05b1e6f156220da1caf69e')
        ],
    main_cat_id: ObjectId(),
    // 产品标签
    tags:['tools', 'gardening', 'soil']
};
# 插入文档
> db.products.insert(doc);
# 设置索引
> db.products.ensureIndex({slug:1},{unique:true})
> db.getCollection('products').ensureIndex({slug:1},{unqiue:true})

根据分类中的产品
> db.products.find({category_ids=>category['id']});
Error: Line 1: Unexpected token =>

查看指定产品的所有分类
db.categories.find({_id:{$in:product['category_ids']}});
ReferenceError: product is not defined :
@(shell):1:26

作者: 安吉 来源: 亿恩网 2019-07-24 16:06 
在谷歌上搜索的消费者表达了一种需求，来自这些搜索的数据对卖家和营销人员来说是强大的。
谷歌关键词规划师工具Keyword Planner提供了关于搜索的统计信息，比如“estimated search volume”(估计搜索量)，虽然这个指标很有用，但它也不够精确。
电商卖家可以从监控广泛的搜索趋势(如季节性的)中获益，而不是专注于特定的术语。毕竟，许多产品都是季节性的。举例来说，“sun dress”(背心裙)是常见的夏季服装，北半球的购物者们在二月就对这类服装产生了兴趣。因此，搜索优化应该至少在1月份开始关注sun dress产品。
如何获取数据
Google Trends报告了搜索词在不同地区的相对流行程度，这有助于确定消费者什么时候开始考虑sun dress。虽然它可能曾经出现在谷歌的路线图上，但是官方的Google Trends API是不可用的。有用户尝试了一些非官方的API，但是没有获得可伸缩的数据集。
因此，从Google Trends获取数据的最简单方法是在Trends网站看数据或通过.csv导出数据。
虽然手动输入每个关键词可能并不快，但你可以通过有选择地选择关键词来加快研究。Google Trends中的许多搜索项不报告数据，可能是他们还不够受欢迎。
根据经验，即使你搜索长尾短语，Google Trends显示的趋势线类型通常与主要搜索项相同。例如，“red sun dress”有图表，但它与“sun dress”的季节性趋势相同，从2月份开始倾斜。
如何下载数据
通过点击曲线图右上方的向下箭头图标下载数据，如上图所示。导出是基本的，在电子表格中绘制数据可以提供类似的折线图，如Google Trends网站所示。
记住，数据不是估计的搜索计数，而是一个受欢迎程度的相对分数——广泛的、方向性的信息。
如何应用数据
使用Google Trends数据将为推广产品提供各种日历——例如，2月份的sun dress。
大多数卖家可能销售了多款产品，无法细致地去优化每一个产品或类目，因此，分析其他指标可能会有帮助，例如↓↓
1，历史销售：虽然消费者可能会感兴趣，但你的网站是否要在2月份销售sun dress？用历史数据验证。
2，估计搜索量：一个搜索量高的产品可能会产生更多的销量。
在了解一个产品的热门程度或爆发趋势时，安吉也经常使用Google Trends，卖家小伙伴们也不妨试试。
注：文/安吉，网站：亿恩网，本文为作者独立观点，不代表亿邦动力网立场。
【版权提示】亿邦动力网倡导尊重与保护知识产权。未经许可，任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题，烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至run@ebrun.com，我们将及时沟通与处理。 

5.1 构建电商用户画像技术和流程

构建一个用户画像，包括数据源端数据收集、数据预处理、行为建模、构建用户画像
有些标签是可以直接获取到的，有些标签需要通过数据挖掘分析到！
5.2 源数据分析

用户数据分为2类：动态信息数据、静态信息数据
静态信息数据来源：
Ø 用户填写的个人资料，或者由此通过一定的算法，计算出来的数据
Ø 如果有不确定的，可以建立模型来判断，比如用户的性别注册没有填写，可以建立模型，根据用户的行为来判断用户性别是什么，或者它的概率
动态信息数据来源：
Ø 用户行为产生的数据：注册、游览、点击、购买、签收、评价、收藏等等。
Ø 用户比较重要的行为数据：游览商品，收藏商品、加入购物车、关注商品
根据这些行为特性可以计算出：用户注册时间、首单时间、潮妈族、纠结商品、最大消费、订单数量、退货数量、败家指数、品牌偏好等等。
5.3 目标分析
用户画像的目标是通过分析用户行为，最终为每个用户打上标签，以及该标签的权重。
如，红酒 0.8、李宁 0.6。
标签：表现了内容，用户对该内容有兴趣、偏好、需求等等。
权重：表现了指数，用户的兴趣、偏好指数，也可能表现用户的需求度，可以简单的理解为可信度，概率。
5.4 用户画像建模5.4.1 用户基本属性表
根据用户所填写的属性标签和推算出来的标签。用于了解用户的人口属性的基本情况和按不同属性维度统计。
作用：按人口属性营销、比如营销80后，对金牛座的优惠，生日营销。
主要数据来源：用户表、用户调查表、孕妇模型表、马甲模型表。
用户表：记录用户最基本的属性特性。
用户调查表：补充用户的其他基本信息。
用户所填写的基本信息：用户ID、用户名、密码、性别、手机号、邮箱、年龄、户籍省份、×××编号、注册时间、收货地址等
用户所填信息计算得到的指标：
生日、星座、城市等级、手机前几位、手机运营商、邮件运营商
用户调查表得到：学历、收入、职业、婚姻、是否有小孩、是否有车有房、使用手机品牌。
根据算法得到:
身高、体重、性别模型、孩子性别概率、潜在汽车用户概率、是否孕妇、孩子年龄概率、手机品牌、更换手机频率、是否有小孩，是否有车，使用手机档次，疑似马甲标准、疑似马甲账号数、用户忠诚度、用户购物类型。
模型算法---性别模型
Ø 用户自己也填写了性别，但仍然要用算法算一次性别

Ø 性别验证方法
随机抽样几千条数据让客户打电话确认。
与用户自己填的性别做对比，确认百分比。
模型算法---用户汽车模型

模型算法---用户忠诚度模型
Ø 忠诚度越高的用户越多，对网站的发展越有利

模型算法---用户身高尺码模型

模型算法---用户马甲标志模型
Ø 马甲是指一个用户注册多个账号
Ø 多次访问地址相同的用户账号是同一个人所有
Ø 同一台手机登陆多次的用户是同一个人所有
Ø 收货手机号相同的账号同一个人所有
模型算法---手机相关标签模型
Ø 对于手机营销参考意义比较大
Ø 使用手机品牌: 最常用手机直接得到
Ø 使用手机品牌档次：根据档次维表
Ø 使用多少种不同的手机：手机登陆情况
Ø 更换手机频率（月份):按时间段看手机登陆情况
5.4.2 客户消费订单表
根据客户消费的情况提取的客户标签，用于了解用户的消费总体情况，
最终的目的根据用户消费习惯与消费能力做营销。
主要数据来源：订单表、退货表、用户表、购物车表
订单表可以得到相关标签：

退货表可以得到相关标签：

购物车表可以得到相关标签：

订单表和用户表可以得到相关标签：

5.4.3 客户购买类目表
根据客户购买类目的情况提取客户标签，用于了解类目的购买人群情况和针对某一类目的营销等。
主要数据来源：订单表、购物车表、类目维表
类目维表可以得到相关标签：

电商的三级类目：
京东商城：

淘宝：

订单表和类目维表可以得到相关标签：

购物车表和类目维表可以得到相关标签：

5.4.4 用户访问信息表
根据客户访问的情况提取相关客户标签。
用于了解用户的访问总体情况，方便根据客户游览习惯做营销
主要数据来源：点击流日志行为表（PC/APP端）
点击流日志行为表可以得到相关标签: