精华内容
下载资源
问答
  • Hive表命名规范

    2020-09-30 17:47:38
    一、命名规则 业务产品_层名_计算周期&&统计周期_类型_存储类型_的业务含义 举个例子: 1.浏览器业务产品的 每天计算的 hive 搜索事件的 事实 明细数据 browser_dwd_dd_face_hive_search 2.浏览器...

    Hive表命名规范

    一、命名规则

    业务产品_层名_计算周期&&统计周期_表类型_存储类型_表的业务含义
    
    举个例子:
    1.浏览器业务产品的 每天计算的 hive 搜索事件的 事实表 明细数据
     browser_dwd_dd_face_hive_search
    2.浏览器业务产品 每天全量 城市 hive维表
     browser_dim_da_dic_hive_city
    3.浏览器业务产品 每天 搜索网站 次数统计 排名
     browser_al_dd_rpt_hive_search_web_rank
    4.浏览器业务产品 每天全量月活跃用户hive明细表
     browser_dwd_dm_shuffle_hive_user_active
    

    二、业务产品名

    举例,如:浏览器(browser)

    三、层名

    四层数据层次加一层维度层

    ODS(数据接入层)

    DWD(明细层)

    MID(中间汇总层)

    AL(应用层)

    DIM(维度层)

    四、计算周期&&统计周期

    调度周期: 脚本调度运行的周期。

    统计粒度:统计指标的时间粒度。

    代号如下:

      • i: 分钟
      • h: 小时
      • d: 天
      • w: 周
      • m: 月
      • q: 季度
      • y: 年

    如: dd: 表示以天为统计运行脚本,数据的统计周期为天。

    ​ dh: 表示以天为统计运行脚本,数据的统计周期为小时。

    注意:如果数据周期为全量数据,命名为da

    五、表类型

    表的分类名称(比如:字典表,增量表,快照表,业务数据统计表等)

    src shuffle fact inc snap rpt out dic
    ods
    dwd
    mid
    al
    dim
    • src: ODS层源数据表

    • fact: 明细层多维分析模型中的主题事实表。

    • shuffle: 明细层中3NF模型明细表、以及其他ET明细表

    • inc: 聚合层增量表: 一段时间周期内有行为的实体的统计信息。

    • snap: 聚合层快照表:全量实体从初始到当前时刻的统计信息。

    • rpt: 应用层业务统计报表。

    • out: 应用层数据服务输出数据。

    • dic: 维度总线字典表、Anchor建模实体配置表。

      注意: inc与snap互斥 rpt与out互斥

    • ods层:是 src

    • dwd层:是shuffer或是fact表

    • mid层:是inc或snap表

    • al层:是out或是rpt表

    • dim层:是dic

    六、存储类型

    • 创建的为hive表,则自动填充为 hive
    • 创建的为view,自动填充为view

    七、表业务含义

    根据业务含义定义:如搜索(search),展现(show),点击(click)等

    展开全文
  • 好的学习路线图会为你指明学习方向,帮助你更好的把握整体的学习节奏,同时也...☯ 入门篇✎ 了解C语言 C语言历史 C语言特点✎ 算法 什么是算法 算法怎么描述✎ 数据类型 变量命名规则 基本数据类型有哪些 常量、变...

    好的学习路线图会为你指明学习方向,帮助你更好的把握整体的学习节奏,同时也避免浪费大量时间在学习一些不太可能会用到的东西上,另外你也可以参照C语言学习路线图实时把控自己的学习进度。

    ☯ 入门篇

    ✎ 了解C语言

    C语言历史

    C语言特点

    ✎ 算法

    什么是算法

    算法怎么描述

    ✎ 数据类型

    变量命名规则

    基本数据类型有哪些

    常量、变量

    ✎ 运算符与表达式

    什么是表达式

    什么是运算符

    运算符和表达式有什么关系

    ✎ 常用输入输出函数

    字符,字符串输入输出

    其他类型格式化输出

    ✎ 选择程序结构

    if语句、if...else语句

    if嵌套

    双目运算符

    switch语句

    ✎ 循环控制

    什么是循环

    while循环

    do...while循环

    for循环

    转移语句 break、contunue

    fd756bbfdf77b6dd2c0e8f137d659bd7.png

    ☯ 进阶篇

    ✎ 数组

    什么是数组

    一维数组、二维数组、字符数组

    数组的初始化方式

    数组的应用

    ✎ 数组常用的排序算法

    选择排序

    冒泡排序

    插入排序

    ✎ 函数

    函数是what

    函数返回值、参数、以及如何调用

    ✎ 指针

    指针是什么

    数组与指针

    二级指针

    指针变量做函数参数

    指针函数与函数指针

    ✎ 字符串

    字符串复制

    字符串连接

    字符串比较

    字符串长度获取、大小写转换

    84067687071fe80a60e203c483e6a921.png

    ☯ 终极篇

    ✎ 结构体和共用体

    结构体概念

    结构体的定义、使用、初始化

    结构体数组

    结构体指针

    ✎ 链表

    共用体的概念

    共用体的初始化

    共用体内部数据特点

    ✎ 位运算

    位与字节

    与、或、取反、异或、左移、右移运算符

    ✎ 预处理

    宏定义

    #inlcude指令

    条件编译

    ✎ 文件操作

    文件基本操作--打开、关闭

    文件读写

    ✎ 内存管理

    内存组织方式

    动态内存管理

    98a07416156e2a037d2b62575bfca4b7.png

    以上内容学完至少大约需要一个月,仅理解记忆,精通还得在项目实战中得到提升!加油!

    对于热爱编程的小伙伴来说,路再难走也要坚持走下去!如果你感兴趣或者有需求的话,笔者这里强烈推荐一个编程技术学习交流聚集地→C/C++编程入门教学视频!还有完整的学习路线图和学习文件视频哦,小白和大神们正在等着你一起探讨编程,极佳的学习氛围!

    c53884e4440fe63d6ff6b0339db57358.png
    展开全文
  • 1、基础数据提供 ...属性文件(数据库)中包含各类管线(如:雨水、污水等)的数据,每类管线分为两个数据存放,命名规则为: (1)管段:XX_LINE; (2)管点:XX_POINT; 例如,雨水的管...

    1、基础数据提供
    提供的管线属性文件;属性文件需提供测绘录入的管线坐标和属性数据,数据格式为 Access*.MDB。属性文件(数据库)应包括以下内容:管点、管段,其中管点里包括附属物等属性。

    2、属性文件命名规范
    属性文件(数据库)中包含各类管线(如:雨水、污水等)的数据表,每类管线分为两个数据表存放,命名规则为:

    (1)管段表:XX_LINE;

    (2)管点表:XX_POINT;

    例如,雨水的管线表包含以下两个表:YS_LINE,YS_POINT。

    3、管线详细表结构
    在mdb中,要保证不能为空的字段存在;而且字段的名称和下边两个表要保持一致,如果mdb提供的数据中,在同一意思字段,名称略有差别,请以下边为标准字段名称。

    (1)管点表
    在这里插入图片描述
    (2)管段表
    在这里插入图片描述
    (3)管点字段 “附属物” 已知管井类型
    如有类型添加,请提前告知
    在这里插入图片描述
    (4)管点字段 “附属物” 已知其他附属物类型
    如有类型添加,请提前告知
    在这里插入图片描述

    (5)管点字段 “特征” 已知管线连接类型
    如有类型添加,请提前告知
    在这里插入图片描述

    (6)管点字段 “特征” 已知阀门类型
    如有类型添加,请提前告知
    在这里插入图片描述
    根据以上数据,实现skyline三维地下管线数据的生成,并完成数据建库步骤。

    更多文章请关注公众号查看:
    在这里插入图片描述

    展开全文
  • 运行环境import matplotlib.pyplot as pltimport osimport tensorflow as tfimport tensorflow.contrib.eager as tfe实验内容某地区的多个罗非鱼池塘水样数据,...每个水质图片命名规则是“类别-编号.jpg”,如“1...

    运行环境import matplotlib.pyplot as plt

    import os

    import tensorflow as tf

    import tensorflow.contrib.eager as tfe

    实验内容

    某地区的多个罗非鱼池塘水样数据,包含水产专家按水色判断水质分类的数据,以及用数码相机按照标准进行水色采集的数据,如表1和图1所示。每个水质图片命名规则是“类别-编号.jpg”,如“1_1.jpg”是第一类样本的图片。请根据这些样本,利用数字图像处理技术,通过水色图像实现水质的自动评价。

    实验过程

    观察样本图片,发现其几乎每张图片都有背景噪声,所以需要先对图像进行预处理,如下代码:

    输入fromdir为图片文件夹,todir为输出文件夹。

    对处理过的图片进行HSV颜色矩提取并打上标签:

    接下来编写神经网络相关代码:

    分析csv数据:

    读取颜色矩:

    定义网络变量:class NNetConfig():

    num_classes = 5 # 多分类的种类

    num_epochs = 500 # 训练总批次

    print_per_epoch = 100 # 每训练多少批次时打印训练损失函数值和预测准确率值

    # layersls = [9, 20, 30,60,120,60,30, 20, 5] # 极其不稳定

    # layersls = [9, 20, 30, 60, 120, 60, 30, 20, 5] # 【输入,隐藏各层节点数,输出】 500轮90%一般,2000轮100%完全拟合

    layersls = [9, 20, 60, 20, 5] # 【输入,隐藏各层节点数,输出】 500轮 90%稳定 2000轮过拟合

    learning_rate = 0.01 # 网络学习率

    train_filename = './clour/xunshu.csv' # 训练数据

    test_filename = './clour/ceshu.csv' # 测试数据

    best_model_savepath = "./dnn/" # 最好模型的存放文件夹

    编写网络:class NNet(object):

    def __init__(self, config):

    self.config = config

    self.layersls = config.layersls

    self.NNet()

    def NNet(self): # 根据给出的输入输出及每层网络的节点数搭建深度学习网络

    """

    根据给出的输入输出及每层网络的节点数搭建深度学习网络

    :param layersls: 【输入,隐藏各层节点数,输出】

    :return:

    """

    model = tf.keras.Sequential()

    for i in range(len(config.layersls)):

    if (i == 0): # 确定网络的输入和网络的第一层节点数

    model.add(tf.keras.layers.Dense(config.layersls[1],

    activation="relu",

    input_shape=(config.layersls[0],)))

    i += 1

    elif (i == len(config.layersls) - 1): # 确定网络的输出

    model.add(tf.keras.layers.Dense(config.layersls[i]))

    else: # 网络的各隐藏层节点数

    model.add(tf.keras.layers.Dense(config.layersls[i],

    activation="relu"))

    return model

    剩下详细代码自行下载阅读

    实验结果

    运行zero_slip.py输出如下:\1. filename **is** :2_6.jpg

    \2. the fulll name of the file **is** :.\xun\2_6.jpg

    \3. parent **is** :.\xun

    \4. filename **is** :2_7.jpg

    \5. the fulll name of the file **is** :.\xun\2_7.jpg

    \6. parent **is** :.\xun

    \7. ​

    \8. the fulll name of the file **is** :.\xun\5_5.jpg

    \9. parent **is** :.\xun

    \10. filename **is** :5_6.jpg

    \11. the fulll name of the file **is** :.\xun\5_6.jpg

    \12. 训练集集切割完毕

    切割图像部分如下:

    如图所示切割完整,效果良好。

    运行first_feature.py进行特征提取:1. 以输出颜色矩到./clour/ceshu.csv

    2. 以输出颜色矩到./clour/xunshu.csv

    输出完整。

    运行second_train.py:

    输出loss值和准确率值:

    \1. ​

    \2. 当前最高准确率:0.455:

    \3. Epoch 000: Loss: 6.768, Accuracy: 45.455%, isBest:*

    \4. 当前最高准确率:0.591:

    \5. Epoch 100: Loss: 1.072, Accuracy: 59.091%, isBest:*

    \6. 当前最高准确率:0.636:

    \7. Epoch 200: Loss: 0.787, Accuracy: 63.636%, isBest:*

    \8. 当前最高准确率:0.727:

    \9. Epoch 300: Loss: 0.613, Accuracy: 72.727%, isBest:*

    \10. Epoch 400: Loss: 0.723, Accuracy: 68.182%, isBest:

    \11. 开始对已训练网络进行测试:

    \12. ​

    \13. 测试数据的测试结果为: 72.727%

    \14. tf.Tensor(0.7272727272727273, shape=(), dtype=float64)

    \15. 预测下面1个水质颜色矩的类别(正确答案为:三):

    \16. [[29.5469, 146.3947, 123.1732, 0.864407537, 5.590716583, 1.752484454, 1.029934609, 6.391303213, 2.040322913]]

    \17. ['三']

    最后输出正确的验证结果。

    运行th_app.py并输入图片地址 ./cep/1_50.jpg :1. 输入图片地址:./cep/1_50.jpg

    2. 此图片为:['一']

    结果正确。

    展开全文
  • 辅助工具之VBA(三)

    2019-01-23 23:43:43
    所有的Bean等命名都需要遵循统一的命名规则,使用相同的字典。这样才能进一步实现一系列自动化。 简单说说算法。做工具,是练习算法设计的好方法。 上回书说,生成断言,和把数据绑定到对象中。这些都是基于上回的...
  • C语言基础——数组

    2020-10-08 14:35:56
    说明:(1)数组名的命名规则遵循标识符命名规则    (2)数组下标从0开始,如a[10]下标为0-9,不存在a[10]    (3)C语言规定,常量表达式不允许做动态定义,如下面这样定义数组是不允许的,数组的大小不能...
  • C语言之数组

    2021-03-09 19:15:09
    1.数组名的命令规则和变量名的相同,即遵循标识符命名规则。 2.在定义数组时,需要指定数组中元素的个数,方括号中的常量表达式用来表示元素的个数,即数组长度。 3.常量表达中可以包含常量和符号常量,但不能包含...
  • C语言_数组

    2020-06-28 12:30:27
    (2)数组命名规则和变量名相同 C语言中数组不可以动态定义 数组下标从0开始 a[0] 怎么引入一数组元素 数组名[下] (3)一数组的初始化 int a[4]={0,1,2,3}; 也可以写成 int a[]={0,1,2,3}; (4)一...
  • 2020.12.21总结

    2020-12-21 22:30:41
    数组命名,变量命名,函数命名,结构命名规则相同 方括号中的“常量表达式”用于表示数组元素的个数,即数组的长度。数组元素下标从0开始,不能为负数,下标的最大值由“常量表达式”的值减1确定 与简单变量不同的...
  • C语言简单笔记之九

    2020-07-09 20:59:19
    数组的命名规则与变量相同。在同一函数中数组名不能与其他变量名重名 2.数组名是一个地址常量,不能对其进行赋值和取地址(&)运算 3.一数组元素的引用 数组必须先定义后引用。在引用时只能逐个引用数组元素而不...
  • origin 8 教程

    热门讨论 2010-01-25 12:44:09
    1.3.3命名规则 1.3.4项目管理 1.3.5编程窗口 1.4定制Origin软件 1.4.1TextFonts选项卡 1.4.2Page选项卡 1.4.3Miscellaneous选项卡 1.4.4Excel选项卡 1.4.5Open/Close选项卡 1.4.6NumericFormat选项卡 1.4.7...
  • 数据仓库设计之模型

    2020-06-03 22:30:33
    数据仓库数据模型是指使用实体、属性及其关系对企业运营和逻辑规则进行统一的定义、编码和命名 业务系统模型 数据仓库模型 针对是操作型数据 针对是分析型数据 面向是业务 面向是主题 事务型,大量的...
  • C语言 大学实用教程 第三版

    热门讨论 2013-07-22 14:14:38
    7.8.2命名规则 7.8.3函数设计 7.8.4防御性程序设计 7.9本章小结 习题7 第8章结构体与共用体 8.1结构体的应用场合 8.2结构体类型与结构体变量 8.2.1结构体类型的声明 8.2.2用typedef定义结构体类型 8.2.3...
  • 贪婪规则二、第二高准则:高效性1.数组下标0索引2、逻辑短路3、微调控制能力4、编译自主性三、第三准则:合乎日常习惯1.内置函数命名2.二数组下标表示总行数和总列数3.运算的优先级四、相似相同原则 一、最高准则...
  • • 不规则时间序列和现金流量的净现值与内部收益率 • 考虑融资成本和再投资收益的内部收益率 • 直线折旧法 • 年限总和折旧法 • 固定余额递减折旧法 • 双倍余额递减折旧法 • 可变余额递减法的累计折旧 • 累计...
  • 1.10 书写程序时应遵循的规则 1.11 C语言的字符集 1.12 C语言词汇 1.13 Turbo C 2.0 集成开发环境的使用 1.13.1 Turbo C 2.0 简介和启动 1.13.2 Turbo C 2.0 集成开发环境 1.13.3 File菜单 1.13.4 Edit 菜单 ...
  • 1.10 书写程序时应遵循的规则 1.11 C语言的字符集 1.12 C语言词汇 1.13 Turbo C 2.0 集成开发环境的使用 1.13.1 Turbo C 2.0 简介和启动 1.13.2 Turbo C 2.0 集成开发环境 1.13.3 File菜单 1.13.4 Edit 菜单 ...
  • 在本实验中发现,一个XML文档可以通过平面的形式、或者层次的形式来表示多个关系数据库中的二维表,那么哪种方式更合适,为什么? [提交时间及内容] 最后提交时间 2013年?月?日 提交内容 提交SpyBase1.xml、...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式 生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...
  • 1145.3 向中添加记录 1145.4 选择、追加、替换和删除记录 1155.5 验证数据输入 1165.5.1 添加字段级有效性规则 1165.5.2 添加级有效性规则和使用表达式生成器 1185.6 向Personnel Actions添加记录 1195.7 ...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 128
精华内容 51
关键字:

维表命名规则