精华内容
下载资源
问答
  • {"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,...社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":...

    {"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台;社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":"https://developer.aliyun.com/group/?spm=a2c6h.12883283.1377930.25.7287201c9RKTCi&groupType=other","link":"https://developer.aliyun.com/","icon":"https://img.alicdn.com/tfs/TB1TlXBEkT2gK0jSZPcXXcKkpXa-200-200.png","btn2":"开发者藏经阁","tip":"打通开发者成长路径,学习中心 。全线阿里云技术大牛公开课,立即查看","btn1":"技术与产品技术圈","link2":"https://developer.aliyun.com/topic/ebook?spm=a2c6h.12883283.1362932.15.7287201c9RKTCi","title":"阿里云开发者社区"}],"search":[{"txt":"学习中心","link":"https://developer.aliyun.com/learning?spm=a2c6h.13788135.1364563.41.299f5f24exe3IS"},{"txt":"技能测试中心 ","link":"https://developer.aliyun.com/exam?spm=a2c6h.13716002.1364563.42.6cac18a3JWCM5U"},{"txt":"开发者云 ","link":"https://developer.aliyun.com/adc/?spm=a2c6h.13716002.1364563.59.6b0818a3DV0vzN"},{"txt":"在线编程 ","link":"https://developer.aliyun.com/coding?spm=5176.13257455.1364563.57.701e7facHvqi5r"},{"txt":"学习中心 ","link":"https://developer.aliyun.com/learning?spm=a2c6h.12883283.1364563.41.5f1f201c5CLDCC"},{"txt":"高校计划 ","link":"https://developer.aliyun.com/adc/college/?spm=a2c6h.13716002.1364563.58.6cac18a3JWCM5U"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}}}

    {"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台;社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":"https://developer.aliyun.com/group/?spm=a2c6h.12883283.1377930.25.7287201c9RKTCi&groupType=other","link":"https://developer.aliyun.com/","icon":"https://img.alicdn.com/tfs/TB1TlXBEkT2gK0jSZPcXXcKkpXa-200-200.png","btn2":"开发者藏经阁","tip":"打通开发者成长路径,学习中心 。全线阿里云技术大牛公开课,立即查看","btn1":"技术与产品技术圈","link2":"https://developer.aliyun.com/topic/ebook?spm=a2c6h.12883283.1362932.15.7287201c9RKTCi","title":"阿里云开发者社区"}],"search":[{"txt":"学习中心","link":"https://developer.aliyun.com/learning?spm=a2c6h.13788135.1364563.41.299f5f24exe3IS"},{"txt":"技能测试中心 ","link":"https://developer.aliyun.com/exam?spm=a2c6h.13716002.1364563.42.6cac18a3JWCM5U"},{"txt":"开发者云 ","link":"https://developer.aliyun.com/adc/?spm=a2c6h.13716002.1364563.59.6b0818a3DV0vzN"},{"txt":"在线编程 ","link":"https://developer.aliyun.com/coding?spm=5176.13257455.1364563.57.701e7facHvqi5r"},{"txt":"学习中心 ","link":"https://developer.aliyun.com/learning?spm=a2c6h.12883283.1364563.41.5f1f201c5CLDCC"},{"txt":"高校计划 ","link":"https://developer.aliyun.com/adc/college/?spm=a2c6h.13716002.1364563.58.6cac18a3JWCM5U"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}}}}

    展开全文
  • 基于Python实践工业大数据相关分析有什么用,能给出什么样的结论?相关分析是大数据一个最重要的核心思维,本文重点基于Python,以及Pandas工具实践复相关分析算法,并以实际工业大数据场景回答相关分析的用处和结论...

    0. 前言

    最近,在做成品油油库大数据产品研发过程中,我使用Person相关算法做分析[1],例如对发油系统中各项数据做相关分析,给出了“皮尔逊相关热力图”。

    设计讨论会上,领导说:相关分析有什么用?能给出什么样的结论?在相关分析中,两两数据项关系意义不大,能否看到整体相关关系?

    近些年来,“大数据”这个词早已为大众所熟悉,“大数据”也一直是以高冷的形象出现在大众面前,面对大数据,相信许多人都一头雾水。

    大数据时代,“我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。[3]”。关于大数据思想请参考[3],本文不再累述。

    1. 背景

    工业大数据是互联网、大数据和工业产业相结合的产物。它是2025年中国制造、工业互联网、工业4.0等国家战略的立足点。

    德国工业已经完成了工业自动化的过程,在自动化的基础上,以工业数据为基础,引入云计算和人工智能技术来提高工业的智能化水平,以满足社会对大规模定制生产的需求。美国拥有强大的云计算、互联网和数据处理能力。在此基础上,提出了一种通过大数据将单个设备、一条生产线和一家工厂的数据连接起来的工业互联网策略。挖掘工业服务业在诊断、预测、售后服务等方面的价值。[4]

    大数据在工业企业中的应用主要体现在三个方面:

    • 一种是基于数据的产品价值挖掘。通过对产品和相关数据进行二次挖掘,可以创建新的价值。
    • 二是提高服务型生产水平。提高以服务为导向的生产,就是要提高服务价值在生产(产品)中的比重。
    • 三是创新经营模式。

    专业咨询机构给出“工业大数据的八大应用场景 ”,分别是:

    • 一、加速产品创新
    • 二、产品故障诊断与预测
    • 三、工业物联网生产线的大数据应用
    • 四、工业供应链的分析和优化
    • 五、产品销售预测与需求管理
    • 六、生产计划与排程
    • 七、产品质量管理与分析
    • 八、工业污染与环保检测

    2. 什么是相关性

    “万物皆有联”,是大数据一个最重要的核心思维。

    所谓联,这里指的就是事物之间的相互影响、相互制约、相互印证的关系。而事物这种相互影响、相互关联的关系,就叫做相关关系,简称相关性。

    数学变量相关关系。[6]

    相关关系:当一个或几个相互联系的变量取一定的数值时,与之相对应的另一变量的值虽然不确定,但它仍按某种规律在一定的范围内变化。变量间的这种相互关系,称为具有不确定性的相关关系。

    按程度分类
    ⑴完全相关:两个变量之间的关系,一个变量的数量变化由另一个变量的数量变化所惟一确定,即函数关系。
    ⑵不完全相关:两个变量之间的关系介于不相关和完全相关之间。
    ⑶不相关:如果两个变量彼此的数量变化互相独立,没有关系。

    按方向分类
    ⑴正相关:两个变量的变化趋势相同,从散点图可以看出各点散布的位置是从左下角到右上角的区域,即一个变量的值由小变大时,另一个变量的值也由小变大。
    ⑵负相关:两个变量的变化趋势相反,从散点图可以看出各点散布的位置是从左上角到右下角的区域,即一个变量的值由小变大时,另一个变量的值由大变小。

    按形式分类
    ⑴线性相关(直线相关):当相关关系的一个变量变动时,另一个变量也相应地发生均等的变动。
    ⑵非线性相关(曲线相关):当相关关系的一个变量变动时,另一个变量也相应地发生不均等的变动。

    按变量数目分类
    ⑴单相关:只反映一个自变量和一个因变量的相关关系。
    ⑵复相关:反映两个及两个以上的自变量同一个因变量的相关关系。
    ⑶偏相关:当研究因变量与两个或多个自变量相关时,如果把其余的自变量看成不变(即当作常量),只研究因变量与其中一个自变量之间的相关关系,就称为偏相关。

    大数据让很多以前听起来匪夷所思的事情都可以实现,因为过去我们做事都讲确定性,现在我们讲可能性。

    在工业控制系统中,各个系统相关关系如何体现呢?本文重点探讨相关关系与因果关系,相关性与影响因素分析,以及实现算法方案。

    2.1. 相关关系

    相关分析与回归分析在实际应用中有密切关系。然而在回归分析中,所关心的是一个随机变量Y对另一个(或一组)随机变量X的依赖关系的函数形式。而在相关分析中 ,所讨论的变量的地位一样,分析侧重于随机变量之间的种种相关特征。例如,以XXYY分别记小学生的数学与语文成绩,感兴趣的是二者的关系如何,而不在于由XX去预测YY

    例如,皮尔逊相关系数( Pearson correlation coefficient),是用于度量两个变量X和Y之间的相关(线性相关),其值介于-1与1之间。
    ρX,Y=cov(X,Y)σXσY\rho_{X,Y}=\frac{cov(X,Y)}{\sigma _{X}\sigma_{Y}}

    ρX,Y=i=1n(XiX)(YiY)i=1n(XX)2i=1n(YY)2\rho_{X,Y}=\frac{\sum_{i=1}^{n}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{\sqrt{\sum_{i=1}^{n}(X-\overline{X})^{2}}\sqrt{\sum_{i=1}^{n}(Y-\overline{Y})^{2}}}

    2.2. 复相关

    研究一个变量x0x_{0}与另一组变量 (x1,x2,xn)(x_{1},x_{2},…,x_{n})之间的相关程度。例如,职业声望同时受到一系列因素(收入、文化、权力……)的影响,那么这一系列因素的总和与职业声望之间的关系,就是复相关。复相关系数R0.1,2nR_{0}._{1,2…n}的测定,可先求出 x0x_{0}对一组变量x1x2xnx_{1},x_{2},…,x_{n}的回归直线,再计算x0x_{0}与用回归直线估计值悯之间的简单直线回归。复相关系数为:

    R0.12nR0.12…n的取值范围为0R0.12n10≤R0.12…n≤1。复相关系数值愈大,变量间的关系愈密切。

    多个变量同时与某个变量的相关关系不能直接测算,只能通过间接测算,复相关系数的计算:
    设因变量yy,自变量为x1,x2,...,xnx_1,x_2,...,x_n ,构造一个线性模型为:

    y=b0+b1x1+...+bnxn+εy=b_{0} + b_{1} x_{1} + ... + b_{n} x_{n} + \varepsilon

    y^=b0+b1x1+...+bnxn\hat{y} =b_{0} + b_{1} x_{1} + ... + b_{n} x_{n}

    yyx1,x2,...,xnx_1,x_2,...,x_n 作相关分析,就是对yyy^\hat{y}做简单相关分析

    记:

    • ry.x1...xnr_{y.x_1...xn}yyx1,x2,...,xnx_1,x_2,...,x_n 的复相关系数,
    • ry.y^r_{y.\hat{y}}yyy^\hat{y}的简单相关系数

    ry.x1...xnr_{y.x_1...xn} 的计算公式:

    R=corr(y,x1,...,xn)=corr(y,y^)=cov(y,y^)var(y)var(y^)R = corr(y,x_1,...,x_n)=corr(y,\hat{y})=\frac{cov(y,\hat{y})}{\sqrt{var(y)var(\hat{y})}}

    复相关系数常用于多元线性回归分析中,我们希望知道因变量与一组自变量之间的相关程度,即复相关,复相关系数反映了一个变量与另一组变量的密切程度。

    2.3. 偏相关

    研究在多变量的情况下,当控制其他变量影响后,两个变量间的直线相关程度。又称净相关或部分相关。例如,偏相关系数r13.2r13.2表示控制变量x2x_2的影响之后,变量 x1x_1和变量x3x_3之间的直线相关。偏相关系数较简单直线相关系数更能真实反映两变量间的联系。

    3. 案例分析

    3.1. 简化说明工业应用场景

    在这里插入图片描述
    油库发油过程中,我们工控系统记录如下数据,分析目标是提供发油工作效率,通过找出关键影响因素,优化发油工艺过程,以及相关操作流程。

    相关分析得出如下结果:

    3.1.1. 两两数据项相关

    如下图所示,列举两个Person相关进行分析(相关程序代码详细说明见文档[1]):
    (1)发油量与设定量正相关,而且是强相关;
    (2)损溢量与月份负相关。
    在这里插入图片描述

    如果我们再深入分析,发现发油率与发油时长呈现弱负相关情况,也就是说,大吨位槽车在装油的过程中,将耗时更长些,为什么呢?
    在这里插入图片描述
    另外,矛盾多以两两存在,矛盾各方面权重与变量之间的关系,也可以用相关系数来衡量。

    3.1.2. 每个数据项对于整体的复相关

    以发油控制系统为例,由’时长’,‘鹤位’,‘设定量’,‘发油量’,‘发油率’,‘时间’,‘月份’,‘日期’,‘损溢量’,‘温度’,'密度’等数据项构成,假如我们分析时长与发油系统其他各个特征的关系,具体过程如下:
    (1)“时长”设定为yy值,其他[‘鹤位’,‘设定量’,‘发油量’,‘发油率’,‘时间’,‘月份’,‘日期’,‘损溢量’,‘温度’,'密度‘]构成多元输入x0,x1,...,xn{x_0,x_1,...,x_n}
    (2)建立多元线性回归模型(LinearRegression),按上述X,YX,Y训练多元线性回归模型;
    (3)通过模型预测yy值,也就这里的“时长”;
    (4)“时长”的预测值与实际值做Person相关系数计算,得出相关度;
    (5)重复上述步骤,逐个特性为yy,其他为xx
    至此,可以形成如下图所示的相关度列表。
    在这里插入图片描述

    3.1.3. 相关度的使用,大数据分析的用法基础

    由于上述举例,是在单个系统中,未能体现出相关分析的优势。不过,能与实际理论因果关系符合:
    (1)设定量、发油量、损溢量三者对于发油系统来说是强正相关;
    (2)同理,时长、温度、月份,与设定量、发油量、损溢量,对于发油来说都有较强的正相关;
    (3)对于发油系统来说,日期和发油时间相关度不大,影响因素可以忽略。

    根据发油系统业务特点,参照上述结果,我们可以做出如下假设:
    (1)对发油时长,进行聚类分析,获取时长的规律,做为评价权重或指标设置的依据;
    (2)针对发油效率分析,需要关联更多的数据项(含其他控制系统)再进行相关分析、趋势分析,并评价发油效率(发油率是实际发油量除以时长的计算值,但是呈现弱负相关,与发油系统相关度不是很高);

    建议对槽车及所属公司进行发油效率评价。

    (3)油库运营特点是中转油品,既上联炼化厂,下接销售终端加油站等;以存储量、周转吞吐量为运营宗旨。大数据分析就是限定存储量的基础上,关联市场(计划)因素,以安全和消防、环保为红线的为条件,评价油库运营情况,并分项分析。

    3.1.4. 业务创新

    在工业控制环境中,基于工业大数据谈创新很难,这里参照互联网思维,在数据分析上加强关联,加强内部与外部、不同系统间的相关关系分析,避开单独(小)系统固化因果关系思维。

    例如本文案例中,从发油系统局部环境拓展到其他相关系统,把局部放到整体中分析,并展开到整体系统外部。

    比如,模拟互联网某东自营进销存对标,提油人/车(客户)、油库(平台)、油品(货物),发油过程相当于网购过程,对于网购过程,大数据分析给出客户的爱好(什么时间来提油、提的油品)、客户的评价(槽车装油效率、操作水平、安全级别等)、提货/收货效率与安全(鹤位与油罐输油匹配度与安全等)。具体如下:

    (1)内部与外部相关分析——槽车画像、发油岛/鹤位评价
    发油系统与槽车,槽车相对于油库是外部系统,通过二者装车数据项相关分析,构建槽车画像,包括效率、安全评价,鹤位匹配度评价等(可以延伸到所对应到运输公司/分类),可以聚类分析;

    用处:补充作业效率分析,实现槽车优选鹤位,达到装车效率高、损溢低、安全的目标。

    (2)内部控制系统相关分析——鹤位与油罐匹配分析
    发油系统、卸油系统中的鹤位和油罐存储系统,在输油过程中关联,通过鹤位与油罐数据项相关分析,构建输油效率模型、输油安全模型,在未知、不确定分析中,可以先采用无监督学习中聚类、受限玻尔兹曼机(RBM)等算法,分析出输油效率/能力类别、影响因素等。

    用处:补充作业效率分析,实现鹤位与油罐匹配优选,达到高效、低损溢、安全的收发油目标。

    (3)管理维度间的关系——管理维度重要程度分析
    按某企业评价成品油油库高效运行保障、油库计划流程 、设备设施保障 、自动化和信息化 、现场管理、组织和管理 、健康安全环保等7个指标,可以通过复相关评价各项指标的与整体评价的相关度。
    在这里插入图片描述
    以数据驱动决策,让数据告诉我们哪个管理维度量化的重要程度,相互依存关系,并根据发展趋势为管理者提供决策依据。

    3.2. 复相关实现Demo代码

    3.2.1. 代码说明

    源代码基于Win 10环境下Python 3.6.7版本开发,其中主要自定义函数有:

    (1)feature_label_split
    用于初始化数据集,做归一化处理(normalization=True),拆分出X和Y数据集。

    (2)train_model
    用于训练多元线性模型,使用sklearn.linear_model中的回归模型LinearRegression。

    (3)multi_corr
    用于计算Y与预测值间的Person相关系数,使用Pandas工具自带的方法:
    data.corr(method=‘pearson’,min_periods=1)

    3.2.2. 核心源代码

    
    import pandas as pd
    from sklearn.model_selection import train_test_split
    from sklearn.linear_model import LinearRegression
    from sklearn.externals import joblib
    from sklearn.preprocessing import StandardScaler     #归一化
    from sklearn.metrics import mean_squared_error
    from pandas.core.frame import DataFrame
    
    #拆分数据集为x,y
    def feature_label_split(data,label_name,normalization=True):
        data.rename(columns={'OutletTotalTime':'时长','CraneP':'鹤位','SpecifiedL':'设定量','LCActualL':'发油量',
                       'Effi':'发油率','Time':'时间','Month':'月份','Day':'日期','LossL':'损溢量','OilTemperature':'温度','OilDensity':'密度'}, inplace=True)
    
        del_name = [label_name]
        
        #数据归一化处理
        if normalization:
            scaler = StandardScaler()
            columns = data.columns
            indexs_train = data.index
            data = pd.DataFrame(scaler.fit_transform(data),index = indexs_train, columns = columns)
            
        #拆分特征与标签
        y = data[label_name]
        x = data.drop(del_name,axis = 1)
        
        return x,y
    # 训练多元线性回归模型
    def train_model(train_x,train_y):   
        test_percent = 0.7
        x_train,x_test,y_train,y_test = train_test_split(train_x,train_y,test_size = test_percent)
            
        model = LinearRegression()
        model.fit(x_train, y_train) 
       
        score = model.score(x_train, y_train)   
        print("Training score: ", score) 
            
        ypred = model.predict(x_test)
        mse = mean_squared_error(y_test, ypred)
        print("MSE: %.2f" % mse)
        print("RMSE: %.2f" % (mse**(1/2.0)))
        
        return model
    # 计算复相关
    def multi_corr():
        df = pd.read_excel('e:/data1.xlsx')  # e:/data1.xlsx
        key_name = ['时长','鹤位','设定量','发油量','发油率','时间','月份','日期','损溢量','温度','密度']
        
        key_corr = []
        
        for key in key_name:
            train_x,train_y = feature_label_split(df,label_name=key,normalization=False)
            model = train_model(train_x,train_y)
            ypred = model.predict(train_x)
            fit_y = DataFrame(columns=['预测值'],data = ypred)
    
            data = pd.concat([train_y,fit_y],axis=1)
            print(data)
            corr = data.corr(method='pearson',min_periods=1)
            key_corr.append(corr.iat[0,1])
            
        print(key_corr)
    
    if __name__ == '__main__':
    
        multi_corr()
    

    3.2.3. 输出结果

    某个特征实际值与预测值输出结果:

    Training score:  0.5983131306423572
    MSE: 0.00
    RMSE: 0.02
             密度   预测值
    0      0.7397  0.836339
    1      0.7397  0.771213
    2      0.7397  0.787371
    3      0.7397  0.781056
    4      0.7348  0.822460
    ...       ...       ...
    67615  0.7479  0.760884
    67616  0.7479  0.745060
    67617  0.7526  0.742016
    67618  0.8180  0.855769
    67619  0.7526  0.778705
    

    最后的相关度结果如下:
    在这里插入图片描述

    4. 总结

    今年5月份,工业和信息化部发布《工业和信息化部关于工业大数据发展的指导意见》(工信部信发〔2020〕67号),提出促进工业数据汇聚共享、深化数据融合创新、提升数据治理能力、加强数据安全管理,着力打造资源富集、应用繁荣、产业进步、治理有序的工业大数据生态体系。

    本文从油库业务域的大数据应用入手,以应用拉动数据治理,以数据模型、算法模型分析为切入点,在传统统计分析基础上,量化指标与权重依据,研发数据深度、广度应用,发挥工业大数据价值。例如本文中提到的槽车画像、鹤位与油罐匹配、以及数据驱动决策等。

    由于作者水平有限,欢迎讨论。

    参考:

    [1].《基于Pandas实现皮尔逊相关与余弦相似度在工业大数据分析中的应用实践》 CSDN博客 , 肖永威 , 2020.08
    [2].《一篇带你学会相关分析》 知乎,SPSSAU,2019.06
    [3].《《大数据时代》读书笔记》 CSDN博客 , 肖永威 , 2016.06
    [4].《想了解工业大数据,不得不看的一篇》 ITPUB博客 ,数据库安全专家 ,2019.05
    [5].《工业大数据的八大应用场景》 搜狐 ,慧都智能制造 , 2019.12
    [6]. 百度百科 .相关关系 百度百科 ,相关关系
    [7].《Python Matplotlib绘制渐变色柱状图(bar)并加边框和配置渐变颜色条(colorbar)》 CSDN博客 ,肖永威 ,2020.09
    [8].《多变量相关性分析(一个因变量与多个自变量)》 知乎.统计与统计机器学习 , 江子星 , 2019.06
    [9].《油田大数据与创新之路的探究》 CSDN博客 , 肖永威 ,2017.01

    展开全文
  • Python搭上人工智能的“第四次工业革命”浪潮,各种互联网招聘岗位条件都会带上Python这一附带要求,同时目前Python也被列入到嵌入式开发语言中,未来Python在嵌入式开发领域也会有所应用。 学习Python能干什么? ...

    Python语法简单,很容易上手,是最受欢迎的编程语言之一,这毋庸置疑。谷歌利用它抓取网页,皮克斯利用它制作电影,市值244亿美元的美版QQ音乐Spotify用它推荐歌曲。这一点,在就业市场也是如此。Python搭上人工智能的“第四次工业革命”浪潮,各种互联网招聘岗位条件都会带上Python这一附带要求,同时目前Python也被列入到嵌入式开发语言中,未来Python在嵌入式开发领域也会有所应用。

    学习Python能干什么?

    Python十大应用领域和就业方向:WEB开发、网络编程、爬虫开发、云计算开发、人工智能、自动化运维、金融分析、科学运算、游戏开发、桌面软件

    所以不管你是电子还是IT,学习了解它都很有必要。

    日前,人力资源和社会保障部等三部门也正式发布了人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员等13个新职业信息,这也是自2015年版国家职业分类大典颁布以来发布的首批新职业。这一调整不仅影响到一些行业和产业的发展,也给就业市场带来了变化。

    如何正确姿势深耕大数据,编程语言与大数据的关系?

    从技术层面来说,编程语言(Java,python,Scala、R,Go语言 ...)对于大数据开发来讲只是一个工具而已。

    其实只要有点基础的程序员转型大数据,都有天然的进阶优势

    1. 大数据离线计算架构 Hadoop , 基于Java开发的,只需要掌握JavaSE基础即可学习大数据;

    2. 大数据实时计算架构 Storm , 基于Java开发的,只需要掌握JavaSE基础即可学习大数据;

    3. 大数据内存计算架构 Spark , 基于Scala语言的,基于JDK开发的 本质上来来讲还是基于Java开发的;

    4. 大数据新一代实时计算引擎 Flink - > Blink

    5. 这些编程语言各自都具备显著的特点,其中Python和Java更具备广泛的应用领域。

    哪怕你没有学过任何一种编程语言零基础,也是可以学会的。

    不管是初学者还是资深程序员,应该专注于<语言特性>,而不是纠结哪类语言,只有这样才能达到融会贯通,拿起任何语言基本上都会用,并写出高质量的代码来。

    大数据开发高薪必备全套教程【免费获取】

    Oracle高级技术总监多年精心创作一套完整课程体系【大数据、人工智能等学习必看】,全面助力大数据开发零基础+入门+提升+项目=高薪

    「大数据零基础入门」

    「大数据架构系统组件」

    「大数据全套系统工具安装包」

    ◆ JAVA开发工具 ◆

    ◆ 大数据必备工具 ◆

    「大数据行业必备知资讯」

    「大数据精品实战案例」

    「大数据就业指导方案」

    无套路!无套路!纯干货分享!

    获取方式:

    请评论+关注,最后私信“获取”获取资料

    私信方法:第一步,点击头像。

    第二步:头像旁边有一个私信按钮,点击回复 "资料“ 即可。

    展开全文
  • 而且针对铁路、公路、建筑、市政、制造业等所有工业计算机辅助设计的开发技术和案例几乎没有介绍,市场上对CAD二次开发、BIM软件开发等技术的需求异常强烈,一将难求。有先见之明者已经自学相关技术,但进展缓慢。...

    目前C/C++C#JAVA等语言开发的在线教育比较火爆,但小编所见的讲解高级案例的非常少,切合市场需求的较少。而且针对铁路、公路、建筑、市政、制造业等所有工业计算机辅助设计的开发技术和案例几乎没有介绍,市场上对CAD二次开发、BIM软件开发等技术的需求异常强烈,一将难求。

    有先见之者已经自学相关技术,但进展缓慢。为此云幽学院C++、C#、python、CAD开发系列课程,致力于拯救要么在加班、要么在加班路上的设计师!

    下面附上AutoCAD二次开发课程资料、目录,有需要的详聊。

    1CAD二次开发资料分享群 :600577394709658679

    2CAD二次开发在线免费收费课程:https://yunyou.ke.qq.com/?tuin=9ae23ec4

    3小编QQ 259851846836024931892196137577

    一、 群内共享文件截图(QQ600577394709658679


    一、 C#/C++ AutoCAD二次开发在线课程

    1C# ARX AutoCAD 二次开发课程目录

    01 【入门课程】本课程的巨大价值(课程内容介绍)

    【回放】本课程的巨大价值(课程内容介绍)

    02【入门课程】AutoCAD二次开发概述

    【回放】【入门课程】AutoCAD二次开发概述

    03【入门课程】AutoCAD基本操作应用

    【回放】【入门课程】AutoCAD基本操作应用

    04【编程基础】C#.net简介及基础

    【回放】C#简介及基础直播课程1

    【回放】C#简介及基础直播课程2

    【回放】C#简介及基础直播课程3

    05【编程基础】数据结构

    【回放】【编程基础】数据结构

    【资料】数据结构课后练习(docx45.2KB)

    06【编程基础】算法

    【回放】【编程基础】算法

    【资料】算法部分练习题获取(docx281.3KB)

    07【技术进阶】基于ActiveX Automation开发技术

    【回放】基于ActiveX Automation开发技术

    08【技术进阶】基于ActiveX CAD开发示例

    【回放】【技术进阶】基于ActiveX CAD开发示例

    【资料】基于ActiveX CAD开发示例 编程练习获取(doc35.0KB)

    09【技术进阶】与用户交互操作技术

    【回放】【技术进阶】与用户交互操作技术

    10【技术进阶】AutoCAD.NET API ApplicationServices

    【回放】ApplicationServices

    11【技术进阶】AutoCAD.NET API DatabaseServices

    【回放】DatabaseServices 直播1

    【回放】DatabaseServices 直播2

    【回放】DatabaseServices 直播3

    【回放】DatabaseServices 直播4

    12【技术进阶】AutoCAD.NET API EditorInput

    【回放】AutoCAD.NET API EditorInput

    13【技术进阶】AutoCAD.NET API Geometry

    【回放】AutoCAD.NET API Geometry

    14【技术进阶】AutoCAD.NET API BoundaryRepresentation

    【回放】AutoCAD.NET API BoundaryRepresentation

    15【技术进阶】AutoCAD.NET API Runtime

    【回放】AutoCAD.NET API Runtime

    16【技术进阶】AutoCAD.NET API Windows

    【回放】AutoCAD.NET API Windows

    17【开发实例】AutoCAD.NET数据库

    【直播】AutoCAD.NET数据库

    18【开发实例】AutoCAD.NET实体对象

    【直播】AutoCAD.NET实体对象

    19【开发实例】AutoCAD.NET用户交互

    【直播】AutoCAD.NET用户交互

    20【开发实例】AutoCAD.NET事件

    【直播】AutoCAD.NET事件

    21【开发实例】AutoCAD.NET即时绘图

    【直播】AutoCAD.NET即时绘图

    22【开发实例】AutoCAD.NET规则重定义

    【直播】AutoCAD.NET规则重定义

    23【开发实例】AutoCAD.NET数据处理

    【直播】AutoCAD.NET数据处理

    24【开发实例】AutoCAD.NET混合开发

    【直播】AutoCAD.NET混合开发

    25【开发实例】AutoCAD.NET程序部署

    【直播】AutoCAD.NET程序部署

    26【开发实例】实际项目开发成果交流

    【直播】实际项目开发成果交流

    27【开发实例】课程总结及答疑

    【直播】课程总结及答疑

    2C++高级案例/ARX CAD二次开发核心编程课程目录

    1C++ ARX编程基础

    【直播】ObjectARX概述和典型应用介绍

    【直播】搭建ObjectARX开发环境创建HelloWorld程序02

    2C++ ARX创建和编辑基本图形对象

    【直播】(1)创建直线、圆、圆弧和修改对象属性

    【直播】(2)创建多段线、椭圆和样条曲线

    【直播】(3)创建面域、文字、填充、尺寸标注

    【直播】(4)创建面域、文字、填充、尺寸标注

    【直播】(5) 获取某一图层所有直线

    【直播】(6)创建和编辑对象时的动态拖动技术

    【直播】(7)对象的复制和移动等操作

    3C++ ARX块和属性

    【直播】(1)创建块定义和插入块参照

    【直播】(2)带有属性的块定义和块参照

    4C++ ARX开发之符号表

    【直播】(1)操作图层

    【直播】(2)创建字体样式、标注样式

    【直播】(3)视图、视口、UCS

    5C++ ARX开发之 ADSRX和用户交互

    【直播】(1acedCommand 函数和结果缓冲区

    【直播】(2)和用户交互

    【直播】(3)选择集

    6C++ ARX开发之扩展数据、扩展记录和对象字典

    【直播】(1)扩展数据

    【直播】(2)扩展字典和有名对象字典

    【直播】(3)组字典和多样式字典

    7C++ ARX开发之图形数据库和文档

    【直播】(1DwgDatabase开发技术

    【直播】(2DwgDocument开发技术

    8C++ ARX开发之使用几何类

    【直播】(1)基础几何类开发

    【直播】(2)点线相对关系开发

    【直播】(3)绘制管道例子

    9C++ ARX开发之自定义对象和自定义实体

    【直播】(1)自定义对象和自定义实体介绍

    【直播】(2)自定义实体实例开发

    10C++ ARX开发之三维

    【直播】(1Create3DSolid创建三维实体

    【直播】(2BREP获取实体信息和边界

    11C++ ARX开发之在ObjectARX中使用MFC

    【直播】(1)模式对话框和非模式对话框

    【直播】(2)可停靠窗体

    【直播】(3MFC工具栏开发

    【直播】(4)可预览控件开发

    【直播】(5)其他高级界面开发

    12C++ ARX开发之外部文件和数据库

    【直播】(1)二进制文件访问技术开发

    【直播】(2Excel访问技术开发

    【直播】(3ado技术访问Access数据库开发

    13C++ ARX开发之反应器技术

    【直播】(1)反应器技术开发直播1

    【直播】(2)反应器技术开发直播2

    14C++ ARX综合开发实例

    【直播】(1)一个实用软件的实现框架直播1

    【直播】(2)一个实用软件的实现框架直播2

    3、案例截图

    1)菜单、工具栏开发

     

     

     

     

    2)图形界面

     

    3)功能开发

     

     

     二、 基于Python/C#/CAD/GIS开发应用地理大数据课程

    1、课程目录

    01课程体系和意义介绍

    【回放】课程体系和意义介绍

    02数据源和坐标系统知识

    【直播】栅格、矢量数据源和坐标系统知识

    03基于现有软件的地理大数据获取

    【直播】地形DEM数据及其获取方法

    【直播】基于辅助软件的卫片数据的获取

    【直播】矢量叠加图层数据的获取

    04基于现有软件的地理大数据处理

    【直播】基于辅助软件的卫片数据的获取

    【直播】基于辅助软件的卫片数据处理

    【直播】矢量叠加图层数据的处理

    05Python编程语言基础

    【直播】Python编程语言基础-直播1

    【直播】Python编程语言基础-直播2

    【直播】Python编程语言基础-直播3

    06Global mapper Script编程速成

    【直播】Global mapper Script编程速成-直播1

    【直播】Global mapper Script编程速成-直播2

    07C#基础编程基础

    【直播】C#基础编程基础-直播1

    【直播】C#基础编程基础-直播2

    08基于C# AUTOCAD二次开发概览

    【直播】基于C# AUTOCAD二次开发概览

    09基于PythonGM ScriptDEM大数据编程

    【直播】DEM大数据编程

    10基于PythonGM Script的卫片大数据爬取

    【直播】卫片大数据爬取直播1

    【直播】卫片大数据爬取直播2

    11基于PythonGM Script的卫片大数据处理

    【直播】卫片大数据处理-直播1(

    【直播】卫片大数据处理-直播2

    12基于C# AUTOCAD二次开发的等高线叠加卫星图片处理技术开发

    【直播】等高线叠加卫星图片处理技术开发-直播1

    【直播】等高线叠加卫星图片处理技术开发-直播2

    13基于C# AUTOCAD二次开发的路网等矢量数据处理技术开发

    【直播】路网等叠加图层处理技术开发-直播1

    【直播】路网等叠加图层处理技术开发-直播2

    14地理大数据成果综合应用

    【直播】地理大数据成果综合应用

    2案例截图

    1OSM开源地图数据爬取分析


    2)卫片、DEM高程数据爬取分析




    (3) 卫星图片 + DEM + 矢量数据 = 自动生成的等高线DWG文件



    看到的朋友不要错过,学习就在今天(悄悄告诉大家,如果学习收费课程可以找管理员领取优惠券哦)。

     

    展开全文
  • 随着工业大数据推进,设备的智能运维被定义为一个重要的应用领域。但何为智能运维?目前还没有一个明确的定义,但有不少提法,我们将其初略归纳为4种模式:智能决策,如预测性维修、故障诊断等PHM、运维运作优化;...
  • 本书的前半部分(介绍机器学习知识之前)感觉还是可以的,对python的基础知识介绍相对来说,归类...《Python大数据与机器学习实战》作者:谢彦,出版社:电子工业出版社,出版时间:2020-04,ISBN:9787121384257 ...
  • 区块链开发、机器(深度)学习暨Python大数据综合应用研修班一、课程目标1,通过课程学习,可以理解机器学习的思维方式和关键技术;了解深度学习和机器学习在当前工业界的落地...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 天池竞赛报名网址:2018广东工业智造大数据创新大赛——智能算法赛 智能算法赛以“铝型材表面瑕疵识别”为主题,赛前有给出300张图片用于熟悉并摸索建模的方向。、 思路很简单,CNN + TensorFlow 就可以完成整个...
  • 正文之前 ...然后再写一个Java或者Python的程序来自动输出要上传的文件名字?感觉是个大工程。现在还可以,以后再说吧! 正文 echo "OK!NOW I WILL UPLOAD YOUR CHANGE TO GITHUB!" time=$(date "...
  • Q1:Python语言、C语言、Java语言、VB语言……到底哪种适合作为入门编程语言呢?A1:如果您是计算机、软件工程、信息类专业学生,毋庸置疑,入门编程语言请学习C语言;如果您是其他专业学生,请学习Python语言作为...
  • 第一章 大数据发展背景1.1 国家政策 2017年1月工业和信息化部正式发布了《大数据产业发展规划(2016-2020年)》,明确了“十三五”时期大数据产业的发展思路、原则和目标,将引导大数据产业持续健康发展,有力...
  • 中国通信工业协会通信和信息技术创新人才培养工程项目办公室通人办〔2017〕 第45号“R语言机器学习与大数据可视化”暨“Python文本挖掘与自然语言处理”核心技术高级研修班的通知各有关单位:为了响应国家大数据战略...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 原标题:如果未来在工作中会用到大数据技术,该如何顺利进入工作状态首先,在未来的工业互联网时代,云计算、大数据、物联网、区块链、人工智能等一众技术都将会逐渐实现落地应用,职场人接触并使用这些技术的机会将...
  • 中国通信工业协会通信和信息技术创新人才培养工程项目办公室通人办〔2017〕 第45号“R语言机器学习与大数据可视化”暨“Python文本挖掘与自然语言处理”核心技术高级研修班的通知各有关单位:为了响应国家大数据战略...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • {"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,...社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":...
  • 当前Python语言的上升趋势非常明显,一方面原因是Python大数据和人工智能领域有广泛的应用,另一方面原因是Python语言在传统行业也有大量的应用,包括金融、医疗、教育等领域,相信在工业互联网的推动下,Python...
  • Storm入门教程 玩转大数据计算之Storm

    万次阅读 2019-04-23 08:56:21
    Storm入门教程 玩转大数据计算之Storm ...3.具备良好的编程基础,至少会Python,R,等一种主流语言 4.熟悉Hadoop大数据框架及Hive、Hbase、storm等相关技术 岗位职责: 1.协助构建以工业物联网为中心...
  • 首先,在当前的大数据、人工智能时代,女生不仅适合学习Python,未来会有大量的女性职场人需要通过Python来完成一些日常的工作任务,这一点在工业互联网时代会有越来越明显的体现。Python是一门非常典型的全场景编程...
  • 985毕业,德国交换生,英语德语流利,然而对技术没有什么卵用,放弃在德国柏林工业大学读研的机会,回来华为上班。 我本来在华为做程序员,原来做的是嵌入式系统开发,主要给5G基站做电源管理系统,后来做操作系统...
  • 好消息:“Python小屋”编程比赛正式开始推荐教材:《Python程序设计基础与应用》(ISBN:9787111606178),董付国,机械工业出版社图书详情:配套资源:用书教师可以联...

空空如也

空空如也

1 2 3 4 5
收藏数 88
精华内容 35
关键字:

python工业大数据

python 订阅