精华内容
下载资源
问答
  • 网格菜单开源组件

    2021-04-04 23:59:25
    源码WHC_CollectionViewFramework,目前独一无二封装最完美的网格菜单开源组件,支持用户行为习惯自定义菜单项位置和个数(用户可长按菜单项进行排序,删除,添加,自动保存用户编辑后的状态),具体使用方式请下载...
  • 科德·康迪 .net开源组件
  • 主要介绍了Android开源组件SlidingMenu侧滑菜单使用介绍,本文给出了SlidingMenu的项目地址、使用代码、使用配置、常用的一些属性设置中文注解等内容,需要的朋友可以参考下
  • eos开源组件源码
  • FMXComponents, Firemonkey开源组件 FMXComponents主站点:https://github.com/zhaoyipeng/FMXComponents镜像站点:https://gitee.com/zhaoyipeng/FMXComponents如果你正在使用这个
  • 主要为大家详细介绍了jQuery开源组件BootstrapValidator的使用方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • 主要介绍了ASP.NET中使用开源组件NPOI快速导入导出Execl数据,NPOI是一个很强大的Execl操作组件,需要的朋友可以参考下
  • .net 二维码识别开源组件,生成二维码和识别二维码,非常好用
  • 利用Noesis.Javascript开源组件可以做到在.net中执行js脚本,同时js脚本也能调用C#函数。这个组件的获得方式:在NuGet中输入搜索"Noesis"就能找到,我们来做个搜索功能:用户能够在textbox中输入js脚本来筛选list记录
  • .net jQuery Web ControlToolkit 开源组件
  • 开源组件XListView的demo

    2013-07-02 23:55:21
    开源组件XListView的使用demo
  • TourDeFlex开源组件集合工具,各种开源案列
  • 如何用开源组件“攒”出一个大数据建模平台?

    千次阅读 多人点赞 2020-08-29 00:46:03
    本文关键字:开源组件、大数据建模、项目架构、技术栈。整个产品的核心功能就是为了实现:数据采集、数据源管理、数据清洗、统计分析、机器学习、数据可视化的完整流程,难点在于形成数据流,流程可控,易被管理。

    写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。同时,博主也想通过此次尝试打造一个完善的技术图书馆,任何与文章技术点有关的异常、错误、注意事项均会在末尾列出,欢迎大家通过各种方式提供素材。

    • 对于文章中出现的任何错误请大家批评指出,一定及时修改。
    • 有任何想要讨论和学习的问题可联系我:zhuyc@vip.163.com。
    • 发布文章的风格因专栏而异,均自成体系,不足之处请大家指正。

    如何用开源组件“攒”出一个大数据建模平台?

    本文关键字:开源组件、大数据建模、项目架构、技术栈

    一、食用须知

    终于又可以名正言顺的发一篇聊天吹水。。。哦不是,是技术杂谈类的文章了,官方有活动?那必须跟上啊!咳~那么闲言少叙,下面是食用须知:

    1. 本文并非标题党,将介绍构建一个基于Web界面可操作的大数据建模平台相关的技术,以及各组件之间的关系。这是一个企业中真实存在的项目,并已实现商用,本人作为核心开发者之一,也是见证了整个平台的成长。
    2. 由于篇幅有限,不会涉及到特别具体的代码,但会尽量说明各组件与业务场景、数据处理流程的关系,其中也会穿插大数据领域相关的知识。
    3. 由于在培训领域深耕多年,如有废话和浅陋之处还请多多包涵。如果你还是一个学习者或者是一位刚刚踏入大数据领域的开发者,那么这篇文章很值得你收藏。

    二、项目背景

    项目的诞生可以追溯到三四年以前,在阿里巴巴的数加平台还在免费试用的时候,我们所做的大数据建模平台就已经实现商用并成单,并且曾经与华为联通达成合作并进入联通沃创空间,先来一张图感受一下:

    那么,此时应有路人甲站出来说一句:你们能实现商用完全是因为大厂还没有打造好能碾压你们的产品而已~对此我只能说:emmm,你。。。说的对!
    但是其实一款产品是否能够实现商用有多方面的原因,大厂在各方面的优势十分明显,但是这并不代表其他产品没有机会,除了技术实力、团队规模、项目资金外,产品定位、市场环境等同样重要。
    我在接手项目的时候已经是一个半成品了,所谓大数据建模平台其实是一个通用型的产品定位,更多的是功能的整合,可以说是标准的大数据开发,团队的主要构成都是开发者,当然也会包含数据分析师。

    整个产品的核心功能就是为了实现:数据采集、数据源管理、数据清洗、统计分析、机器学习、数据可视化的完整流程,难点在于形成数据流,流程可控,易被管理。即使是在多年以后,我也依然觉得这个项目虽然没有涉及到复杂的场景和各种数据分析优化解决方案,但是对我的帮助绝对是最大的,它让我真实了解并操作了数据分析的每一个流程,也可以说打通了任督二脉,以后做的任何东西其实只不过是其中某个环节的优化或者是在某一特定场景下固定的数据流程,毕竟通用的东西都做出来了,某个固定指标的指标计算或是模型训练还会是问题吗?
    以后每次谈起这段项目去面试,对方都会说:这个小伙子赶上了好项目。当然,项目本身是一方面,自己的总结归纳同时重要,借着当时临近毕业,也是逼着自己去彻底的吃透这个项目,不仅仅是技术方面,同时还有产品、设计等等方面,于是乎我把他变成了我的硕士论文,当然是获得了软件著作权之后(后来发现只是毕业论文的话好像并没有什么相关)。

    背景介绍到此为止,下面正片开始,如果你确定这就是你想要的,请在阅读完成之后点赞、关注,略表支持,也欢迎收藏和在评论区说出你的想法。

    三、遇见技术栈

    为了方便场景介绍和相关技术的处理,将会按照不同的功能模块来进行划分,首先给出完整的项目架构图。

    现在看这张图,架构不免有些陈旧,但是我想历史就应该被真实的还原,当时大前端相关技术才刚刚起爆,而且这个项目在我接手之前就已经被开发了一段时间了,所以这就是它当时应有的样子,也代表了那一段艰辛打拼的岁月。
    回想起那个时候大数据方面的资料和落地的项目案例真的少之又少,大部分都是拿着PPT吹牛皮,大厂中的一些和大数据相关的核心技术又不是我等草民可以接触到的,所以也算是在摸索中前进。

    1. 功能模块框架

    由于文章篇幅有限,只会介绍大数据建模平台的部分功能,如果你对某些环节的处理技术感兴趣,可以扫描文章底部的二维码加入微信群(CSDN官方为内容合伙人提供的正经微信群),会定期面向粉丝直播互动。

    在真实的项目中,由于是企业级应用,必然会存在部门、员工等一系列的权限管理功能,本文只是侧重介绍大数据处理相关流程,所以删去了部分不太重要的部分。

    2. 数据源管理

    对于数据源的管理部分,要分析的数据全部存储在HDFS上,同时由于主要是进行统计分析,所以处理的数据全部是结构化的离线数据:可以从关系数据库中拉取、也可以用户自行上传,在上传完成后都是以Hive表的形式存在,在平台中只记录数据源的名称、所属、以及对应的Hive表的信息,而且后续的数据流程不会对原始数据做修改,所以同一份数据有可能被应用在多个数据流程中,所以已存在的Hive表可以声明为多个数据源,其实就是建立了多个关联关系,在建模平台中展现给用户的都是一个一个的数据源节点。
    在这里插入图片描述
    在进行关系型数据库拉取时使用了Sqoop组件,根据用户填写的数据库连接参数拼接为一个完整的命令,在服务器上执行。对于用户上传的数据文件,需要指定列名、列的类型、列与行的分隔符,根据信息自动建立对应结构的Hive表,这样导入数据以后才能够保证数据能够被正常识别。

    3. 数据处理流程

    对于建模平台,一个最基本的功能就是能够让用户自定义数据流程,可以应用在企业或者高校教学。我们采取的办法是将常见的一些统计分析功能和完善的机器学习库进行封装,变成一个一个的功能节点(主要通过Hive QL、Spark的Mllib,RHive实现),每一个节点都会有对应的配置参数,用户需要做的就是拖拽、组合,配置,运行。
    对于前端的流程设计UI组件,我们选用的是GooFlow,数据流程可以进行保存和修改,体现在数据库中其实就是一个大JSON,里面记录了线的指向,节点的配置等等,再次打开流程的时候画布将得以还原,同时要保存整个流程各个节点的配置信息等等。

    在项目流程开始以后,每一步都会生成一个结果表,作为下一步操作的数据源,最终的运行结果会生成一个结果表,可以直接以表格显示,下载结果数据,也可以拖拽一个可视化组件,配置后显示。
    这里需要注意的是,GooFlow是一个需要授权使用的组件,大家也可以选择其他的组件来替代,目前网络上公开的只是试用版,要么就是带有挖矿程序的防盗版,所以大家想使用的话还是联系作者大大吧。
    在这里插入图片描述

    4. 其他功能模块

    对于一些其他的功能,都是比较常规的Web应用开发。比如可视化展示的部分,就是基于对Echarts的option配置的封装,让用户可以通过界面的方式来配置图表的效果。要展示的数据从Hive当中查询,比较简单的方式就是HiveJDBC
    前后端的数据交互,使用的是基于JSP标签和Ajax结合的方式,比较古老了。持久层使用的是Hibernate,虽然我个人更偏爱MyBatis,但是凭我一己之力也不可能实现重构,踏踏实实干活儿就好。
    因为是介绍技术栈的文章,我没有用过多的文字,觉得用架构图、流程图来展现会更加的清晰和直接。大家有想要继续讨论的内容,可以在评论区留言~

    扫描下方二维码,加入官方粉丝微信群,可以与我直接交流,还有更多福利哦~

    在这里插入图片描述

    展开全文
  • 流布局服务用于开发前端微服务开源组件
  • 开源组件库。 贡献 如果您有兴趣在本地进行贡献或仅在本地运行RiotGear存储库,请查看
  • 本文是自己根据实践总结的在AndroidStudio中引用其他开源组件的方法,图文并茂,亲测有效~
  • Design System for Bootstrap 4:用于创建出色的网站开源组件
  • 利用java开源组件及servlet实现生成验证码
  • 通过研究Cacti的RRDTool模块,分析其在历史信息存储和显示方面的弊端,选择使用普通数据库作为改进策略,设计了基于开源组件的网络管理系统,实现了网络的有效管理。使用SnmpSharpNet组件采集网络设备信息,运用...
  • NLOG 日志 开源组件 Visual Studio java是一款打日志的开源组件,里面己经封装好常见的打日志的函数。
  • 该存储库包含nProbe的开源组件和扩展,可从获得 在这里您可以找到: 附加组件和扩展 可以与nProbe进行交互的应用程序的代码示例 享受! 文献资料 如果您想了解有关nProbe的更多信息,请访问《 。 细节 有关nProbe...
  • React 开源组件笔记

    2016-07-20 10:42:47
    React 开源组件笔记 开源组件react-native-camera 推荐一个跨平台的rn-camera-roll: —->https://www.npmjs.com/package/rn-camera-roll A Camera component for React Native. Also supports barcode scanning!...

    React 开源组件笔记

    开源组件react-native-camera

    推荐一个跨平台的rn-camera-roll: —->https://www.npmjs.com/package/rn-camera-roll

    
    A Camera component for React Native. Also supports barcode scanning!二维码扫描
    原生Android Zxing google
    rnpm link不是安装,而是添加原生依赖,对应的组件已经安装好了才能rnpm link
    通过这个例子来理解下react native的架构:js环境 jsBridge native环境
    业务逻辑是reactJs处理  ui用react写 但实际桥接成native
    ref的两种属性:String属性 回调属性(组件render渲染完成后的回调)
    官网:https://facebook.github.io/react ... -callback-attribute
    this callback will be executed immediately after the component is mounted(组件render之后DidMount之前)
    展开全文
  • 物联网开源组件安全:Node-RED白盒审计 身份与访问管理 安全分析 AI web安全 网络信息安全
  • 非常棒的第三方开源组件:Bouncy Castle 加密开源组件 Java Release 1.46。推荐大家使用哈~~~
  • 支持验证码制作的开源组件,很好用
  • Android 开源组件深度剖析 缘起 Android开发中,越来越多优秀的开源组件涌现处出来,可以帮助我们更快更好的实现功能,也节省大量的时间,但是在现实的开发过程中,很多人都没能真正用好开源的组件,我们觉得使用好...
  • 一个默认的开源组件库,用于React。 :motorcycle:安装 npm: npm install @default-services/components 纱: yarn add @default-services/components :laptop:使用 import React from 'react' ; import { ...
  • NLOG 日志 开源 Visual Studio是一款功能非常强大的打日志开源组件,调用非常方便
  • TealUI, 打造小而全、精而美的开源组件
  • 下面是根据笔者从事软件代码安全检测工作的经验以及对开源组件、第三库安全漏洞检测工具的市场调研所获得的资料,如有错误或不妥之处,还请各位指正。如果表格中有一些未知信息你了解,请给帮我补充。让我们更多的...

           下面是根据笔者从事软件代码安全检测工作的经验以及对开源组件、第三库安全漏洞检测工具的市场调研所获得的资料,如有错误或不妥之处,还请各位指正。如果表格中有一些未知信息你了解,请给帮我补充。让我们更多的了解市场上的主流工具。

            目前这些工具在国内都有销售,其中Blackduck很多人都了解,前几年被Synopsys公司所收购,只能在国内销售不带库的版本。要把安全漏洞对应到开源组件上,需要把代码传到国外网站上,才能对比。国内做的不错的就是北京大学的HoBOT工具了,大家可以去对比了解。

    工具名称

    Sonatype

    FossID

    Blackduck

    开源卫士

    灏博(HoBOT)

    厂商

    Sonatype

    FOSSID

    Synopsys

    奇安信

    北京大学

    开源组件识别

    支持

    支持

    支持

    支持

    支持

    支持二进制文件

    支持

    支持

    支持

    不支持

    支持

    支持第三方软件

    支持

    支持

    支持

    不支持

    支持

    漏洞检测

    支持

    支持

    支持

    支持

    支持

    软件许可协议分析

    支持

    支持

    支持

    不支持

    支持

    开源项目成熟度评估

    不支持

    不支持

    支持

    不支持

    不支持

    版本升级风险评估

    支持,升级路径

    支持,升级路径

    支持,升级建议

    不支持

    支持,升级建议

    跟踪开源项目动态

    支持,跟踪分析

    支持,跟踪分析

    支持,跟踪分析

    未找到依据

    支持,跟踪分析

    跟随业界漏洞舆情

    支持,跟随研究漏洞网站

    支持,每小时/周/月 升级

    支持,  更新/月(需要连接互联网)

    未找到依据

    支持,更新周/月

    开源项目监控,报告恶意发布

    支持,实时监控几百万工具

    未找到依据

    支持

    未找到依据

    不支持

    知识库规模

    未找到依据

    3700万开源软件项目

    70亿开源文件

    228000漏洞项目

    2700万开源软件项目

    2500种许可证

    70000个漏洞

    6500个网站数据

    3000万开源软件项目

    其它数据无依据

    4000万开源软件项目

    75亿开

    20万个漏洞

    80多种许可证协议

    支持编程语言和文件类型

    未找到依据

    所有编程语言

    所有文件类型

    70种编程语言

    100种文件类型

    Java、Python、JavaScript、.NET、PHP、Swift、Go等主流编程语言

    所有编程语言

    编程语言对应的默认文件类型

    产品架构

    B/S

    B/S

    C/S

    B/S

    B/S

    部署方式

    本地部署/常规部署(不带库)

    本地部署/常规部署(不带库)

    本地部署/常规部署(不带库)

    未找到依据

    本地部署/常规部署(不带库)

    检测工程导入方式

    Git

    Git、SVN

    项目路径

    未找到依据

    Git、SVN、压缩文件

    加密算法分析

    不支持

    支持

    不支持

    不支持

    不支持

    组件依赖关系分析

    未找到依据

    支持

    支持

    支持

    支持

    漏洞持续监控

    支持,警报或邮件

    未找到依据

    未找到依据

    支持,邮件或短信

    支持

    相似指纹匹配

    未找到依据

    不支持

    支持

    不支持

    支持

    项目两两对比

    不支持

    不支持

    不支持

    不支持

    支持

    误报

    未找到依据

    零误报

    未找到依据

    未找到依据

    零误报

    代码片段

    不支持

    支持

    支持

    不支持

    支持

    部署平台

    Linux/Windows/OSx

    Linux/Windows

    Linux/Windows(客户端Win)

    Linux/Windows

    Linux/Windows

    RESTAPI  API

    支持扩展

    支持扩展

    支持扩展

    不支持

    不支持

    支持CI

    支持

    Jenkins、Hudson

    不支持

    不支持

    不支持

    检测报告

    未找到依据

    HTML、Excel、SPDX

    未找到依据

    未找到依据

    WORD、PDF

    售后服务

    未找到依据

    维护升级

    维护升级

    维护升级 咨询服务

    维护升级咨询、培训服务

    关注安全  关注作者

    (完)

    --------------------------------------------------------------------------------------------------------------------------

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 382,278
精华内容 152,911
关键字:

开源组件