精华内容
下载资源
问答
  • 该存储库中的代码补充了Kaimodai,Vatsal Sharan,Peter Bailis和Gregory Valiant撰写的SIGMOD 2018年论文《上 。 权重中值草图(WM-Sketch)和Active-Set权重中值草图(AWM-Sketch)是用于学习流数据上压缩的,...
  • sigmoid:sigmod功能-源码

    2021-05-20 19:52:36
    sigmod sigmod功能JavaScript实现 安装 $ npm install sigmoid 用法 var sigmoid = require ( 'sigmoid' ) ; sigmoid ( 0.05 ) // 0.5124973964842104 执照
  • pwla_sigmoid 实现sigmod消融明智的线性近似
  • SIGMOD数据管理国际会议(Special Interest Group on Management Of Data.)是由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议,所收录的论文代表了行业内...

    SIGMOD数据管理国际会议(Special Interest Group on Management Of Data.)是由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议,所收录的论文代表了行业内的最高水平。会议的目的是在全球范围内为数据库领域的研究者、开发者以及用户提供一个探索最新学术思想和研究方法、交流开发技巧、工具以及经验的平台,引导和促进数据库学科的发展。

    SIGMOD第一届会议于1974年在美国密西根(Michigan)召开,传统上一直都在北美内部举办。自2004年在巴黎举办起,逐步开始走向国际。值得一提的是,第26届ACM SIGMOD国际数据管理学术会议曾在2007年在北京国际会议中心举行,当时的会议受到国家自然科学基金委员会国际合作交流项目资助,由ACM SIGMOD主办、清华大学承办。这是该会议第一次在亚洲举行、也是第二次在北美以外的国家举行。也是在这一年,中国人民大学信息学院李翠平教授作为第一作者发表了中国大陆第一篇SIGMOD论文。

    时隔14年,2021 SIGMOD大会再度回归中国,将于6月20-25日在西安举办。SIGMOD顶级学术会议对促进数据库领域学者和开发者开展更深层次的国际交流与合作,进一步提高我国数据库领域的研究水平有重要作用。华为和巨杉数据库作为中国企业,将以最高钻石赞助级别与微软共同赞助本次SIGMOD大会和编程大赛。

    图片

    同时,SIGMOD大会、SIGACT和SIGART联合,赞助了关于数据库系统理论方面的年度ACM数据库系统原理研讨会(PODS)会议。SIGMOD/PODS两个会议于1991年在美国丹佛(Denver)首次联合召开,这次联合举办会议的尝试取得了巨大成功,鼓舞了整个数据库界理论和系统的结合。之后SIGMOD会议和PODS会议都是同时举行。每年,该小组都会对在数据管理领域做出的贡献颁发多个奖项。其中最重要的是SIGMOD Edgar F. Codd创新奖(以计算机科学家Edgar F. Codd的名字命名)。

    1970年,在IBM工作的计算机科学家Edgar F. Codd发表了一篇名为“A Relational Model of Data for Large Shared Data Banks”的论文,该论文中正式提到关系数据模型,可以说就此开启了关系型数据库难以撼动的黄金时代。Edgar F. Codd于1981年获得计算机界最高奖图灵奖,是第一位获得图灵奖的数据库学者。2003年离世后,为了纪念他对于数据库领域做出的卓越贡献,2004年,SIGMOD将大会最高奖的名称改为SIGMOD Edgar F. Codd创新奖。该奖项旨在鼓励“数据库系统和数据库的开发,理解或使用具有持久价值的创新性和高度重要的贡献”。此外,SIGMOD还会颁发“最佳论文奖”,以表彰每次会议上质量最高的论文,并授予“吉姆•格雷论文奖”,表彰在数据管理方面的最佳博士学位论文。

    图片

    由于数据库是一门侧重工程的实践类科学,因此学术会议SIGMOD也开始逐渐重视学术界和工业界的合作交流。自2018年起,SIGMOD增加了专门的Industry session。因此,近几年的大会流程通常包括:主题演讲(Keynote Talks),学术报告会(research session)和工业报告会(industry session),同时安排了Workshop、教程演示、研讨会和学生研究竞赛等环节。演讲内容涵盖范围非常广泛,除了传统的交易、存储和索引、查询处理和优化,云和分布式数据库,事务处理等,还涉及到前沿的数据湖和数据仓库、图数据、机器学习和分析、空间数据、数据挖掘和可用性分析、隐私安全和区块链等方面的内容。

    近年来,Research Session的论文接收率为17-20%左右,Industrial Session的论文接收率在30%左右。据统计,SIGMOD 2020接收的学术论文共144篇,涵盖数据库领域多个领域,其中以第一作者单位为中国高校(清华大学、北京邮电大学、复旦大学和香港科技大学等)发表的文章共有21篇,大陆高校发表的文章为13篇,约占所有接收研究论文的9%。同时,我们注意到,自2015年开始,SIGMOD大会的最佳论文及最高创新奖项得主不乏华人学者和行业领军人物,例如以阿里、腾讯为代表的厂商以及各大高校的专家学者。

    整体来看,在Industrial Session中,涉及传统关系数据库的创新成果正逐年减少,大部分研究工作均是多个领域交叉的成果。与此同时,国内数据库厂商在数据库研究中的参与度越来越高,国产数据库及相关技术在国际数据库领域的地位逐年攀升。中国新一代数据库在大规模企业应用中的实践经验,以及在湖仓一体、云化部署数据库方面的技术创新,在数据库行业中备受关注,也代表中国在数据库国际性学术会议中已占据非常重要的席位。

    图片 湖仓一体:备受瞩目的技术发展趋势

    在2020年的SIGMOD大会中,有多个场次的主题演讲均涉及数据湖和数据仓库在企业当中的运用,例如,Databricks发表了有关建立有效的数据湖所面临的挑战的keynote, 来自宾夕法尼亚大学的学者介绍了在数据湖中查找相关表以进行交互式数据科学的研究成果。

    作为现代分析和数据科学的数据基础结构,数据湖开始在企业应用中普及并迅速增长。云存储与快速灵活的处理相结合,为构建分析应用程序提供了一种廉价且可扩展的解决方案。尽管数据湖使提取和存储大量数据变得容易,但是有效利用这些数据的能力仍然受到限制。这些数据通常缺乏上下文,不能满足应用程序所需的质量,并且用户不容易理解或发现。数据一致性和准确性问题使得很难从数据湖中获取价值,也很难信任基于此数据的分析。

    而在数据仓库层面,大会中的研究提到,日常业务运营和来自不同IoT应用程序的传感器等各种来源不断产生大量数据。它们通常被加载到数据仓库系统中以执行复杂的分析。但是,如果查询涉及联接,尤其是在多个大表上的多对多联接,可能会非常昂贵。由于数据仓库的存储格式以结构化为主,并且历经加工清洗,数据形态显得更加范式化、模型化,因此数据的灵活度较低。

    图片

    资料来源:Databricks官网

     

    学术界逐渐意识到传统的“湖仓分离”模式所存在的局限性,企业在数据运营、价值挖掘、运维等方面,也遇到了显著的挑战。因此,业界提出了湖仓一体(Data Lakehouse)的概念,旨在为企业提供一个统一的、可共享的数据底座,避免传统的数据湖、数据仓库之间的数据移动,将原始数据、加工清洗数据、模型化数据,共同存储于一体化的“湖仓”中,既能面向业务实现高并发、精准化、高性能的历史数据、实时数据的查询服务,又能承载分析报表、批处理、数据挖掘等分析型业务。

    湖仓一体方案的出现,能够帮助企业构建起全新的、融合的数据平台,打破了数据湖与数据仓库割裂的体系,在架构上将数据湖的灵活性、数据多样性以及丰富的生态,与数据仓库的企业级数据分析能力进行融合。通过对机器学习和AI算法的支持,实现数据湖+数据仓库的闭环,极大地提升业务的效率。数据湖和数据仓库的能力充分结合,形成互补,同时对接上层多样化的计算生态。毫无疑问,湖仓一体将会更好地服务于企业,帮助企业实现大数据能力的提升,如降低成本、提升运营效率、业务模式探索等。

    今年SIGMOD大会钻石赞助商之一巨杉数据库,也基于湖仓一体架构,针对不同的业务需求场景细分出四大产品线。面向联机数据中台、历史数据服务平台、IoT物联网等海量数据需求场景,为企业级客户打造数据平台的最佳底座。作为数据基础设施,巨杉数据库湖仓一体架构的价值在于打通不同业务类型、不同数据类型之间的技术壁垒,实现交易分析一体化、流批一体化、多模数据一体化,最终降低数据流动带来的开发成本及计算存储开销,提升企业的运作的“人效”和“能效”。

     

    图片相关阅读

    再获嘉奖!巨杉数据库斩获2021全球分布式云大会“分布式数据库贡献奖”

    巨杉数据库斩获信创产业大会“信息技术应用创新优秀产品”奖项

    分布式数据库或成为新增量

     

    展开全文
  • ACM SIGMOD,数据管理国际会议(Special Interest Group on Management Of Data.)是由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。SIGMOD是数据库三大...

    图片

    欢迎关注,专注学术论文、机器学习、人工智能、Python技巧

    ACM SIGMOD,数据管理国际会议(Special Interest Group on Management Of Data.)是由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。SIGMOD是数据库三大顶会之首,是三大顶会中唯一一个双盲评审的,其权威性毋庸置疑。

    会议的目的是在全球范围内为数据库领域的研究者、开发者以及用户提供一个探索最新学术思想和研究方法、交流开发技巧、工具以及经验的平台,引导和促进数据库学科的发展。

    今年SIGMOD于北京时间6月20日到25日在中国西安举办,以线上的形式进行。会议吸引了全球最顶级的数据库领域专家学者参会,发表了包括阿里云PolarDB在内的若干最新研究与工业实践成果。完整的会议内容可以访问如下链接获取:

    http://2021.sigmod.org/

    本文就时间序列这个话题,挖掘本次SIGMOD大会中的相关新研究新进展,发现了不少有意思的论文,包括达摩院、微软、上交、Uber、IBM等科研实体就时间序列的工业级应用提出了其新的方法。本文将对这些科研成果做初步整理,为大家呈现。

    研究论文

    RobustPeriod: Robust Time-Frequency Mining for Multiple Periodicity Detection

    论文地址:https://dl.acm.org/doi/10.1145/3448016.3452779

    论文源码:-

    论文摘要:周期性检测是时间序列任务的关键步骤,包括监测和预测许多领域的指标,例如物联网应用和自动驾驶数据库管理系统。在这些应用中的许多应用中,存在多个周期性分量并且通常彼此交错。这种动态复杂的周期模式使得精确的周期检测变得困难。此外,时间序列中的其他成分,例如趋势、异常值和噪声,也对准确的周期性检测提出了额外的挑战。在本文中,我们提出了一个鲁棒且通用的多周期检测框架。我们的算法应用最大重叠离散小波变换将时间序列转换为多个时间频率尺度,以便可以隔离不同的周期分量。我们通过小波方差对它们进行排序,然后在每个尺度上通过我们提出的 Huber-periodogram 和 Huber-ACF 稳健地检测单个周期性。我们严格证明了 Huber-periodogram 的理论特性,并证明了使用 Fisher’s test on Huber-periodogram 进行周期性检测的合理性。为了进一步细化检测到的周期,我们根据 Huber-periodogram 的 Wiener-Khinchin 定理计算无偏自相关函数,以提高鲁棒性和效率。在合成和真实世界数据集上的实验表明,我们的算法在单周期和多周期检测方面都优于其他流行的算法。

    演示论文

    TSExplain: Surfacing Evolving Explanations for Time Series

    论文地址:https://dl.acm.org/doi/10.1145/3448016.3452769

    论文源码:-

    论文摘要:在当今的业务决策过程中,了解对所发生事件的根本解释越来越重要。现有的解释引擎专注于解释两个给定集合之间的差异。然而,对于时间序列,解释通常会随着时间的推移而发展。因此,仅考虑两个结束时间戳将错过其间的所有解释。为了缓解这种情况,我们演示了 TSExplain,这是一个帮助用户理解任何聚合时间序列的潜在演化解释的系统。在内部,TSExplain 将解释问题建模为时间维度上的分割问题,并使用关于两组差异的现有工作作为构建块。在我们的演示中,与会者将能够轻松地以交互方式探索不断发展的解释,并可视化这些解释如何促进各种数据集的整体变化:COVID-19、S&P500、爱荷华州酒类销售。诸如“哪些州使 COVID-19 确诊病例总数在过去一年中急剧上升?”、“哪些股票导致标准普尔 500 指数在 3 月份急剧崩盘并随后迅速反弹?”等问题,TSExplain 都能很好地回答。

    FeatTS: Feature-based Time Series Clustering

    论文地址:https://dl.acm.org/doi/10.1145/3448016.3452757

    论文源码:https://shorturl.at/noCDJ

    论文摘要:聚类时间序列是涉及数据科学和数据分析管道的实际应用程序中经常出现的问题。现有的时间序列聚类算法对于特征丰富的现实世界时间序列无效,因为它们仅根据原始数据比较时间序列或使用一组固定的特征来确定相似性。在本文中,我们展示了 FeatTS,这是一种基于特征的半监督聚类框架,解决了可变长度和异构时间序列的上述问题。具体来说,FeatTS 利用通过考虑大量重要提取特征获得的时间序列的图编码。然后它采用社区检测并建立在共现矩阵上,以统一所有最佳聚类结果。我们让用户通过可视化初始数据、其图形编码和社区划分以及获得的集群来探索 FeatTS 的各个步骤。我们展示了用户如何与过程交互以选择特征以及改变输入标签和各种参数的百分比。鉴于其特性,FeatTS 优于最先进的聚类方法,并且是第一个能够消化特定领域的时间序列(例如医疗保健时间序列),同时仍然具有健壮性和可扩展性的方法。

    工业论文

    APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding

    论文地址:https://dl.acm.org/doi/10.1145/3448016.3457564

    论文源码:https://github.com/WangXuhongCN/APAN

    论文摘要:为了捕获更高阶的结构特征,大多数基于 GNN 的算法学习结合 k 跳邻居信息的节点表示。由于查询 k-hop 邻居的时间复杂度很高,大多数图算法无法部署在巨大的密集时间网络中来执行毫秒级推理。这个问题极大地限制了在某些领域应用图算法的潜力,尤其是金融欺诈检测。因此,我们提出了异步传播注意网络,一种用于实时时间图嵌入的异步连续时间动态图算法。传统的图模型通常执行两个串行操作:首先是图查询,然后是模型推理。与之前的图算法不同,我们将模型推理和图计算解耦,以减轻繁重的图查询操作对模型推理速度的损害。大量实验表明,所提出的方法可以实现有竞争力的性能,同时大大提高推理速度。

    Real-time Data Infrastructure at Uber

    论文地址:https://dl.acm.org/doi/10.1145/3448016.3457552

    论文源码:https://github.com/WangXuhongCN/APAN

    论文摘要:优步的业务本质上是高度实时的。每天都在不断地从 Uber 司机、乘客、餐馆、食客等终端用户那里收集 PB 数据。有许多有价值的信息需要处理,并且必须在几秒钟内针对各种用例做出许多决策,例如客户激励、欺诈检测、机器学习模型预测。此外,越来越需要将这种能力暴露给不同的用户类别,包括工程师、数据科学家、高管和运营人员,这增加了复杂性。在本文中,我们展示了实时数据基础设施的整体架构,并确定了我们需要为架构中的每个组件不断解决的三个扩展挑战。在优步,我们在基础设施的关键领域严重依赖开源技术。在这些开源软件的基础上,我们添加了重大改进和定制,以使开源解决方案适合 Uber 的环境并弥合差距以满足 Uber 独特的规模和要求。然后,我们重点介绍了几个重要的用例,并展示了它们的实时解决方案和权衡。

    AutoAI-TS:AutoAI for Time Series Forecasting

    论文地址:https://dl.acm.org/doi/10.1145/3448016.3457557

    论文源码:https://github.com/winedarksea/AutoTS

    论文摘要:文献中提出了大量时间序列预测模型,包括传统的统计模型、机器学习模型和最近的深度学习。然而,选择正确的模型以及在给定数据上表现良好的良好参数值仍然具有挑战性。为给定数据集自动向用户提供一组良好的模型可以节省时间和精力,因为使用试错方法和各种可用模型以及参数优化可以节省时间和精力。我们提出了 AutoAI for Time Series Forecasting (AutoAI-TS),它为用户提供零配置(zero-conf)系统,以便在给定数据集的各类模型中有效地训练、优化和选择最佳预测模型。AutoAI-TS 凭借其灵活的零配置设计,自动为用户执行所有数据准备、模型创建、参数优化、训练和模型选择,并提供可立即使用的训练模型。对于给定的数据,AutoAI-TS 利用多种模型,包括经典统计模型、机器学习 (ML) 模型、统计-ML 混合模型和深度学习模型以及各种转换来创建预测管道。然后它使用建议的 T-Daub 机制对管道进行评估和排名,以选择最佳管道。该论文详细描述了 AutoAI-TS 的所有技术方面,以及针对各种用例的各种真实世界数据集的广泛基准测试。基准测试结果表明,AutoAI-TS 无需用户手动配置,自动训练和选择平均优于现有最先进时间序列预测工具包的管道。


    交流学习

    目前开通了技术交流群,群友超过500人,添加方式如下:

    添加时最好方式为:来源+兴趣方向,方便找到志同道合的朋友

    • 方式1、发送如下图片至微信,长按识别,关注后台回复:加群;
    • 方式2、微信搜索公众号:机器学习社区,关注后台回复:加群;

    在这里插入图片描述

    展开全文
  • SIGMOD-2020 论文简析:为协作任务推荐部署策略-Recommending Deployment Strategies for Collaborative Tasks研究背景研究目标问题挑战作者贡献总体模型1 基本概念2 StratRec 框架3 StratRec 运行流程4 备选部署参数...

    研究背景

    大家都知道的,众包任务的流程一般都是由请求者发布,然后上 传到众包平台中的,然后众包工人再从平台上接受任务、提交任务答 案给回平台,平台再进行审核(通过/拒绝),最后汇总给请求者,如下图所示。
    在这里插入图片描述
    目前,众包任务请求者没有对任务的成本、延迟和质量参数上的部署策略进行算法研究及解决方案,仅限于实证研究。典型的参数查询优化问题只关注一个目标来优化。而本文作者从多维度的部署策略建议上去研究,该问题与“推荐关系数据库中的最佳查询计划,其中连接、选择和预测可以多次组合”问题相似。

    研究目标

    • 帮助请求者部署众包协作任务,研究如何向请求者推荐任务的部署策略,以尽可能实现短时间内以低成本获得高质量的目标;
      -当现有的策略不能满足所制定的部署,则探讨替代部署参数的建议,这样就有可能推荐k个策略可用的不同部署参数,从而进一步指导请求者进行任务部署。

    问题挑战

    • 首先,如何估计不同类型任务的工人可用性是一个具有挑战性的问题,需要深入研究其自身的优点;
    • 然后,如何提出原则性但实用的模型来建立部署参数和策略参数之间的关系,或如何现实地对这些职能进行建模,从不同类型任务的历史数据中学习这些职能;
    • 最后,如果请求不能满足所制定的请求时,该怎么进行下一步的策略推荐或任务部署。

    作者贡献

    • 提出了一个通用的 StratRec 框架,用于在考虑员工可用性的策略进行部署时对一组协作任务的质量,成本和延迟进行建模,以向请求者推荐与其部署任务要求参数相对应的多种策略。
    • 提出了一个备选部署参数算法(ADPAR),未满足的请求将发送到备用参数推荐模块进行处理。
    • 验证了不同策略对不同协作任务(例如文本摘要和文本翻译)的有效性,并为需要指导请求者选择正确策略提供证据。
    • 设计了 BatchStrat,一个统一算法框架来解决批部署推荐问题。 BatchStrat 本质上是贪婪的,它为吞吐量最大化问题提供了精确的结果,并为支付最大化问题(NP-Hard)提供了 1/2 近似因子。

    总体模型

    1 基本概念

    在学习模型之前有几个概念需要先了解一下:

    • ①部署策略s:就是我们如何安排工人去完成任务,一般用三个维度去衡量(结构-“顺序/并行”;组织-“合作/独立”及风格-“仅依赖人群/将其与机器算法相结合”);如下图所示,例如有一个 从英语翻译到法语的任务。有四种策略风格,图(A)中要求工人依次、独立完成任务,并且没有算法的帮助。在图(B)中,工作人员是并行、 协作完成任务,而不需要算法的帮助。最后一种策略规定了一种混合工作风格,其中工作人员与算法相结合。

    在这里插入图片描述

    • ②工人的可用性w:通过利用平台上的历史数据将工人的可利用性捕获为概率分布函数,假设可以捕捉到有70%的机会拥有7%适合承担某种类型的任务的工人,30%的机会拥有 2%的工人,在预期中,这产生了5.5%的可用工人。

    在这里插入图片描述
    ③请求的任务d:下表 中则是 3 个请求的任务 d 和 4 种部署策略以及他们相应的质量、成本和延迟参数值。
    在这里插入图片描述

    2 StratRec 框架

    了解完这几个主要的概念后,来看一下作者本文提出的一个框架 “StratRec”,这是一个优化驱动的中间层,位于请求者、工作人员和平台之间。StratRec有两个主要模块:聚合器和替代参数推荐 (ADPAR)。聚合器负责将 k 个策略推荐给一批传入的部署请求,同时考虑工人的可用性。如果平台没有足够资质的编辑人员来满足所有请求,聚合器将通过优化以平台为中心的目标来对它们进行测试,例如最大限度地提高吞吐量或成本。未满足的请求将发送到ADPaR,ADPaR会建议可使用k个策略的不同部署参数。
    在这里插入图片描述

    3 StratRec 运行流程

    对于该框架有一个策略模型:
    在这里插入图片描述

    • ①首先,将部署请求集 d、工人的可用性 w 以 及从策略数据库中选择满足请求条件的策略作为输入。

    • ②然后,先执行部署策略建模,以估计给定部署请求 d 的策略 s 的质量、成本和延迟。因此,如果使用策略 s 部署 d, 则将此部署的质量参数建模为:
      在这里插入图片描述
      通过将历史数据拟合到此线性模型,可针对每个 s,d 和参数(质量,成本,等待 时间)组合获得模型参数α和β。一旦这些参数已知,则再次使用上述方程来估计员工需求,以满足使用策略 s 部署 d 的质量阈值(成本和延迟)。最后,生成一个由|S|个可用部署策略作为列及 m 个不同的部署请求作为行映射而成的二维矩阵 W,作为输出。

    • ③这个矩阵中的单元 Wij 代表使用 j 策略部署及第 i 个请求估计所需的劳动力。需要去进行劳动力计算,该值利用策略 j 去部署请求 i 超过这三个需求(质量、成本和延迟)的最大值。从形式上讲,它们可以表述如下:
      在这里插入图片描述

    • ④批部署推荐:为满足条件的请求分配策略,要是不满足条件则将不 满足的请求传入 ADPAR 中。

    4 备选部署参数算法(ADPAR)

    它以部署 d 和策略集 S 作为输入,并被设计为推荐替代部署参数 d’和 k 个策略,然后满足 d 与 d’之间的欧几里得距离最小。
    在这里插入图片描述
    **ADPAR-Exact 算法步骤:**该算法处理是几何的,提出了一种精确的离散技术 ADPaRExact, 采用三条扫线,每个参数、质量、成本和延迟都有一个参数,并逐渐放宽参数,以产生允许 k 个策略的最紧的替代参数。通过其独特的设 计选择,ADPaR-Exact 被授权选择最适合优化目标函数的参数,从而产生 ADPaR 的精确解。

    • 步骤一:首先,每个策略 s 都是三维空间中的一个点,以 d2 策略为例, 则 d2 是一个超矩形。 第一步:计算部署需要满足每个部署参数与策略之间的松弛(增量)。松弛计算这类似于 si.cost-d2.cost(同样适用于质量和延迟), 当策略成本小于部署阈值时,它显示不需要松弛,因此我们将其转换为 0。以 d2 策略为例,由此得出下表所示的松弛值:
      在这里插入图片描述
    • 步骤二:根据从步骤 1 计算出的松弛值对所有参数进行排序, 并跟踪策略的索引和松弛值的参数。另一个数据结构,一个大小|S|×3 的布尔矩阵 M,用于跟踪列表 R 中游标 r 当前移动所涵盖的策略的数量。这个矩阵被初始化为 0,随着 r 的推进,条目被更新为 1。下表4为所有参数松弛值排序,我们按照该顺序去扫描策略,每前进一步,矩阵M对应策略的Q、L、C记为1,如下表2所示。
      在这里插入图片描述
      在这里插入图片描述
    • 步骤三:涉及沿 Q、C 和 L 设计三条扫描线。扫线是一条假想的垂直线,它向右扫过平面。Q 扫描线按 Q 的递增顺序对 C L 平 面中的 S 进行排序,当 ADPaR-Exact 遇到策略时,它会扫描这条线, 游标 r 指向 R 矩阵 M 中这三个值中最小的值,以查看到目前为止涵盖哪些策略的参数。
      在这里插入图片描述
    • 步骤四:ADPaR-Exact 检查当前 d’是否涵盖 k 个策略,并在相应的二维平面上为第三个参数的固定值创建投影。图显示了(Q,L) 平面中固定成本的示例,它寻找在这 Q、L 两个参数中最大的扩展, 这个新的 d”涵盖了 k 个策略,这就产生了三个新的部署参数, dC”,dQ”,dL”。它选择这三个最好的,并更新 d’。此时,它检 查 M 是否包含 k 个策略。如果有,它停止处理并返回新的 d’和 k 个策略。如果没有,它将光标 r 向右推进。
      在这里插入图片描述
      按照表4中的顺序去前进并记录表2,可以发现最终输出的策略为{s1,s2,s3}。

    数据集

    作者自己在AMT上设置的文本翻译实验收集数据:

    • ①选择了三个流行的英语童谣进行句子翻译。每个押韵由 4-5 行组成,将从英语翻译成印地语。
    • ②对于文本创作,要求工人写 5 个与婚礼主题相关的句子。对于句子翻译,质量测试由 5 个样本句子组成,从英语翻译到印地语,由专家审核。一周中不同的三天,每天雇用了80 名工人。

    实验分析

    • ①首先的观察是工人的可用性可以被估计,并且确实随着时间的推移而变化。观察到,对于这两种任务类型,在窗口 2(星期一 到星期四)期间,与其他两个窗口相比,工作人员更可用,如下图实验所示。
      在这里插入图片描述
    • ②每个部署参数与文本编辑任务的工作人员可用性具有线性关系。质量和成本随着工人的可用性而线性增加。延迟随着工人可用性的增加而降低,如下图实验所示。
      在这里插入图片描述
    • ③当任务部署时,考虑到 Strat Rec 的推荐,使用统计显著性,它们在固定成本阈值下平 均达到更高的质量和更低的延迟,
      在这里插入图片描述

    困惑/思考

    • 本篇论文作者主要是设计了一个任务部署策略推荐框架StartRec,以及一个备选部署参数算法(ADPAR)。在框架设计中引入了工人的可用性去与策略的参数进行关联建模,去分析合适的推荐策略,要是没分配到合适策略的请求则会传入ADPAR中进行参数替代,推荐具有新的参数的部署请求d’ 及备选策略集。
    • 这篇文章亮点我认为是:作者主要在众包任务部署策略选择上的整体框架流程的分析,一个大框架解决方案的提出;以及前面引入了工人的可用性与策略的参数(质量、成本、延迟)进行建模分析。论文作者的证明证据及公式都比较全面,SIGMOD的论文真的十分硬核,论文阅读下来不得不佩服作者的考虑全面及严谨,但是文章阅读理解起来没有那么形象,有些点还是有跳跃,对于我来说还是不能很快很好的理解,嗯,我继续加油吧!😢

    附件

    • 作者ppt讲解视频地址:https://vimeo.com/447854983
    • 作者原文(有积分的支持一下吖,没有的也可以私信我邮箱):https://download.csdn.net/download/Fama_Q/13635308
    • 论文中文翻译版:https://download.csdn.net/download/Fama_Q/13754421
    展开全文
  • 近日,由阿里云计算平台和阿里云达摩院合作的时序多周期检测相关论文RobustPeriod: Robust Time-Frequency Mining for Multiple Periodicity Detection被SIGMOD 2021 (Research Track)接收[1]。这也是阿里巴巴首次以...

    本文作者:张颖莹,文青松,孙亮,何凯,柯旻,蒋君伟

    近日,由阿里云计算平台和阿里云达摩院合作的时序多周期检测相关论文RobustPeriod: Robust Time-Frequency Mining for Multiple Periodicity Detection被SIGMOD 2021 (Research Track)接收[1]。这也是阿里巴巴首次以第一单位在SIGMOD 的Research Track发表的论文

    ACM SIGMOD国际数据管理会议(ACM SIGMOD International Conference on Management of Data)由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起,是数据库领域具有最高学术地位的国际性学术会议,其论文录取难度极高,SIGMOD位列数据库方向的三大顶级会议之首 (其次是VLDB及ICDE),被中国计算机学会(CCF)推荐为A类会议。本年度的SIGMOD会议将于2021年6月20日至2021年6月25日在中国西安召开。

    本次工作是前沿算法与阿里云实际业务场景紧密结合落地的典型案例。论文提出的RobustPeriod是一套具有鲁棒性的时间序列多周期检测通用框架,它不仅在理论上具备创新性,同时基于它构筑的时间序列异常检测和预测服务支撑了阿里云大数据计算平台的多个业务场景。本文除了介绍RobustPeriod的核心技术亮点,还将重点解释如何将它构筑成服务来解决阿里云的业务痛点。

    一、业务需求和难点

    论文的灵感来源于阿里云大数据计算平台真实的业务场景需求。在大数据平台运维和运营的场景中,有很多需要监控的指标,例如机器的CPU、内存和存储使用率,批处理作业的运行时间,流式作业的吞吐量等。这些指标都属于时间序列,同时这些时间序列中可能存在一些重复出现的模式,即周期性。甚至在一条时间序列中可能存在多种周期性,例如某个作业的TPS曲线,可能既存在天周期,即每天的凌晨都是流量高峰;同时又存在周周期,即工作日相对流量较高,周末流量偏低。如果我们能够自动且精准地识别出每个指标中存在的各个周期,那么就能更高效地对这些指标进行异常监控,及时发现偏离周期性的异常点,甚至可以准确地对这些指标的未来每个时刻的走势进行预测,从而提前进行资源规划。因此,异常检测和预测是周期检测的两个典型应用。此外,由于周期也是时间序列的典型特征之一,该周期的检测和识别也能广泛应用于时间序列之间关系的建模。

                                           图1. 大数据平台运维场景部分监控指标示例(注:图中红色部分表示数据缺失)

     

    然而,对云监控指标进行周期检测并非易事。图1展示了一部分指标的示例,我们发现这类指标具有如下特点:

    (1)由于时序数据的复杂性,周期检测受到时序数据中除周期成分外的其他的成分的干扰,包括了趋势的变化(如缓缓增长或下降的趋势),噪音和异常点,甚至由于业务特性或采集问题可能出现大段的数据缺失。图1最左上角还展示了类似『稀疏型』的周期性数据。

    (2)天周期、周周期、年周期可能交织存在且存在一些特例,如很多数据集中都有长周末(正常周末2天+额外1天)的现象。

    (3)由于涉及的业务场景繁多,不同曲线的业务背景、模式、粒度等都存在较大差异。难以人工设定一些先验的周期信息。

    (4)双十一、618等大促,小长假等特殊情况都会对周期的判别造成干扰。

    (5)随着业务的发展,周期性并非一成不变而是具有一定动态性。

    上述特点给周期的识别带来了很大的挑战。我们需要一套高效鲁棒的通用算法框架,能够自动识别出任意一条时间序列中存在的周期数量,并且准确计算每个周期的长度。

    二、RobustPeriod周期检测框架介绍

    现有的周期检测算法主要集中在基于周期图(Periodogram)的频域算法和基于自相关函数(ACF)的时域算法两个方向。然而这些算法要么无法很好处理长周期,要么容易受到趋势、噪音和异常值的影响,或者依赖先验的基准周期长度信息,抑或是无法处理多周期的情况,因此这些算法都无法很好地应对上面所提到的诸多挑战。

    基于此,我们提出了RobustPeriod,一套具有鲁棒性的时间序列多周期检测通用框架。其基本流程如下图所示,主要包含三个关键步骤:

                                                              图2. RobustPeriod周期检测算法框架流程

     

    (1)预处理阶段(Pre-processing)

    我们使用线性差值法对缺失值进行填充以应对大段数据缺失的场景。同时使用HP滤波(Hodrick–Prescott trend filtering)对时间序列中的趋势项进行提取并剔除。

    (2)多重周期的分解(Decoupling Multiple Periodicities)

    为了解决多重周期交织在同一个时间序列中的问题,我们首先使用最大重复离散小波转换(Maximal overlap discrete wavelet transform, MODWT)分离出不同层次的周期性。MODWT具备的良好特性使得它可以应对任意长度的时间序列,同时可以很好地处理不平稳的时间序列和非高斯噪音。基于分解出的不同层次的周期成分和它们对应的小波方差(wavelet variance), 我们可以对这些周期成分进行强弱排序,并优先输出更显著的周期成分。

    (3)单周期检测(Robust Single Periodicity Detection)

    在完成了多重周期的分解后,接下来的问题就变成了如何准确地对单重周期进行检测。在这个阶段我们设计了一套称为Huber-ACF-Med的流程,它包含两个子步骤。首先是利用基于Huber-Periodogram的Fisher’s Test生成每个层次的周期长度候选项,然后再利用ACF对这些候选项进行验证优化,最终得到这条时间序列所包含的所有周期长度。

    在我们的论文中,我们不仅从理论上对RobustPeriod的合理性进行了论证,同时在模拟数据集、公开数据集和阿里云计算平台的真实数据集中对我们的算法进行了充分的验证,利用消融分析验证了每一个步骤的重要性,并和其他的前沿经典算法如Siegel,AUTOPERIOD,Wavelet-Fisher进行了对比。结果显示,无论是在单周期还是多周期场景的检测中,我们的算法都取得了最优的效果。特别是在有趋势噪音和异常值的真实数据集中,我们的算法具有明显优势。

    三、基于RobustPeriod构筑的TData/IAD时序异常检测和预测服务

    前文提到,异常检测和预测是周期检测的两个典型应用,为了让RobustPeriod能在实际业务场景中发挥效用,我们将它整合到了阿里云大数据智能运维TData平台和达摩院决策智能IAD (Intelligent Anomaly Detection)平台,并且在它的基础上构筑出了时序异常检测和时序预测这两项通用在线服务。

    (1)TData, IAD平台的时序异常检测

    图3展示了时序异常检测服务的算法框架,主要包括周期检测、周期分解RobustSTL/RobustTrend, 和统计检验三大模块[2-9]。RobustPeriod作为核心前置模块决定了后续的算法分析链路,影响了最终检测的准确性。当RobustPeriod识别出某条时间序列的周期性后,我们基于各层次周期成分的长度,利用RobustSTL和RobustTrend分解算法准确分离出趋势项、周期项和残差项,进而更加准确地识别出曲线是否有偏移原有模式的异常点,满足用户不同场景、不同类型的异常检测需求。对于TData的用户来说,只需将指标接入并选择关注的异常类型,不需要具备任何机器学习基础,也不需要提供曲线的任何先验信息或标注,即可得到准确的检测结果。

                                                                              图3. TData时序异常检测算法框架 

    (2)TData, IAD平台的时序预测

    图4展示了时序预测服务的算法框架,主要包括周期检测、预测和评估三大模块。预测模块作为RobustPeriod的下游,我们同样基于周期检测的结果采用了分而治之的思想。对于具有周期性的曲线使用了TBATS模型(Exponential smoothing state space model with Box-Cox transformation, ARMA errors, Trend and Seasonal components)进行预测,因为它可以高效处理复杂的周期成分。而对于那些被判别为不具备周期性的曲线,我们则直接利用经典的ARIMA模型进行预测。

                                                                                      图4. TData时序预测算法框架

    此外TData/IAD时序异常检测和时序预测服务的算法均搭建在阿里云之上,充分利用了云服务带来的性能优势和稳定性,即使面对海量的指标,分析流程也能在秒级完成。

    四、最佳业务实践

    阿里云大数据智能运维TData平台和达摩院决策智能IAD平台提供的时序异常检测和预测通用服务,接入成本低结果准确且运行稳定,目前已经为阿里云计算平台,阿里数据,搜索推荐等的多个BU的产品提供支持,这里我们列举了几例最佳实践给大家提供参考。

    (1)MaxCompute数据质量异常检测(DQC)

    MaxCompute是阿里云提供的一项面向分析的EB级别大数据计算服务,不仅服务于阿里集团、蚂蚁金服、菜鸟、优酷、高德等事业部,同时也为公共云和专有云用户提供计算能力。对于海量数据计算服务而言,数据准确性是数据质量的关键,也是所有离线系统加工时的第一保障要素。因此MaxCompute为用户提供了数据质量的异常校验功能,当产出的数据较往常模式有变化时,会通知用户或阻塞生产链路以防止数据污染扩散。

    过去,用户需要为每一个计算任务手工配置数据质量校验规则,随着用户增长和业务体量的扩大,目前仅阿里巴巴内部每天运行的任务数就已经达到近千万,人工配置规则需要耗费过多人力,已经无法满足需求。因此MaxCompute为数据质量监控提供了动态阈值的功能,其底层即是Tdata异常检测服务。

    MaxCompute上运行的数据计算任务与其对应的业务紧密相关,因此数据质量监控指标所展现出的模式也受其对应业务的影响。这也就意味着,不同数据计算任务的数据质量监控指标可能具有完全不同的周期性,例如大促期间菜鸟的业务高峰可能相对与淘宝天猫的电商业务高峰就具有一定滞后性。而我们的RobustPeriod则很好地解决了这类业务痛点,针对不同的任务曲线,我们都可以自动化地对其周期性进行精准计算和分解,从而提升异常检测的准确性。目前DQC的动态阈值功能已经覆盖了阿里集团多个BU,同时作为付费项目输出到了公共云,为更多外部用户提供了智能检测的服务。

    (2)实时计算Flink作业流量预测和自动扩缩容(AutoScale)

    实时计算Flink是阿里云基于Apache Flink 构建的企业级、高性能实时大数据处理系统。在阿里集团内部,目前全部核心业务已经用上Blink。除了技术大考双11之外,ET城市大脑实时计算规划着杭州交通,淘宝、天猫每天为数亿用户展现实时的“专属”页面。Flink作业通常需要长时间持续运行,数据和作业的流量会随着时间不断变化,因此所需的作业资源也会随之变化。如果按照作业低峰期的需求进行资源配置,作业将在流量高峰出现时计算延迟等异常情况而无法正常运行;而如果持续以作业高峰期的资源需求量进行配置,则会造成集群的资源使用率变低。因此我们需要自动化的、自适应地对Flink作业进行动态资源调优,以保证作业正常运行的前提下优化资源利用率,这就是Flink的自动扩缩容功能(AutoScale) 期望达到的目标。

    早期的AutoScale版本属于被动扩缩容,即只有检测出作业出现延迟等因为资源问题导致的异常状态时,才会触发资源的调优。这种被动扩缩容的方式虽然能缓解作业的异常问题,但触发调整时作业已经受到了不同程度的影响。因此在阿里云内部使用的最新的版本中,TData为实时计算Flink的AutoScale功能提供了时序预测服务,使其能提前感知作业流量的变化趋势,从而提前对作业资源的配置进行规划和调整,减少作业因为资源问题出现的异常情况,同时最大限度地提升资源使用率。

     (3) 阿里数据官智能洞察和商业数据的异常检测

    DT阿里数据官是一款面向用户的对话式智能数据机器人,以自然语言交互的智能问答,帮助用户快捷的找到所需数据,随时随地掌握业务动向;以智能洞察为基础的数据报告支持用户订阅,每日推送至钉钉,助力高效决策。智能洞察旨在自动的从多维数据中发掘有价值的规律和信息传递给用户,其洞察结果往往可以协助回答业务关注的问题。比如:某品牌的销售趋势是否健康或其售卖产品的周期性?今天支付金额上升的主要原因有哪些?某关注指标和其他指标的相关性等。我们的鲁棒高效周期检测(Seasonality)以及其他洞察可以帮助业务同学深入挖掘业务状况,定位根因,为制定快速决策提供基础。同时,我们基于周期检测分解的时序异常检测的效果比原有算法相比有了巨大的提高,能力全量的在DT oneMonitor上线,合作也从“异常检测”扩大到了的“数据洞察”,“数据安全”等更加广阔的领域,让算法更强力和更广泛的为商业赋能。

    (4) 搜索烽火台智能异常检测和智能化运维

    搜索的监控系统之前是基于规则的阈值报警,面对周期性指标,毛刺和稀疏数据等复杂场景难以适用,导致大部分指标报警泛滥,给用户带来很大的困扰。于是搜索kmon同学基于高频报警场景联合达摩院算法尝试增加异常检测进行智能报警治理报警泛滥问题。在采用了IAD系统之后,各项异常检测有了很大的提高,基于周期性的指标波动算法也能很好的识别。

     

    参考文献

    [1] (达摩院时序智能团队+计算平台大数据基础工程与技术团队) Qingsong Wen, Kai He, Liang Sun, Yinging Zhang, Min Ke, and Huan Xu, "RobustPeriod: Time-Frequency Mining for Robust Multiple Periodicities Detection," in Proc. ACM SIGMOD International Conference on Management of Data (SIGMOD 2021), Xi'an, China, Jun. 2021. see also in [arXiv]

    [2] (达摩院时序智能团队) Linxiao Yang, Qingsong Wen, Bo Yang, Liang Sun, A Robust and Efficient Multi-Scale Seasonal-Trend Decomposition, in Proc. of IEEE 46th International Conference on Acoustics, Speech, and Signal Processing(ICASSP 2021), Toronto, Canada, June 2021.

    [3] (达摩院时序智能团队) Qingyang Xu, Qingsong Wen, Liang Sun, A Two-Stage Framework for Seasonal Time Series Forecasting,  in Proc. of IEEE 46th International Conference on Acoustics, Speech, and Signal Processing(ICASSP 2021),  Toronto, Canada, June 2021.

    [4] (达摩院时序智能团队) Qingsong Wen, Zhe Zhang, Yan Li and Liang Sun, "Fast RobustSTL: Efficient and Robust Seasonal-Trend Decomposition for Time Series with Complex Patterns," in Proc. of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining(KDD 2020), San Diego, CA, Aug. 2020. [Oral]

    [5] (达摩院时序智能团队) Jingkun Gao, Xiaomin Song, Qingsong Wen, Pichao Wang, Liang Sun, and Huan Xu. RobustTAD: Robust Time Series Anomaly Detection via Decomposition and Convolutional Neural Networks, In the KDD 2020 Workshop on Mining and Learning from Time Series, San Diego, CA, Aug. 2020.

    [6] (达摩院时序智能团队) Qingsong Wen, Zhengzhi Ma, and Liang Sun, "On Robust Variance Filtering and Change Of Variance Detection," accepted for Oral Presentation, in Proc. of IEEE 45th International Conference on Acoustics, Speech, and Signal Processing(ICASSP 2020), Barcelona, Spain, May 2020. [Oral] 

    [7] (达摩院时序智能团队) Qingsong Wen, Jingkun Gao, Xiaomin Song, Liang Sun, Huan Xu, Shenghuo Zhu. RobustSTL: A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series. Proceedings of the 33rd AAAI Conference on Artificial Intelligence (AAAI 2019), 33(01), 5409-5416. [Oral] [Link]

    [8] (达摩院时序智能团队) Qingsong Wen, Jingkun Gao, Xiaomin Song, Liang Sun, Jian Tan. RobustTrend: A Huber Loss with a Combined First and Second Order Difference Regularization for Time Series Trend Filtering. Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI 2019).[Oral] [Link]

    [9] RobustSTL集团Alibaba Tech 采访和外部报道: Looking for Trends in the IoT Era: Enhanced Time Series Analysis with RobustSTL.[Facebook Link][Medium Link]

     

    展开全文
  • 这里写自定义目录标题Python 批量下载SIGMOD,VLDB的论文 Mac OS实现爬取网站下载单篇论文获得所有论文的链接完整代码 Python 批量下载SIGMOD,VLDB的论文 Mac OS 因为一个个找带某一关键词的论文太累了,因此写了一个...
  • sigmod2011全部论文(2)

    2013-05-02 18:13:33
    以前和大家分享过SIGMOD2009的论文,朋友们都很感兴趣,现手里有SIGMOD211的全部论文,再次和大家分享~ 一个包放不下,一共分成了3个包,包含百余篇论文,朋友们可以挑选自己感兴趣的部分下载,我尽量把文章目录写...
  • SIGMOD 2014 论文中评估的原型数据库(我发布了一篇介绍性博客文章)。 这个原型的代号是“kaiju”(遗憾的是,它作为代号有点失去了它的时髦魅力]())。 了解 RAMP 算法 我已经在py-impl目录中编写了 RAMP-Fast、...
  • ACM SIGMOD 2020 编程竞赛

    千次阅读 2020-04-13 19:48:52
    第一次参加数据库顶级会议ACM SIGMOD编程比赛,拿到第十名,很不容易,继续努力! 3月中旬才参加,那时已经有队伍F评分0.99了,膜拜大佬······ 另外吐槽一下某个相机title是d80,description是d90,还有附件...
  • SIGMOD论文阅读笔记

    2021-09-05 12:34:11
    本次阅读的6篇论文并非学术论文,而是基于工业实践的论文。因此阅读时更侧重于论文中系统实现情况,实验结果,以及未来可能使用方向等。 ExDRa: Exploratory Data Science on Federated Raw Data ...
  • 2021年6月20日至25日SIGMOD数据管理国际会议(SpecialInterest Group on Management Of Data)在中国西安召开,北京大学王选计算机研究所数据管理研究室邹磊老师、博士生苟向阳、胡琳参加了此次会议。 SIGMOD数据...
  • 6月20-25日,数据库国际顶会2021 ACM SIGMOD在西安举行。本届大会上,腾讯云数据库技术总监邱敏带来了主题为“腾讯云数据库技术演变之路”的演讲。演讲视频以下为演讲内容的文字实...
  • 近日,介绍开源向量数据库系统 Milvus 的技术论文 “Milvus: A Purpose-Built Vector Data Management System” 被数据库领域国际顶级会议 SIGMOD’21 录用。Milvus 项目由 Zilliz 公司于 2019 年发起,...
  • SIGMOD 2021 将于6月20日到6月25日在西安召开,作为数据库领域毋庸置疑的顶会,今年收录了7篇区块链相关的论文,其中1篇 demo paper,6篇 research paper。这篇博客简单介绍了其中的三篇。 Why do my blockchain ...
  • VLDB:Very Large Data Bases ICDE:International Conference of Data Engineering SIGMOD:Special Interest Group on Management of Data
  • sigmod 2012 全部论文

    2013-06-09 08:17:40
    数据库方面的顶级会议论文集,2012年5月于美国举办,2013年将于6月22日举行
  • tensorflow中sigmod激活函数 sigmod激活函数。 值越小,输出为0,值越大,输出为1. 均值非0,收敛慢 函数是幂运算,运算量较大 函数导数的输出范围是0~0.25,多次迭代相乘,容易趋向0,产生梯度消失,无法...
  • Sigmod函数图像 其作用 跟据图像,我们可以看出,x的值越小,则所得到的值越趋近于0,反之越趋近于1,而位于0到1的范围内,则是均匀增长,于是就是可以巧妙的利用它这一特性,将我们所求得的加权值压缩到0到1的范围...
  • SIGMOD是数据库领域最重要也是最有影响力的会议之一,今年6月底即将在荷兰阿姆斯特丹举行,届时,X-Engine团队的程训焘博士将会在会议上做一个分享,欢迎大家前来探讨。 本文目的是对这篇论文做一个前导性分析,...
  • Spitfire:易失和非易失性内存的三层buffer管理Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volati...
  • 2009 Proceedings of the 35th SIGMOD international conference on Management of data 2 Efficient type-ahead search on relational data: a TASTIER approach Guoliang Li, Shengyue Ji, Chen Li, Jianhua ...
  • 2009 Proceedings of the 35th SIGMOD international conference on Management of data In this paper, we study a novel form of continuous nearest neighbor queries in the presence of obstacles, namely ...
  • 从0到1 激活函数(一)sigmod函数

    千次阅读 2019-12-20 16:52:28
    本节主要是介绍神经网络中常见的激活函数-----sigmod函数。 sigmod的函数 简介 sigmod的函数是一个在生物学中常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,常被用作神经...
  • Sigmod/Softmax变换

    千次阅读 2017-09-03 11:39:32
    连接函数 logit probit)] 神经网络中的激活函数:sigmoid函数/Logistic 函数-软饱和和硬饱和 [神经网络中的激活函数 ] 逻辑回归中的sigmod函数 [Machine Learning - VI. Logistic Regression逻辑回归 (Week 3) ] ...
  • SIGMOD 2017论文的摘要与看法

    千次阅读 2018-06-23 09:17:27
    SIGMOD2017 持续更新 3.1 Concurrency并发 ACIDRain: Concurrency-Related Attacks on Database-Backed Web Applications ACIDRain:对数据库支持的Web应用程序的并发性攻击 Cicada: Dependably Fast Multi-...
  • sigmod机器人-源码

    2021-03-03 17:07:03
    Sigmoid电报机器人 您可以在这里尝试机器人 描述 我开发的一种电报机器人,旨在学习使用Python进行网络抓取。 我在开发时使用的库, 美丽汤 要求 Python电报Bot API 要求 python == 3.8 beautifulsoup4 == 4.8.2 ...
  • 了解更多Greenplum相关内容,欢迎访问Greenplum中文社区网站 ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。 SIGMOD和另外两...
  • sigmod 函数与softmax 函数之间既有类似,又有差异,是两种典型的深度神经网络的activation functions。通俗而言,sigmod 函数常用于二分类,softmax 函数常用于多分类。两者都起到了压缩的作用。 sigmoid函数(也叫...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,701
精华内容 4,280
关键字:

sigmod