azure 订阅
Microsoft Azure是微软基于云计算的操作系统,原名“Windows Azure”,和Azure Services Platform一样,是微软“软件和服务”技术的名称。Microsoft Azure的主要目标是为开发者提供一个平台,帮助开发可运行在云服务器、数据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的储存、计算能力和网络基础服务。Azure服务平台包括了以下主要组件:Microsoft Azure,Microsoft SQL数据库服务,Microsoft .Net服务,用于分享、储存和同步文件的Live服务,针对商业的Microsoft SharePoint和Microsoft Dynamics CRM服务 [1]  。Azure是一种灵活和支持互操作的平台,它可以被用来创建云中运行的应用或者通过基于云的特性来加强现有应用。它开放式的架构给开发者提供了Web应用、互联设备的应用、个人电脑、服务器、或者提供最优在线复杂解决方案的选择。Microsoft Azure以云技术为核心,提供了软件+服务的计算方法。 它是Azure服务平台的基础。Azure能够将处于云端的开发者个人能力,同微软全球数据中心网络托管的服务,比如存储、计算和网络基础设施服务,紧密结合起来。微软会保证Azure服务平台自始至终的开放性和互操作性。我们确信企业的经营模式和用户从Web获取信息的体验将会因此改变。最重要的是,这些技术将使我们的用户有能力决定,是将应用程序部署在以云计算为基础的互联网服务上,还是将其部署在客户端,或者根据实际需要将二者结合起来。 展开全文
Microsoft Azure是微软基于云计算的操作系统,原名“Windows Azure”,和Azure Services Platform一样,是微软“软件和服务”技术的名称。Microsoft Azure的主要目标是为开发者提供一个平台,帮助开发可运行在云服务器、数据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的储存、计算能力和网络基础服务。Azure服务平台包括了以下主要组件:Microsoft Azure,Microsoft SQL数据库服务,Microsoft .Net服务,用于分享、储存和同步文件的Live服务,针对商业的Microsoft SharePoint和Microsoft Dynamics CRM服务 [1]  。Azure是一种灵活和支持互操作的平台,它可以被用来创建云中运行的应用或者通过基于云的特性来加强现有应用。它开放式的架构给开发者提供了Web应用、互联设备的应用、个人电脑、服务器、或者提供最优在线复杂解决方案的选择。Microsoft Azure以云技术为核心,提供了软件+服务的计算方法。 它是Azure服务平台的基础。Azure能够将处于云端的开发者个人能力,同微软全球数据中心网络托管的服务,比如存储、计算和网络基础设施服务,紧密结合起来。微软会保证Azure服务平台自始至终的开放性和互操作性。我们确信企业的经营模式和用户从Web获取信息的体验将会因此改变。最重要的是,这些技术将使我们的用户有能力决定,是将应用程序部署在以云计算为基础的互联网服务上,还是将其部署在客户端,或者根据实际需要将二者结合起来。
信息
开发商
Microsoft(微软)
分    类
网络服务器
外文名
Microsoft Azure
Windows Azure云计算
时至今日,IT服务已经成为任何商业运作的必备设施。云计算就是要将 IT 服务变得像用电一样简单。企业不需要担心电力来自哪家发电站、电线如何布设。同理,在云计算的 帮助下,企业不再费心管理每台服务器用什么处理器、装什么操作系统或者数据库。云计算提供商集中管理软件和硬件。使用者能够在任何地方随时调用资源,用完以后及时释放以供再分配,从而避免资源浪费,降低了 IT 运作成本。企业得以将有限的资源和人力用于拓展业务、提升核心竞争力。根据部署模型的不同,云计算大体可以分为以下三类:公有云公有云平台提供商通过互联网将存储、计算、应用等资源作为服务提供给大众市场。企业不需要自己构建数据中心,只需要根据使用量支付开支。如果说传统 IT 设施是企业自己给每个部门准备一台发电机、铺电线。公有云就是企业从专业电力公司买电,基础设施的建设和管理完全交给电力公司,企业用多少电付多少钱。能够最高效、最经济地利用资源。私有云私有云是每个企业或者组织独立运作的云基础设施。私有云建立初期需要企业投入更多资源,但更适于保存敏感数据。微软提供了完善的私有云解决方案,具体请看这里。混合云顾名思义,混合云就是私有云和公有云的组合,同时结合不同解决方案的优势。混合云既能提供公有云的低成本,也能通过私有云满足企业对核心业务极致安全性的需求。Windows Azure 能够与基于 Windows Server 和 System Center 的私有云解决搭配使用,兼顾企业的具体需求。
收起全文
精华内容
下载资源
问答
  • Azure

    2016-10-20 07:35:00
    ylbtech-Miscellaneos:Azure A,返回顶部 1, Windows Azure是微软基于云计算的操作系统,现在更名为“Microsoft Azure”,和Azure Services Platform一样,是微软“软件和服务”技术的...
    ylbtech-Miscellaneos:Azure

     

    A,返回顶部
    1,
    Windows Azure是微软基于云计算的操作系统,现在更名为“Microsoft Azure”,和Azure Services Platform一样,是微软“软件和服务”技术的名称。Windows Azure的主要目标是为开发者提供一个平台,帮助开发可运行在云服务器数据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的储存、计算能力和网络基础服务。Azure服务平台包括了以下主要组件:Windows Azure;Microsoft SQL数据库服务,Microsoft .Net服务;用于分享、储存和同步文件的Live服务;针对商业的Microsoft SharePoint和Microsoft Dynamics CRM服务[1]  。
    Azure是一种灵活和支持互操作的平台,它可以被用来创建云中运行的应用或者通过基于云的特性来加强现有应用。它开放式的架构给开发者提供了Web应用、互联设备的应用、个人电脑、服务器、或者提供最优在线复杂解决方案的选择。Windows Azure以云技术为核心,提供了软件+服务的计算方法。 它是Azure服务平台的基础。Azure能够将处于云端的开发者个人能力,同微软全球数据中心网络托管的服务,比如存储、计算和网络基础设施服务,紧密结合起来。
    微软会保证Azure服务平台自始至终的开放性和互操作性。我们确信企业的经营模式和用户从Web获取信息的体验将会因此改变。最重要的是,这些技术将使我们的用户有能力决定,是将应用程序部署在以云计算为基础的互联网服务上,还是将其部署在客户端,或者根据实际需要将二者结合起来。
    2,
    B返回顶部
    1,
    Microsoft Azure
    2,
    中文技术社区
    3,
    百度百科
    4,
    5,
    6,
    warn 作者:ylbtech
    出处:http://ylbtech.cnblogs.com/
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

    转载于:https://www.cnblogs.com/ylbtech/p/5979407.html

    展开全文
  • 本系列将涵盖Azure CosmosDB,Azure服务总线,Azure存储帐户,Azure SQL数据库,Azure Blob容器,Azure功能应用程序,Azure API应用程序,Azure移动应用程序,Azure应用服务,Azure身份验证等。 目录 Azure CosmosDB...
  • Windows Azure

    2018-04-19 16:54:45
    Windows Azure
  • Azure Microsoft Azure 部署与管理指南
  • azure-devops-terraform:通过Azure DevOps与Terraform部署Azure基础结构的食谱
  • Azure-Design:适用于Azure的我的设计资源,包括我的Azure Visio模具,可帮助您设计和构思Azure服务
  • Azure Java示例 该GitHub存储库包含一组Azure示例,这些示例专门供Java用户快速入门。 请使用问题跟踪器留下反馈或提出其他示例。 入门 要使用这些示例,假定您已经安装了Azure CLI,并且已经登录并设置了默认订阅。...
  • 适用于Azure CLI的Azure DevOps扩展 用于Azure CLI的Azure DevOps扩展将管道,木板,回购,工件和DevOps命令添加到Azure CLI 2.0。 具有Azure DevOps扩展的Azure CLI已替换了VSTS CLI。 VSTS CLI已被弃用,将不再...
  • Microsoft Azure PowerShell 该存储库包含PowerShell cmdlet,供开发人员和管理员开发,部署和管理Microsoft Azure应用程序。 在Azure Cloud Shell中试用! 直接链接:打开浏览器到 Azure的门户网站:选择在云...
  • Azure DevOps —— Azure Pipeline

    千次阅读 2019-02-24 19:15:37
    Azure Pipeline 这是整个 Azure DevOps 的重头戏,也是微软愿意独立开放和打重金宣传的模块。虽然其他模块(限本地版)可以自由的开启和关闭,但微软对该模块有一个强有力的口号:*“Build in any program, release ...

    Azure Pipeline

    这是整个 Azure DevOps 的重头戏,也是微软愿意独立开放和打重金宣传的模块。虽然其他模块(限本地版)可以自由的开启和关闭,但微软对该模块有一个强有力的口号:*“Build in any program, release to any platform”,也就是说,它可以编译任何程序,然后发布到任意平台。

    当然,它也是做持续集成(CI)和持续部署(CD)的关键模块,就好比现在市面上其他流行工具,如 Jenkins、TeamCity、Bamboo 等等工具,但 Azure Pipeline 比他们更有优势

    • 界面更加人性化
      Jenkins 不说了,可以说就是给没有美感的程序员使用的,和任何互联网产品相比无疑是最丑的。

    • 操作更方便
      拖拖拽拽就能完成你想要的功能,基本上微软的产品都是围绕这个思路进行的。所以,Azure Pipeline 中集成了很多的任务供你选择,不怎么需要懂写完整的代码就能集成你想要的程序。

    • 更好地本地化语言支持
      Jenkins 据说有中文包,但某些好像也翻译不完全,TeamCity 和 Bamboo 根本只有英文版;而Azure DevOps 整套本地版支持本地化语言。

    当然最大的优势就是和微软的 Azure 以及 .NET 结合咯,不过 .NET 已经不是微软的唯一选择了,任何语言任何平台都可以。

    言归正传

    首先看到左边的导航,有一个火箭图标的
    在这里插入图片描述

    生成(Build)

    你可以把服务器想象成你本地计算机,

    • 首先你得获取源代码,比如从远程的 github 或本地的 Azure Repos 仓库;
    • 然后使用工具对源代码进行编译,只有编译通过的代码才可以使用,当然取决于你使用的语言,如果是 Python 或者 Javascript 就不需要编译了;
    • 当然你也可以加入其它的部分,比如跑单元测试、代码安全扫描等等,但最终的结果是拿到一个可以被发布的包。

    这就是一个管道模式,你配置要做的任务,它会一步一步的往下走,直至结束。

    如果你是新项目,旁边会有这个提示
    在这里插入图片描述

    点击这个“新管道”,就进入了配置页面。

    获取源代码

    在这里插入图片描述
    当然第一步就是获取源代码,没有源代码就无法编译打包。

    配置管道

    在这里插入图片描述
    右边已经有为特定语言配置好的任务,你只需要点击 “应用” 就会跳转到下一个页面

    在这里插入图片描述
    我选择了一个 ASP.NET 的末班,它会给我自动生成这些步骤。右边就是为选择好的任务进行参数配置,这里就不细说了。

    代理

    在 Azure Pipeline 中,代理分为两种,一种叫生成代理(Release Agent),另一种叫部署代理(Deploy Agent)

    代理是干什么用的?

    言简意赅就是帮你跑管道任务的。

    难道你会在某一个服务器安装各种语言的 SDK 吗?比如 Java 的JRE,.NET Framework 或 Python 等等,Java 和 Python 会安装在 Linux 服务器上,而 .NET 或 C++ 的只能在 Windows 服务器上安装,因此为了让服务器可以分布式,就有了代理。

    每一台服务器安装一个代理,Azure Pipeline 根据你的配置和选择,去呼唤相应服务器的代理,然后帮你把源代码进行编译。

    部署代理也是同理,可能A服务器要发布到 Tomcat 上,B服务器要发布到 IIS 上,C服务器需要部署在 Docker 上,服务器通过代理获取生成好的包,然后进行不同服务器的部署。

    发布和部署没有代理就无法工作
    这一章就不会细说怎么弄代理。

    发布

    就是将指定生成好的部署包,进行发布,当然这也是一个管道模式。
    在这里插入图片描述

    项目

    就是你要选择怎么进行部署,使用哪一个生成包进行部署。
    在这里插入图片描述
    默认支持现在比较流行的几种模式。

    阶段

    就是你需要部署的环境

    可以并行、或者串行,比如只有成功部署到了 DEV 环境,才能对 SIT 环境进行部署,或者一次性部署到多台服务器环境,比如我有5台DEV服务器。

    大概看一个真实的例子吧
    在这里插入图片描述

    变量

    这个东西在 DevOps 中无处不在,和你编程一样,有时候你总不能到处都输入一大串字符串吧?例如部署的路径(D://wwwroot/xxxx/release/api/docker/…),所以使用变量可以让这些输入进行统一化。

    就是你自定义的变量组

    比如数据库字符串,你可以定义一组变量来进行配置,就好比你做系统的表单页面一样。
    在这里插入图片描述

    任务组

    就是自定义管道中的任务

    你可以把你某个生成或部署的多个任务封装成一个任务组,这样的话就不需要每一次都提交一大串任务了,比如配置环境变量、获取组件包(Maven/Nuget/PIP/npm)、Tomcat 的配置、Web 站点的 url 等等。

    在这里插入图片描述

    部署组

    就是刚才说的部署代理

    在这里插入图片描述

    总结

    不管从界面上、易用性上我都推荐你使用 Azure Pipeline,当然收费模式你可以自己去官网看看,你不想用云的话,就自己搭建一个吧。

    展开全文
  • Azure Cosmos DB + Azure Functions + Azure SignalR的无服务器通知 此存储库包含可重用的解决方案,该解决方案为聊天应用程序创建一个完整的无服务器方案,该应用程序将数据存储在,用于托管和事件处理的以及用于...
  • Windows Azure Azure 简介

    2019-07-22 20:39:24
    Windows Azure作为一个微软公有云平台,被寄予了厚望。 可以说Windows Azure与Windows RT一样是微软战略转型的重点。 2012年9月微软与中国本土的电信服务提供商世纪互联合作,世纪互联获得授权使用Windows Azure...

    平台介绍

    Windows Azure作为一个微软公有云平台,被寄予了厚望。

    可以说Windows Azure与Windows RT一样是微软战略转型的重点。

     

    2012年9月微软与中国本土的电信服务提供商世纪互联合作,世纪互联获得授权使用Windows Azure搭建公共云服务平台,并向微软付技术转让费。值得注意的是,前期销售全部由微软的销售团队去完成,而后期签订协议、运营维护全部是由世纪互联来负责。“每次采访都问我什么时候云能来中国,我们花了很多的时间在想业务模式,今天终于来了。”微软全球资深副总裁张亚勤说。

    2013年5月份左右提供了一阵子免费试用注册, 但不久后就停止了免费试用,目前要想免费试用windows Azure 需要申请通过获取邀请码的方式来激活Azure试用权限。

     

    免费试用包含下述服务:

    计算 / 每月 3000 小时小型计算实例,每个beta账户/订阅最多支持四核

    关系数据库 / 1 个商业版 SQL 数据库,2 个网页版数据库

    存储 / 70 GB 本地和 70GB 异地冗余存储,含 5000 万次存储操作

    数据传输 / 数据输入不受限制 / 数据输出 25 GB

    服务总线 / 1500 个中继小时和 50 万条消息

     

    毫无疑问Windows Azure必将改变国内目前的云计算市场格局。

     

     

    主要功能

    目前由于天朝的政策,Windows Azure 在中国并没有开放所有功能(HDInsight),

    主要提供的功能有以下几个方面。

    虚拟机

    Windows Azure 是一个灵活而开放的云平台,通过该平台,您可以在数据中心快速生成、部署和管理应用程序。Wondows Azure 支持所有主流操作系统、语言或开发工具,并且能够将公有云应用程序与现有 IT 基础设施相集成。

    虽然不是Azure平台最先推出的功能,但无疑是微软杀进中国云计算的第一利器。

    在中国,世纪互联无疑是目前国内规模最大的电信中立互联网基础设施服务提供商。

    而方便的虚拟机创建,灵活的计费方式,安全可靠的运行环境,无疑对刚刚起步的公司有着巨大的吸引力。

    云服务

    创建可无限扩展的高可用性应用程序和 API

    通过 Windows Azure 云服务快速部署和管理功能强大的应用程序和服务。只需上传您的应用程序,Windows Azure 将处理部署详细信息(从资源配置和负载平衡到运行状况监控)以实现持续可用性。您的应用程序能够通过 Windows Azure 轻松实现异地多点备份,免除后顾之忧。您只需专注于应用程序,而无需担心 IT 基础设施。就是这么简单。

    微软前些年主推的云战略产品,非常的好用且强大,非常适合IIS+Asp.net+Windows Server的项目。

     

    数据管理

    满足数据需求的最优解决方案,从 SQL 数据库到 BLOB 存储再到表格(Table),一应俱全

    Windows Azure 提供多种服务以帮助您管理云中的数据。利用 SQL 数据库(原 SQL Azure 数据库),您可以使用熟悉的工具和功能强大的 SQL Server 技术快速创建、扩展应用程序并将其延伸到云中。表格(Table)以较低成本为数据访问需求简单的应用程序提供 NoSQL 功能。BLOB 为视频、音频和图像等数据提供低成本存储解决方案。所有这些数据均可轻松实现异地多点备份,让您免除后顾之忧。利用 Windows Azure,您还可以在 Windows Azure 上的虚拟机中运行 SQL Server。

    个人理解:

    数据管理这块主要是用来解决项目运行在Windows Azure 环境中时所涉及的存储问题。非常的好用平滑。

     

    缓存

    缩短数据与用户的距离,从而在全球任何位置都可提供优质的响应体验

    利用 Windows Azure 中的缓存服务,使数据距离最终用户更近,帮助您构建可高度扩展、响应迅速的应用程序。轻松配置 CDN(内容传送网络)功能,提供快速、流畅的用户体验。Windows Azure 还提供内存缓存,可将应用程序数据存储在内存中,从而改进应用程序的响应速度、运行性能和扩展能力。

     

    联网

    用于连接本地部署基础设施与公有云的最完整网络功能集

    虚拟网络

    利用 Windows Azure 虚拟网络,可以配置和管理 Windows Azure 中的虚拟专用网络 (VPN),并将其与本地部署 IT 基础设施中的 VPN 安全链接。利用虚拟网络,IT 管理员可将本地网络扩展到云,并控制网络拓扑,包括虚拟机的 DNS 和 IP 地址范围配置。

     

    身份标识

    集成本地部署 Active Directory 以实现跨云应用程序的单一登录。

    Windows Azure Active Directory

    Windows Azure Active Directory (Windows Azure AD) 是一种基于 REST 的现代化服务,可提供对云应用程序的标识管理和访问控制功能。现在,您可以针对 Windows Azure、Microsoft Office 365、Dynamics CRM Online、Windows Intune 和其他第三方云服务使用同一种标识服务。Windows Azure Active Directory 提供云端标识提供程序,可以与本地部署 AD 轻松集成,且完全支持第三方标识提供程序。

    利用 Windows Azure AD 可以执行以下操作:

    与本地部署的 Active Directory 集成

    快速扩展现有本地部署的 Windows Azure AD 应用策略,并使用 Windows Azure 和其他云服务的现有企业凭据对用户进行控制和身份验证。

    为应用程序提供访问控制

    根据中心化策略和规则轻松地管理对应用程序的访问。确保维持对组织应用程序一致、恰当的访问,从而满足关键的内部安全性与合规性要求。通过 Windows Azure AD 访问控制,开发人员可以使用消费者标识提供程序或本地部署 Windows Server Active Directory 对 Windows Azure 中的应用程序集中进行身份验证和授权。

    在企业内建立社交关系

    Windows Azure AD Graph 是一种创新的社交企业图谱,界面简单、干净,您可以使用资源管理器视图访问用户、组和角色等对象,轻松发现信息和关系。

     

    消息传递

    保持应用程序跨私有云和公有云环境的连接性

    Windows Azure 服务总线(Service Bus)和 Windows Azure EAI 将云与本地部署设施相整合,例如从 Windows Azure 访问您部署在本地的商业应用程序(如 SAP 和 Oracle EBS)。

    Windows Azure 服务总线

    服务总线是在应用程序之间构建的消息传递基础设施,用于在应用程序之间以松散耦合的方式相互交换消息,以改善可扩展性和弹性。

    利用服务总线可以执行以下操作:

     

    管理云中的消息传递

    服务总线队列提供简单的先进先出消息传递保证,并支持一系列标准协议(REST、AMQP、WS*)和 API,用于将消息放入或拉出队列。服务总线主题可以向多个订阅传递消息,并可以轻松将大规模消息传递扇出到下游系统。

    将本地部署应用程序连接到云端

    服务总线中继允许本地部署 Web 服务建立公共端点,从而解决了本地部署应用程序与外界之间的通讯问题。这样一来,系统便可从世界上的任何地方访问这些 Web 服务,而这些服务可继续在本地运行。

    大规模向移动设备推送通知(预览)

    通知中心(Notification Hub)当前正处于预览阶段。这是将推送通知发送到主流移动平台应用程序的一种便捷的可扩展方式,开发者无需学习使用各平台不同的通知机制。

     

    队列

    Windows Azure 队列服务用于在应用程序之间实现可靠、持续的消息传递。您可以使用队列在 Windows Azure 中的应用程序或服务之间传输消息。队列存储的消息可供对存储帐户具有访问权限的任何客户端读取。一个队列可以包含无数条消息,每条消息最大不得超过 64KB。可通过互联网从任何位置通过 REST 服务访问队列,并且队列支持 .NET、Java 和 Node.JS 客户端库。

     

     

    总结

    通过功能介绍可以发现,Azure其实是一个非常灵活,可拆分的平台。用户可以选用其中任何一个单独的功能,也可以同时使用多个功能,将其结合起来使用。

     

    这样一个平台体现出了云计算平台的优势:使人们像使用水电一样来使用计算资源。完全实现账单到期即付pay as you go。让人们能够花更少的钱享受更好的服务这就是使用windows Azure 云平台的好处。

     

    这个云平台毫无疑问是属于公有云的,谁都可以来使用。

    它集成了各种平台,例如虚拟机属于Iaas平台,cloud service属于Paas平台,storage属于saas平台 等等。

    在我看来,Windows Azure不是一个高档的奢侈品店,只有有钱的企业才能消费,而是属于一个大超市,普通人也能去逛,而且总能挑到一两件你用得着的东西。

     

     

     

     

     

    转载于:https://www.cnblogs.com/he-yuan/p/3280755.html

    展开全文
  • Microsoft Azure资源提供程序 Pulumi的Microsoft Azure资源提供程序使您可以在云程序中使用Azure资源。 要使用此软件包,请先 。 有关简化的Pulumi演练(包括语言运行时安装和Azure配置),请单击下面的“入门”。 ...
  • azure blob We introduced Azure Databricks, how it is created and some of its important components in my previous article here. We will look at how we can work with Azure Blob Storage in Azure D.....

    azure blob

    We introduced Azure Databricks, how it is created and some of its important components in my previous article here. We will look at how we can work with Azure Blob Storage in Azure Databricks in this article.

    我们推出了Azure的Databricks,它是如何创建和我以前的文章一些重要的组成部分在这里 。 在本文中,我们将研究如何在Azure Databricks中使用Azure Blob存储。

    Azure Blob Storage is a storage service in Azure that enables users to store large amounts of unstructured data like videos, audios, images, text, backup data, etc. This cloud service is a cost-effective and scalable approach when compared to on-premises storage options. There are four types of storage in Azure, including Blob (Binary large object) storage; you can learn about them here: Different Azure Storage types (File, Blob, Queue and Table).

    Azure Blob存储Azure中的一项存储服务,使用户能够存储大量非结构化数据,例如视频,音频,图像,文本,备份数据等。与本地部署相比,此云服务是一种经济高效且可扩展的方法存储选项。 Azure中有四种存储类型,包括Blob(二进制大对象)存储; 您可以在此处了解它们: 不同的Azure存储类型(文件,Blob,队列和表)

    Azure Databricks is an implementation of Apache Spark on Microsoft Azure. It is a powerful chamber that handles big data workloads effortlessly and helps in both data wrangling and exploration. It lets you run large-scale Spark jobs from any Python, R, SQL, and Scala applications. Spark is written in Scala (a high-level language) and there are definitely some performance benefits if commands are run in Scala in Azure Databricks.

    Azure Databricks是Microsoft Azure上Apache Spark的实现。 它是一个强大的工具箱,可轻松处理大数据工作负载,并有助于数据整理和探索。 它使您可以从任何Python,R,SQL和Scala应用程序运行大规模Spark作业。 Spark用Scala(一种高级语言)编写,如果在Azure Databricks中的Scala中运行命令,则肯定会带来一些性能上的好处。

    先决条件 (Pre-requisites)

    To follow along with this article, you need to have the following requisites:

    要继续阅读本文,您需要满足以下条件:

    1. here 在这里为自己创建一个
    2. this site, to know how to create a Databricks service on Azure 站点,以了解如何在Azure上创建Databricks服务
    3. here if you are new to the Azure Storage service. Afterward, we will require a .csv file on this Blob Storage that we will access from Azure Databricks 此处 。 之后,我们将在此Blob存储上需要一个.csv文件,我们将从Azure Databricks访问该文件

    Once the storage account is created using the Azure portal, we will quickly upload a block blob (.csv) in it. Note: Azure Blob Storage supports three types of blobs: block, page and append. We can only mount block blob to DBFS (Databricks File System), so for this reason, we will work on a block blob.

    使用Azure门户创建存储帐户后,我们将在其中快速上传一个块Blob(.csv)。 注意:Azure Blob存储支持三种类型的Blob:块,页面和附加。 我们只能将块Blob挂载到DBFS(Databricks文件系统),因此,出于这个原因,我们将在块Blob上工作。

    1. Navigate to your Storage Account in the Azure portal, and click on Containers

      在Azure门户中导航到您的存储帐户,然后单击“ 容器”

      Uploading a block blob in Azure Blob Storage container 1/7.

    2. Click on + Container to create a new container

      单击+容器创建一个新容器

      Uploading a block blob in Blob Storage container 2/7.

    3. Type a name for the container, I am selecting the default access level as Private and finally hit the Create button

      输入容器的名称,我选择默认访问级别为“私有”,最后单击“ 创建”按钮

      Uploading a block blob in Blob Storage container 3/7.

    4. The container ‘azsqlshackcontainer’ is successfully created in the storage account

      在存储帐户中成功创建了容器“ azsqlshackcontainer”

      Uploading a block blob in Blob Storage container 4/7.

    5. Click the Upload button to upload a blob

      点击上传按钮上传一个Blob

      Uploading a block blob in Blob Storage container 5/7.

    6. This will open the Upload blade, browse your file and click on the Upload button. You can use any .csv file, in case you want to refer to the one we are using in this demonstration, you can download it from here

      这将打开“上载”刀片,浏览您的文件,然后单击“上载”按钮。 您可以使用任何.csv文件,如果您要引用本演示中使用的文件,可以从此处下载。

      Uploading a block blob in Blob Storage container 6/7.

    7. The block blob “1000 Sales Records.csv” is successfully uploaded in the container

      块blob“ 1000 Sales Records.csv”已成功上载到容器中

      Uploading a block blob in Blob Storage container 7/7.

    Our final Azure Storage account structure looks like this: Azure Storage Account (azsqlshackstorage) >> Container (azsqlshackcontainer) >> Block Blob (.csv file).

    我们最终的Azure存储帐户结构如下所示:Azure存储帐户(azsqlshackstorage)>>容器(azsqlshackcontainer)>>块Blob(.csv文件)。

    Let’s pick up from where we left off in our last article. For the azdatabricks cluster, created in this article, create a notebook named accessingblobstorage and select Scala language, as shown below. We will be working on this databricks notebook to access Azure Blob Storage in this article.

    让我们从上一篇文章中停下来的地方开始。 对于本文中创建的azdatabricks集群,创建一个名为accessingblobstorage的笔记本,然后选择Scala语言,如下所示。 我们将在此databricks笔记本上进行工作以访问本文中的Azure Blob存储。

    如何在Azure Databricks中创建Scala笔记本? (How to create a Scala notebook in Azure Databricks?)

    On the Databricks portal, click on the Workspace in the left vertical menu tab and select Create >> Notebook. In the Create Notebook dialog, give a name for your Notebook, choose Scala as the language from the Language drop-down and all the running clusters will be displayed in the Cluster drop-down. Since we just have one, so it will automatically be populated.

    在Databricks门户上,单击左侧垂直菜单选项卡中的工作区,然后选择创建>>笔记本。 在“ 创建笔记本”对话框中,为笔记本命名,从“ 语言”下拉列表中选择Scala作为语言,所有正在运行的群集将显示在“群集”下拉列表中。 由于我们只有一个,因此它将自动填充。

    Create a Scala notebook in Azure Databricks

    The Scala notebook shown below is created successfully in the databricks portal.

    如下所示的Scala笔记本已在databricks门户中成功创建。

    Scala notebook in Azure Databricks

    大纲摘要 (Outline summary)

    Since our base set-up comprising of Azure Blob Storage (with a .csv file) and Azure Databricks Service (with a Scala notebook) is in place, let’s talk about the structure of this article. We will demonstrate the following in this article:

    由于我们的基本设置由Azure Blob存储(带有.csv文件)和Azure Databricks服务(带有Scala笔记本)组成,因此,我们来讨论一下本文的结构。 我们将在本文中演示以下内容:

    1. We will first mount the Blob Storage in Azure Databricks using the Apache Spark Scala API. In simple words, we will read a CSV file from Blob Storage in the Databricks

      我们将首先使用Apache Spark Scala API将Blob存储安装在Azure Databricks中。 简单来说,我们将从Databricks中的Blob存储中读取CSV文件
    2. We will do some quick transformation to the data and will move this processed data to a temporary SQL view in Azure Databricks. We will also see how we can use multiple languages in the same databricks notebook

      我们将对数据进行一些快速转换,并将处理后的数据移至Azure Databricks中的临时SQL视图。 我们还将看到如何在同一个databricks笔记本中使用多种语言
    3. Finally, we will write the transformed data back to the Azure blob storage container using the Scala API

      最后,我们将使用Scala API将转换后的数据写回到Azure blob存储容器中

    步骤1:挂载Azure Blob存储容器 (Step 1: Mount an Azure Blob Storage container)

    To get started, you will need to know the name of your container, storage account and sas (Shared access signature). This sas is granted by Microsoft to access Azure Storage resources. To generate a sas, navigate to your Storage Account, and click Shared access signature under the Settings blade. Check the appropriate values; you can generate the sas for a particular time frame as well. Finally, click on Generate SAS and connection string button to generate and copy the SAS token.

    首先,您需要知道容器的名称,存储帐户和sas(共享访问签名)。 Microsoft已授予此sas访问Azure存储资源的权限。 要生成sas,请导航到您的存储帐户,然后在“设置”边栏选项卡下单击“共享访问签名”。 检查适当的值; 您也可以针对特定时间范围生成SAS。 最后,单击“ 生成SAS和连接字符串”按钮以生成并复制SAS令牌。

    Generate SAS and connectiong string for the Blob Storage container.

    Type the below code in the Scala notebook and press “Ctrl + Enter” to execute it.

    在Scala笔记本中键入以下代码,然后按“ Ctrl + Enter”执行它。

    val containerName = "azsqlshackcontainer"
    val storageAccountName = "azsqlshackstorage"
    val sas = "?sv=2019-02-02&ss=b&srt=sco&sp=rwdlac&se=2020-03-30T07:53:28Z&st=2020-03-29T23:53:28Z&spr=https&sig=5vK%2FKEgTJVLoF4SX08IvwK7Tff2x42TNwtb%2B9eWzSFI%3D"
    val config = "fs.azure.sas." + containerName+ "." + storageAccountName + ".blob.core.windows.net"
    

    Mount an Azure Blob Storage container in Databricks 1/2

    Don’t forget to change the values for your containerName, storageAccountName and sas accordingly.

    不要忘记相应地更改containerName,storageAccountName和sas的值。

    Once executed, click on the + sign (marked above in a red circle) to continue with your coding. Execute the following code snippet that uses Databricks utility to mount the Azure Storage.

    执行后,单击+号(上面用红色圆圈标记)继续进行编码。 执行以下使用Databricks实用程序安装Azure存储的代码段。

    dbutils.fs.mount(
      source = "wasbs://azsqlshackcontainer@azsqlshackstorage.blob.core.windows.net/1000 Sales Records.csv",
      mountPoint = "/mnt/myfile",
      extraConfigs = Map(config -> sas))
    

    A few points to note here:

    这里要注意几点:

    1. Databricks Utilities (dbutils) offers utilities with FileSystems. This mounting sets up the connection between Azure Databricks and Azure Blob Storage

      Databricks实用程序(dbutils)为FileSystems提供实用程序。 此安装建立了Azure Databricks和Azure Blob存储之间的连接
    2. myfile(<mount-name>) is a DBFS path and represents what container/folder will be mounted in DBFS as specified in “source”. You can type in your <mount-name>

      myfile(<mount-name>)是一个DBFS路径,代表将在“源”中指定的DBFS中装载哪些容器/文件夹。 您可以输入<mount-name>
    3. config is the <conf-key> which is this “fs.azure.sas.<container-name>.<storage-account-name>.blob.core.windows.net” in our case

      config是<conf-key>,在我们的例子中是“ fs.azure.sas。<容器名称>。<存储帐户名称> .blob.core.windows.net”

    Mounting the Blob Storage container in Databricks 2/2

    步骤2:读取资料 (Step 2: Read the data)

    Run the following command to read the .csv file in your blob storage container.

    运行以下命令以读取Blob存储容器中的.csv文件。

    • We will use a spark.read command to read the file and store it in a dataframe, mydf

      我们将使用spark.read命令读取文件并将其存储在数据框mydf中
    • With header= true option, we are telling it to use the first line of the file as a header

      使用header = true选项,我们告诉它使用文件的第一行作为标题
    • The default option for inferSchema is false, so by setting it to true, Spark will infer the schema of each column automatically

      inferSchema的默认选项为false,因此将其设置为true,Spark将自动推断每个列的模式
    • /mnt/myfile will allow you to read from the mount, you will access files in your container as if they were local files

      / mnt / myfile将允许您从安装读取,您将访问容器中的文件,就像它们是本地文件一样
    • And finally, use the display function to display the records of the data frame

      最后,使用显示功能显示数据框的记录
    • Do change the values in the command below for your mount name and file format, which is myfile and .csv, respectively, in our case

      请在下面的命令中更改安装名称和文件格式的值,在本例中分别为myfile和.csv
    val mydf = spark.read
    .option("header","true")
    .option("inferSchema", "true")
    .csv("/mnt/myfile")
    display(mydf)
    

    Reading the data from Blob Storage in Azure Databricks.

    步骤3:转换资料 (Step 3: Transform the data)

    To select a few columns in the result set, execute the below command.

    要在结果集中选择几列,请执行以下命令。

    val selectspecificcolsdf = mydf.select("Region", "Country", "SalesChannel", "OrderPriority","TotalProfit")
    display(selectspecificcolsdf)
    

    Transforming the data in Azure Databricks using Scala API.

    Let’s execute the code below to rename the column from SalesChannel to SalesPlatform.

    让我们执行以下代码,将列从SalesChannel重命名为SalesPlatform。

    val renamedColsmyDF = selectspecificcolsdf.withColumnRenamed("SalesChannel", "SalesPlatform")
    display(renamedColsmyDF)
    

    Renaming columns in Azure Databricks using Scala.

    Databricks notebooks offer a great collaborative environment for its users. Click on the comment icon above (circled in red), add your comment, and click on Comment.

    Databricks笔记本为其用户提供了一个很好的协作环境。 点击上方的评论图标(红色圆圈),添加您的评论,然后点击评论

    Commenting in the Scala notebook in Azure Databricks.

    Create a view or a table to query this data. You can provide any temporary view name. This is treated as a local table and will be available only to this Notebook.

    创建一个视图或表来查询此数据。 您可以提供任何临时视图名称。 该表被视为本地表,仅对此笔记本可用。

    renamedColsmyDF.createOrReplaceTempView(“SalesData”)
    

    Creating a temporary view in the Scala notebook in Databricks.

    Now comes the interesting part of notebooks, you can override the default language, Scala, by specifying language magic command, %<language>. Therefore, using %sql on the top, you can switch the language from Scala to Spark SQL. The below code retrieves all results from the temporary view, SalesData.

    现在出现了笔记本的有趣部分,您可以通过指定语言魔术命令%<language>来覆盖默认语言Scala。 因此,在顶部使用%sql,可以将语言从Scala切换到Spark SQL。 以下代码从临时视图SalesData中检索所有结果。

    %sql 
    SELECT * FROM SalesData
    

    Let’s perform a simple aggregation to calculate the total profit for each region for both Online and Offline channels.

    让我们执行一个简单的汇总,以计算在线和离线渠道每个区域的总利润。

    %sql
    SELECT Region, SalesPlatform,SUM(TotalProfit)  From SalesData
    group by SalesPlatform, Region
    order by region
    

    Querying data using Spark SQL.

    步骤4:将处理后的数据从Azure Databricks笔记本写入Blob存储容器 (Step 4: Write processed data from an Azure Databricks notebook to the Blob Storage container)

    Let’s encapsulate this SELECT statement in Spark SQL to save the aggregated results in a data frame.

    让我们将此SELECT语句封装在Spark SQL中,以将汇总结果保存在数据框中。

    val aggdata = spark.sql("""
    SELECT Region, SalesPlatform,SUM(TotalProfit)  From SalesData
    group by SalesPlatform, Region
    order by region
    """)
    

    Writing wrangled data to the Blob Storage from Azure Databricks. 1/6

    Below is the code snippet to write transformed and aggregated .csv data to an Azure Blob Storage container using Scala API. If, for some reason, you have to restart/pause your cluster, then make sure to execute the command set, cmd 1, mentioned at the very top of this article.

    下面是使用Scala API将经过转换和聚合的.csv数据写入Azure Blob存储容器的代码段。 如果由于某种原因必须重新启动/暂停群集,请确保执行本文顶部提到的命令集cmd 1。

    Writing wrangled data to the Blob Storage from Azure Databricks. 2/6

    The below code will save the results stored in aggdata into “SalesProfitData” folder on the Blob Storage.

    下面的代码会将存储在aggdata中的结果保存到Blob存储上的“ SalesProfitData”文件夹中。

    aggdata.write
     .option("header", "true")
     .format("com.databricks.spark.csv")
     .save("/mnt/result/SalesProfitData.csv")
    

    Writing wrangled data to the Blob Storage from Azure Databricks. 3/6

    Go to your Azure Blob Storage and you will find the SalesProfitData folder created. There is a metadata file also created.

    转到您的Azure Blob存储,您将找到创建的SalesProfitData文件夹。 还创建了一个元数据文件。

    Writing wrangled data to the Blob Storage from Azure Databricks. 4/6

    Click on this newly created folder. You will see the following files:

    单击此新创建的文件夹。 您将看到以下文件:

    • _started_… -> It indicates when the process was started

      _started_…->它指示进程何时开始
    • _committed_… -> It depicts how many files were created

      _committed_…->描述了创建了多少个文件
    • _SUCCESS -> It tells the status of the processing

      _SUCCESS->告知处理状态

    Also, you will find several split .csv files. Spark engine splits data into partitions for effective and fast data processing. Click on one of the files, and you can edit it, as shown below.

    此外,您还会找到几个拆分的.csv文件。 Spark引擎将数据分为多个分区,以进行有效,快速的数据处理。 单击其中一个文件,然后可以对其进行编辑,如下所示。

    Writing wrangled data to the Blob Storage from Azure Databricks. 5/6

    The below screenshot shows a sample of the same file downloaded and opened as a .csv file.

    下面的屏幕快照显示了下载并打开为.csv文件的相同文件的示例。

    Writing wrangled data to the Blob Storage from Azure Databricks. 6/6
    • Note: Azure Databricks with Apache Spark’s fast cluster computing framework is built to work with extremely large datasets and guarantees boosted performance, however, for a demo, we have used a .csv with just 1000 records in it. In practical scenarios, Azure Databricks processes petabytes of data in a few seconds.

      注意 :带有Apache Spark快速群集计算框架的Azure Databricks旨在与超大型数据集一起使用并保证提高的性能,但是,对于演示而言,我们使用的.csv中仅包含1000条记录。 在实际情况下,Azure Databricks会在几秒钟内处理PB级数据。

    结论 (Conclusion )

    In this post, we learned to access Blob Storage from Azure Databricks and also demonstrated how to write wrangled data back in an Azure Blob Storage container using Azure Databricks. Along the way, we also did some hands-on coding in the Scala notebook in the Spark cluster.

    在这篇文章中,我们学习了如何从Azure Databricks访问Blob存储,还演示了如何使用Azure Databricks将经过整理的数据写回到Azure Blob Storage容器中。 在此过程中,我们还在Spark集群的Scala笔记本中进行了一些动手编码。

    翻译自: https://www.sqlshack.com/accessing-azure-blob-storage-from-azure-databricks/

    azure blob

    展开全文
  • azure_了解Azure Arc

    2020-07-08 18:38:30
    azure 微软2019年Ignite会议上最有趣的公告之一是Azure Arc,这是一种用于混合云应用程序基础架构的新管理工具。 Arc建立在Azure概念的基础上,旨在允许您管理Azure门户中的本地资源 ,将策略和服务部署到虚拟机和...
  • ABAP-SDK-for-Azure:用于SAP AzureAzure服务的本机集成的ABAP库
  • Microsoft Azure食谱 描述 本食谱为创建管理Microsoft Azure组件提供了资源和提供程序。 当前支持的资源是: 存储帐户('microsoft_azure_storage_account') Blob存储容器('microsoft_azure_storage_container'...
  • Azure
  • Azure Functions无服务器插件 此插件启用了无服务器框架内的Azure功能支持。 快速开始 先决条件 Node.js 8.x或更高版本 无服务器CLI v1.9.0+ 。 如果尚未安装npm i -g serverless则可以运行它。 一个Azure帐户。 ...
  • Insight Windows Azure

    千人学习 2016-04-11 17:30:58
    带你了解Windows Azure,同时了解常用Windows Azure 问题处理
  • azure_初探Azure Synapse

    2020-07-10 16:38:30
    azure Azure之类的超大规模云服务旨在处理大量数据,在购买存储硬件时会利用其规模经济优势。 他们与必应(Bing)和Google等搜索引擎的密切关系使他们可以基于为分析公共互联网而开发的算法和工具。 这种结合使它们...
  • Azure vNet

    2019-02-20 10:01:07
    VNet是Azure云中逻辑隔离的虚拟网络。它包含两个含义: Azure的用户可以在VNet中创建自己的各种资源,感觉想自己的数据中心中一样; 在一个VNet中创建的资源和其它VNet创建的资源相互隔离,是Azure云中网络多租户的...
  • azure.azure_preview_modules 该角色是最完整的,包括所有最新的Azure模块。 与官方的Ansible发行版相比,更新和错误修复更及时地完成。 如果将Ansible用于Azure资源供应,强烈建议您安装此角色。 先决条件 此剧本...
  • 天蓝色,天蓝色功能,天蓝色存储,天蓝色斑点存储,天蓝色服务总线消息,天蓝色应用洞察力,天蓝色堡垒,天蓝色cosmos-db,天蓝色dns,应用服务,天蓝色-监视器,服务总线消息,存储,虚拟网络,Azure专用链接,...
  • Microsoft Azure构建和发布任务 Visual Studio Team Services构建和发布管理扩展,可帮助您在Microsoft Azure上构建和发布应用程序。 在Wiki上有关此扩展的信息! 包含的任务 :交换两个部署插槽 :启动Azure Web ...
  • f5-azure-arm-templates模板:用于在Azure中快速部署BIG-IP服务的Azure资源管理器模板
  • <div><p>Fix was made for Azure to no longer have a dependency on Azure.Storage (and therefore AzureRM.Profile). We need to make sure this is the correct long term fix, and if so, release a version of ...
  • Azure DevOps Python API 此存储库包含用于与Azure DevOps进行交互和管理的Python API。 这些API支持Azure CLI的Azure DevOps扩展。 要了解有关Azure CLI的Azure DevOps扩展的更多信息,请访问回购。 安装 pip ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 107,902
精华内容 43,160
关键字:

azure