精华内容
下载资源
问答
  • OLTP

    2021-03-10 19:43:01
    On-Line Transaction Processing,联机事务处理过程(OLTP),也称为面向交易的处理过程 其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式...

    On-Line Transaction Processing,联机事务处理过程(OLTP),也称为面向交易的处理过程
    其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一

    展开全文
  • OLTP与OLAP的区别

    万次阅读 多人点赞 2016-03-30 10:00:05
    OLTP和OLAP的区别联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。 OLTP的特点一般有: 1.实时性...

    项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
    欢迎大家star,留言,一起学习进步

    OLTP和OLAP的区别

    联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。
    OLTP的特点一般有:
    1.实时性要求高。我记得之前上大学的时候,银行异地汇款,要隔天才能到账,而现在是分分钟到账的节奏,说明现在银行的实时处理能力大大增强。
    2.数据量不是很大,生产库上的数据量一般不会太大,而且会及时做相应的数据处理与转移。
    3.交易一般是确定的,比如银行存取款的金额肯定是确定的,所以OLTP是对确定性的数据进行存取
    4.高并发,并且要求满足ACID原则。比如两人同时操作一个银行卡账户,比如大型的购物网站秒杀活动时上万的QPS请求。

    联机分析处理OLAP(On-Line Analytical Processing) 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。典型的应用就是复杂的动态的报表系统。

    OLAP的特点一般有:
    1.实时性要求不是很高,比如最常见的应用就是天级更新数据,然后出对应的数据报表。
    2.数据量大,因为OLAP支持的是动态查询,所以用户也许要通过将很多数据的统计后才能得到想要知道的信息,例如时间序列分析等等,所以处理的数据量很大;
    3.OLAP系统的重点是通过数据提供决策支持,所以查询一般都是动态,自定义的。所以在OLAP中,维度的概念特别重要。一般会将用户所有关心的维度数据,存入对应数据平台。

    总结:
    OLTP即联机事务处理,就是我们经常说的关系数据库,增删查改就是我们经常应用的东西,这是数据库的基础;TPCC(Transaction Processing Performance Council)属于此类。
    OLAP即联机分析处理,是数据仓库的核心部心,所谓数据仓库是对于大量已经由OLTP形成的数据的一种分析型的数据库,用于处理商业智能、决策支持等重要的决策信息;数据仓库是在数据库应用到一定程序之后而对历史数据的加工与分析,读取较多,更新较少,TPCH属于此类。
    随着大数据时代的到来,对于OLAP,列存储模式或者说nosql模式比传统意义的行存储模式可能更具优势。

    展开全文
  • 数据仓库之OLAP与OLTP区别

    万次阅读 2020-06-29 17:18:36
    关于数据仓库 数据仓库的定义 一个面向主题,集成的,稳定,随时间变化的数据集合,以用于支持管理的决策过程。 数据仓库的目的 通过集成不同的系统信息为企业提供统一的...操作型处理,叫联机事务处理OLTP(On-Line

    关于数据仓库

    数据仓库的定义

    一个面向主题,集成的,稳定,随时间变化的数据集合,以用于支持管理的决策过程。

    数据仓库的目的

    通过集成不同的系统信息为企业提供统一的决策分析平台,帮助企业解决实际的业务问题。

    数据仓库的特征

    ①面向主题 ②集成 ③稳定性即非易失得④随时间而变化即时变化的

    如今,数据仓库已经成为商务智能由数据到知识,由知识转化为利润的基础和核心技术

    数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别

    OLTP(联机事务处理)

    操作型处理,叫联机事务处理OLTP(On-Line TransactionProcessing),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段,主要用于操作型处理。

    OLAP(联机分析处理)

    分析型处理,叫联机分析处理OLAP(On-Line Analytical Processing)一般针对某些主题的历史数据进行分析,支持管理决策。

    OLTP与OLAP区别(图)

    讲太多的概念型的东西确实不那么理解,根据《数据仓库与数据挖掘实践》一个简单的图表共大家分享OLTP与OLAP的区别 。
    在这里插入图片描述
    在这里插入图片描述
    总结:以上为最近学习的数据仓库知识分享,小白也要和大家一起加油学习!

    展开全文
  • 德鲁伊 oltp oltp Introduced on SQL Server 2014, the new brand feature In-Memory OLTP a.k.a “Hekaton” is a Main-Memory Database Engine. Developed by Microsoft Research & Paul Larson (Database ...

    德鲁伊 oltp oltp

    Introduced on SQL Server 2014, the new brand feature In-Memory OLTP a.k.a “Hekaton” is a Main-Memory Database Engine. Developed by Microsoft Research & Paul Larson (Database Research Group at MSFT) this feature have the ability to manage and held tables entirely In-Memory. In this Series we will pass through for all the new concepts and components that makes this New Engine the most excited acquisition of the new SQL Server Version (120).

    在SQL Server 2014中引入的新品牌功能In-Memory OLTP(又名“ Hekaton”)是主内存数据库引擎。 此功能由Microsoft Research和Paul Larson(MSFT数据库研究组)开发,具有完全在内存中管理和保存表的功能。 在本系列中,我们将介绍所有使新引擎成为新SQL Server版本(120)的最激动人心的收购的新概念和组件。

    Constructed to break myths in the DBMS (Database Management Systems) Hekaton (Hekatonkheires) is a mythological creature with “Hundred Hands and Fifty Heads” and the reason for Microsoft gives his name is because they want to achieve midway 10x-100x of performance, for clarification 10x faster, means that the engine must execute 90% fewer instructions, going further, 100x faster means that SQL Server needs to executes 99% fewer instructions which means a drastic code reduction.

    为了打破DBMS(数据库管理系统)中的神话,Hekaton(Hekatonkheires)是一个神话人物,拥有“数百只手和五十个头”。Microsoft之所以给他起名,是因为他们希望获得10x-100x的性能,澄清速度提高了10倍,这意味着引擎必须减少90%的指令执行,进一步,速度提高100倍意味着SQL Server需要减少99%的指令执行,这大大减少了代码量。

    The databases systems were designed assuming that the Main Memory (RAM) is expensive and data needs to reside on disk. But now this assumption is no longer valid. The scenario changed over these years, and now in the 21st century the hardware became cheap and the price of the memory is still decreasing. Today is possible to store an entirely database In-Memory, even if the size of the database is greater than 1TB (Terabyte), the reason underneath this, is the x64 architecture that allows a maximum memory of 8 TB in the Windows Server Operate Systems (SO). Traditional Disks are measured in Ms (Microseconds) when the Main-Memory (RAM) is measured in Ns (Nanoseconds), what makes the Main-Memory more attractive and fast for the data access layer perspective.

    设计数据库系统时假设主内存(RAM)昂贵且数据需要驻留在磁盘上。 但是现在这个假设不再有效。 该方案改变了这些年了,现在在21 世纪的硬件变得便宜,内存的价格仍然下降。 即使数据库的大小大于1TB(兆字节),今天也可以在内存中存储整个数据库,其背后的原因是x64体系结构,其Windows Server Operate Systems中的最大内存为8TB。 (所以)。 传统磁盘以Ms(微秒)为单位,而主存储器(RAM)以Ns(纳秒)为单位,这使得主存储器在数据访问层方面更具吸引力,而且速度更快。


    Figure 1. Disk vs. Memory


    图1.磁盘与内存

    Like was mentioned before this is a new feature that was built-in the SQLOS (SQL Server Operate System) layer totally optimized to work with the tables entirely In-Memory. In this Series you will understand all the topics bellow and how they work making this the main pillars of this new technology that spent more than 4 year to be developed.

    如前所述,这是一项内置于SQLOS(SQL Server操作系统)层的新功能,该功能经过完全优化,可完全在内存中使用表。 在本系列中,您将了解以下所有主题以及它们如何工作,从而使之成为这项花费了四年多时间开发的新技术的主要Struts。

    1. Memory记忆
      • Optimized for Main-Memory (RAM)

        针对主内存(RAM)进行了优化
      • Hash & Range Index

        哈希和范围索引
      • No Buffer Pool

        没有缓冲池
      • Stored on FileStream Technology

        存储在FileStream技术上
    2. Concurrency并发
      • MVCC – Multi-Version Concurrency

        MVCC –多版本并发
      • No Locks / Lock Manager / Spinlocks

        无锁/锁管理器/自旋锁
    3. Compilation汇编
      • Compiled in C and Visual C

        用C和Visual C编译
      • Called By DDL’s

        由DDL调用
      • More CPI – Cycles per Instruction in CPU

        更多CPI – CPU中每条指令的周期


    Figure 2. In-Memory Architecture Integrated with SQLOS (SQL Server Operate System)


    图2.与SQLOS集成的内存中体系结构(SQL Server Operate系统)

    The highlighted places are the components that were added in the engine and I will describe shortly how they work.

    突出显示的位置是引擎中添加的组件,我将简要介绍它们的工作方式。

    1. Query Interoperability查询互操作性
      • This component connects the Disk-Tables and In-Memory Tables. When SQL Server Engine receives the request with an inner join between this both table types, he’s the responsible to request the data from the Memory Optimized Filegroup and the Data Filegroup (.mdf), putting together all this pieces and returning the result set for the requestor.

        该组件连接磁盘表和内存表。 当SQL Server Engine接收到带有这两种表类型之间的内部联接的请求时,他负责从内存优化文件组和数据文件组(.mdf)请求数据,将所有这些部分放在一起并返回结果集。请求者。
    2. Storage Engine for Memory Optimized Tables and Indexes用于内存优化的表和索引的存储引擎
          • Manages user data and indexes, providing transactional operations about the new hash and range indexes.

            管理用户数据和索引,提供有关新哈希和范围索引的事务性操作。
          • Responsible to compile the new Natively Stored Procedures to native code.

            负责将新的本机存储过程编译为本机代码。
          • Small component that integrates the SQL Server resources with the functionalities needed to In-Memory Tables and Natively Stored Procedure.

            小型组件,用于将SQL Server资源与内存表和本机存储过程所需的功能集成在一起。
    3. Memory Optimize Table File Group内存优化表文件组
      • In-Memory table have two possible options, the SCHEMA (Non-Durable) and SCHEMA_AND_DATA (Durable). Using the SCHEMA option SQL Server doesn’t persist anything in disk, this way if server restarts, all the data is lost in this process just remaining the metadata of the table. Using the SCHEMA_AND_DATA, SQL Server needs to guarantee the ACID clause and for this he store the changes in the .ldf file and the data in the special Filegroup called “Memory Optimized”.

        内存中表有两个可能的选项:SCHEMA(非耐用)和SCHEMA_AND_DATA(耐用)。 使用SCHEMA选项,SQL Server不会在磁盘上保留任何内容,这样,如果服务器重新启动,则在此过程中所有数据都将丢失,仅保留表的元数据。 使用SCHEMA_AND_DATA,SQL Server需要保证ACID子句,为此,他将更改存储在.ldf文件中,并将数据存储在称为“内存优化”的特殊文件组中。

      Natively Compiled Stored Procedures and Schema 本地编译的存储过程和架构
      • The new stored procedure – “Natively Stored Procedure” is invoked by this compiler allowing the business logic faster than the “Interpreted Stored Procedure”. And the reason beneath is because, when codes of T-SQL are executed inside of any DBMS (Database Management Systems), they need to pass to an “Interpreter” phase that converts the T-SQL in machine code. Using the Native Compiled the code is already converted to a machine code and persisted in a .DDL file in the system, what makes Hekaton shines when pass for this Native Compiler.

        此编译器将调用新的存储过程“本机存储过程”,从而使业务逻辑比“解释性存储过程”更快。 下面的原因是因为,当在任何DBMS(数据库管理系统)中执行T-SQL的代码时,它们都需要传递到“解释器”阶段,该阶段将T-SQL转换为机器代码。 使用本机编译器,该代码已经转换为机器代码,并保存在系统中的.DDL文件中,这使得Hekaton在通过本机编译器时大放异彩。
    4. In-Memory Native Compiler内存中本机编译器
      • Tables and Stored Procedures are compiled in .DDL and accessed using this module of the compiler.

        表和存储过程以.DDL编译,并使用编译器的此模块进行访问。
     
    SELECT name, description 
    FROM sys.dm_os_loaded_modules
    WHERE description = 'XTP Native DLL'
     
    


    Figure 3. In-Memory Tables and Stored Procedures loaded into memory on the server


    图3.内存中表和存储过程已加载到服务器的内存中

    数据库创建 ( Database Creation )

    Creating memory-optimized tables needs to have at least one MEMORY_OPTIMIZED_DATA filegroup in the database. This special filegroup will store the Data & Delta files pairs responsible to maintain and recover the memory-optimized tables.

    创建内存优化表需要在数据库中至少有一个MEMORY_OPTIMIZED_DATA文件组。 这个特殊的文件组将存储负责维护和恢复内存优化表的数据和增量文件对。

    Creating Database Using T-SQL Syntax

    使用T-SQL语法创建数据库

     
    USE master
    GO
     
    CREATE DATABASE [inmem_SQLShack]
    ON PRIMARY 
    ( 
    	NAME = N'inmem_SQLShack', 
    	FILENAME = N'C:\BaseDados\mdf\inmem_SQLShack.mdf' , 
    	SIZE = 400MB , 
    	FILEGROWTH = 150MB 
    ), 
    FILEGROUP [inmem_objects] CONTAINS MEMORY_OPTIMIZED_DATA 
    ( 
    	NAME = N'inmem_data', 
    	FILENAME = N'C:\BaseDados\mdf\inmem_objects' 
    )
    LOG ON 
    ( 
    	NAME = N'inmem_SQLShack_log', 
    	FILENAME = N'C:\BaseDados\ldf\inmem_SQLShack_log.ldf' , 
    	SIZE = 150MB , 
    	FILEGROWTH = 25%
    )
    GO
     
    

    Creating Database Using GUI

    使用GUI创建数据库


    Figure 4. Creating In-Memory Database (IMDB). FileStream File Created Name – inmem_data


    图4.创建内存数据库(IMDB)。 FileStream文件创建的名称– inmem_data


    Figure 5. Creating Memory Optimized Data Filegroup – inmem_objects


    图5.创建内存优化数据文件组– inmem_objects

    检查点文件–数据文件和增量文件 ( Checkpoint Files – Data Files and Delta Files )

    The checkpoint operation consist in a background task that look to the previous transaction log that wasn’t been covered by the checkpoint process and convert this in a memory-optimized section. Once this process finished the checkpoint is completed logging this in the Data and Delta pair files.

    检查点操作包括一个后台任务,该任务查找检查点过程未涵盖的先前事务日志,并将其转换为内存优化部分。 此过程完成后,检查点便已完成将其记录在数据和增量对文件中。

    • Data File – This file contains only insert versions or rows and each file cover a specific timestamp range zone.

      数据文件–该文件仅包含插入版本或行,并且每个文件都覆盖特定的时间戳范围区域。
    • Delta File – Store the information about which versions has been deleted.

      增量文件–存储有关已删除版本的信息。

    This files gave the possibility to break an obstacle in the database systems, all the data access becomes sequential. We will get into more details of this files and the Merge Operation in the next series posts. The files are stored in the MEMORY_OPTIMIZED_DATA that was created previously.

    该文件使打破数据库系统中的障碍成为可能,所有数据访问都变成了顺序。 在下一个系列文章中,我们将详细介绍该文件和“合并操作”。 这些文件存储在先前创建的MEMORY_OPTIMIZED_DATA中。


    Figure 6. Checkpoint Files – Data & Delta Files


    图6.检查点文件–数据和增量文件

    结论 ( Conclusion )

    There are a few barriers and concepts that we need to understand, but implementing this new feature will change your scenario and vision for this new capability, and now that you have a glimpse of how this new feature can makes you go beyond in your scenario, follow this new series that will contain more than 11 articles and becomes a pro. We will dig all the necessary parts for you implement this feature and have gains never obtained before. See you next week.

    我们需要理解一些障碍和概念,但是实施此新功能将改变您的方案和使用此新功能的愿景,现在您可以一目了然地了解此新功能如何使您超越方案,跟随这个新系列,它将包含11篇以上的文章,并成为专业人士。 我们将为您实施此功能挖掘所有必要的部分,并获得从未有过的收获。 下周见。

    翻译自: https://www.sqlshack.com/memory-oltp-series-introduction/

    德鲁伊 oltp oltp

    展开全文
  • 德鲁伊 oltp oltp In sequence of the first article of the In-Memory OLTP Series that explained the main pillars, database creation and a briefly overview of the checkpoint files, now we will take a ...
  • 德鲁伊 oltp oltp With the introduction of Microsoft’s new In-Memory OLTP engine (code name Hekaton) the familiar B-Tree indexes were not always the optimal solution. The target of the Hekaton ...
  • OLTP vs OLAP

    2021-08-25 13:32:43
    一、OLTP vs OLAP 1.1、OLTP 和 OLAP 的区别 OLTP (在线事务处理),OLAP (在线分析处理)。顾名思义,OLTP 是管理和更新数据库中事务的过程,而 OLAP 是从数据库中检索所需数据以便将其用于分析操作的过程。OLTP ...
  • 德鲁伊 oltp oltp With the introduction of Microsoft’s new In-Memory OLTP engine* (code name Hekaton) a new type of nonclustered index was introduced to help you search the in-memory tables based on...
  • OLTP与OLAP

    2020-03-16 18:46:30
    OLTP与OLAP学习一、OLTP二、OLAP 一、OLTP OLTP(on-line transaction processing) 二、OLAP OLAP(on-line analytical processing)
  • 德鲁伊 oltp oltp In-memory OLTP is a revolutionary tool introduced on SQL Server 2014. On SQL Server 2016 this will be even better, with a broader surface of supported tools. Check this article to ...
  • OLTP 与 OLAP

    2021-10-24 18:14:35
    什么是 OLTP?1.OLAP实例2.OLTP 系统实例3.关键区别4.使用OLAP优缺点5.使用OLTP优缺点6.两者区别 什么是 OLAP? 联机分析处理 在线分析处理,一类为商业决策提供数据分析的软件工具。OLAP 系统允许用户同时从多个...
  • 德鲁伊 oltp oltp With the introduction of the in-memory technology, we need to think about what are the new challenges to keep the service up and running. In this article I will explore one of the ...
  • 什么是OLTP?

    万次阅读 2018-01-11 15:39:48
    OLTP (Online Transactional Processing,联机事务处理) 是专注于面向事务的任务的一类数据处理,通常涉及在数据库中插入,更新或删除少量数据,主要是处理大量用户下的大量事务。 OLTP事务实例: 在线银行、网上...
  • OLTP和OLAP

    2021-05-20 15:55:11
    一、OLTP 和 OLAP的介绍 数据处理大致可以分成两大类: 联机事务处理 OLTP(on-line transaction processing) OLTP 是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易; OLTP 系统...
  • OLTP和OLAP的区别 联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。OLTP的特点一般有:1.实时性要求...
  • 德鲁伊 oltp oltp In sequence of the first article about the server memory importance, we will check another In-Memory OLTP key point: The Checkpoint files. Check what wrong can happen, and how to ...
  • 本文是关于OLTP与OLAP的区别精简总结。
  • 本文介绍从Oracle 11g版本开始推出的一种高级行压缩技术--OLTP 压缩(OLTP Compression)功能。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 53,522
精华内容 21,408
关键字:

OLTP