本文通过问答的形式回顾数据库系统的基本理论知识 

写这篇文章的目的主要是为了回顾数据库系统的基本理论知识，临近期末，也全当复习把



1. 简述数据模型的概念，数据模型的作用以及三要素

数据模型(Data Model) 指的是对数据库中用来对对现实进行抽样的工具。一般来说，数据模型是严格定义的概念的集合，这些概念精确的描述了系统的静态特征，动态特征以及完整性约束条件。

按照应用的不同层次，数据模型大致可以分为三类

概念模型 
逻辑模型
物理模型
数据模型是数据库系统的核心基础，现在市面上的DBMS软件都是基于某种数据模型而实现的。

数据模型通常由以下三部分组成

数据结构
数据操作
完整性约束
2.  数据库管理系统的主要功能

由于参考教材版本较旧，这里我们参考百度百科给出的答案

数据定义
数据操纵
数据库运行管理
数据组织、存储与管理
数据库的保护
数据库的维护
通信
持续更新中······

          




-- 作者 谢恩铭 转载请注明出处
上一课Web探索之旅 | 第二部分第三课：框架和内容管理系统中，我们学习了一些实用的工具。
这一课来看看数据库吧。
说到“数据库”，顾名思义，是“数据的仓库”的意思。
所以数据库的一大作用就是储存数据。
为什么Web领域要有数据库呢？
数据库的英语是Database，简单来说可视为电子化的文件柜（存储电子文件的处所），用户可以对文件中的数据运行新增、截取、更新、删除等操作。
它是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
关系型数据库和非关系型数据库
常见的数据库主要分为关系型数据库和非关系型数据库。

关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的，并配合“科德十二定律”。


非关系型数据库，通称NoSQL（Not Only SQL，“不仅仅是SQL”），随着互联网Web2.0网站的兴起，传统的关系数据库在应付Web2.0网站，特别是超大规模和高并发的SNS类型的Web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

常见的关系型数据库有：

MySQL：很著名的开源数据库，常用于博客系统。比如我们前一课提到的Wordpress使用的数据库就是MySQL。


PostgreSQL：MySQL的竞争对手。


SQL Server：Microsoft（微软）的数据库。一般和.NET配合使用。


Oracle：Oracle（甲骨文）公司的主要产品。可以说是关系型数据库中的老大，功能强大，容量也大，但是费用最昂贵，所有一般人们都喜欢使用免费的MySQL。但是对于很多大公司，Oracle数据库是不可取代的。


SQLite：很轻巧，就如它的名字里有lite（英语“淡的”）这个尾缀一般。在嵌入式领域使用还比较广泛，比如Android系统默认使用SQLite数据库。





当然，其他还有很多关系型数据库。没有最好的，只有最对的。
讲完了关系型数据库，我们来谈谈非关系型数据库：
NoSQL分为四大类：

键值(Key-Value)存储数据库：这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果DBA只对部分值进行查询或更新的时候，Key/value就显得效率低下了。举例如：Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB。


列存储数据库：这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。如：Cassandra, HBase, Riak。


文档型数据库：文档型数据库的灵感是来自于Lotus Notes办公软件的，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储，比如JSON。文档型数据库可 以看作是键值数据库的升级版，允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。如：CouchDB, MongoDb。国内也有文档型数据库SequoiaDB，已经开源。


图形(Graph)数据库：图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)，因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如：Neo4J, InfoGrid, Infinite Graph。

NoSQL数据库在以下的这几种情况下比较适用：
数据模型比较简单。
需要灵活性更强的IT系统。
对数据库性能要求较高。
不需要高度的数据一致性。
对于给定key，比较容易映射复杂值的环境。
SQL语言
SQL不同于传统的编程语言，它是Structured Query Language（结构化查询语言）的缩写，是1974年由Boyce和Chamberlin提出的一种介于关系代数与关系演算之间的语言，是一个通用的、功能极强的关系型数据库语言。
所以NoSQL（非关系型数据库）是不使用SQL的。
既然数据库存储数据，那么我们如何获取到这些数据呢，如何操纵它们呢？
对于关系型数据库来说，我们有SQL语言可以帮助我们。
SQL的基本语句是这样子的：
SELECT id, name FROM users ORDER BY id DESC
在Web开发中，动态网站的服务器有数据库，服务器向数据库发送“SQL查询”，数据库返回结果（传递数据），服务器将接收到的数据插入到网页代码的相应地方。
比如，我用账号frogoscar登录CSDN，那么CSDN的服务器会从CSDN数据库的众多表格中查找到frogoscar这个用户的所有信息，然后插入到生成的HTML网页中，再把网页传输给我的浏览器，我就能进入自己的账户了，我可以操作我的私人信息：删除，添加，修改，查找，这些都是靠SQL语句在CSDN的数据库里操作的。
大家可以上W3C中文网站学习SQL的系列教程，有详细实例：
http://www.w3school.com.cn/sql/index.asp
动态网站
之前的课程我们已经介绍过静态网站和动态网站的区别了，这一课我们学习了数据库，我们终于能把动态网站的工作原理图补完全了：




客户机的浏览器（客户端）向服务器请求网页。
服务器开始生成网页。
服务器向数据库发出SQL Request（SQL请求 ）。
数据库根据收到的SQL请求，传输对应的数据给服务器。
服务器拿到这些数据，在生成的网页中插入这些数据。
最终服务器将对每个用户定制的网站（HTML，CSS和JS写成）返还给客户端。
客户端浏览器解释Web网页文件，我们就能看到各不相同的网页了。
总结

数据库：存储数据的重要工具。分为关系型数据库和菲关系型数据库。比较常用的关系型数据库：MySQL，Oracle，SQlite，等。你可以在它们之间选择一种你自己喜欢的。


NoSQL（非关系型数据库）：可以在大数据和云时代大展宏图。

下回预告
Web探索之旅 | 第二部分第五课：响应式网站和移动应用

        
        

立即学习:https://edu.csdn.net/course/play/27190/357725?utm_source=blogtoedu
两种连接方式：本地文件，数据库

	

介绍
软件开发职位通常要求的技能是使用NoSQL数据库(包括MongoDB)的经验。本教程将探索如何使用API收集数据，将数据存储在MongoDB数据库中，并对数据进行一些分析。
但是，在进入代码之前，让我们花点时间来复习一下MongoDB和API，以确保我们能理解我们是如何处理收集的数据的。
MongoDB和NoSQL
MongoDB是一种NoSQL数据库，支持以非关系形式存储数据。通过将NoSQL数据库与其前身/竞争对手—SQL数据库进行比较，我们就可以更好地理解NoSQL数据库。
SQL代表结构化查询语言，它是一种关系型数据库管理工具。关系型数据库是将数据存储为一系列键和值的数据库，数据表中的每一行都有自己惟一的键。可以通过查找相应的键来检索数据库中的值。这就是SQL数据库存储数据的方式，但是，NoSQL数据库可以以非关联的方式存储数据。
NoSQL代表“不仅仅是SQL”，它指的是这样一个事实:尽管SQL类型的查询可以使用NoSQL系统完成，但它们也可以完成SQL数据库难以完成的事情。NoSQL数据库为其处理的数据提供了更广泛的存储选项，而且由于数据的相关性较低，因此，数据可以以更多地方式进行检索，从而加快了一些操作的速度。与SQL数据库相比，NoSQL数据库可以使节点或字段的添加更简单。
有很多流行的NoSQL框架，包括MongoDB、OrientDB、InfinityDB、Aerospike和CosmosDB。MongoDB是一个特定的NoSQL框架，它以文档的形式存储数据，充当面向文档的数据库。
MongoDB之所以流行，是因为它的通用性和简单的云集成，并且能够用于各种各样的任务。MongoDB使用JSON格式存储数据。MongoDB数据库的查询也是以JSON格式进行，因为存储和检索命令都是基于JSON格式的，所以，MongoDB的命令很容易记住和编写。
API是什么?
API是应用程序编程接口，其功能是简化客户机和服务器之间的通信。创建API通常是为了方便那些对应用程序开发人员所使用的语言缺乏经验的人来收集信息。
API也可以是控制来自服务器的信息流的有用方法，鼓励那些对访问服务器信息感兴趣的人使用官方渠道来访问，而不是构建一个网络爬虫。网站中最常见的API是REST(表征状态转移)API,它利用标准的HTTP请求和响应来发送、接收、删除和修改数据。在本教程中，我们将访问REST API并以HTTP格式发送请求。
我们将使用什么API ?
我们将使用的API是GameSpot的API。GameSpot是网络上最大的视频游戏评论网站之一，您可以在这里访问它的API。(地址：https://www.gamespot.com/api/  )
进行设置
在开始之前，您应该确保自己获得了GameSpot的API密钥。您还应该确保已经安装了MongoDB及其Python库。Mongo的安装说明可以在这里找到。
安装PyMongo库只需运行以下命令:
您可能还希望安装MongoDB Compass程序，该程序允许您使用GUI轻松地可视化和编辑MongoDB数据库的各个方面。
创建MongoDB数据库
现在，我们可以通过创建MongoDB数据库来开始我们的项目。首先，我们将处理我们的导入项。我们将从PyMongo导入MongoClient，以及requests 和pandas:
当使用MongoDB创建了一个数据库之后，我们首先需要连接到客户端，然后使用客户端创建我们想要的数据库:
MongoDB可以在一个数据库中存储多个数据集合，所以我们还需要定义我们想要使用的集合的名称:
就是这样。我们的数据库和集合已经创建好了，可以开始向其中插入数据了。这很简单，不是吗?
使用该API
现在，我们已经准备好使用GameSpot API来收集数据。通过查看这里(地址:https://www.gamespot.com/api/documentation  )的API文档，我们可以确定我们的请求所需的格式。
>>>今日签到口令：f08l<<<
我们需要将请求发送到包含我们API密钥的基本URL。GameSpot的API有多个资源，我们可以从这些资源中获取数据。例如，他们有一个列出了游戏的发布日期和运行平台等数据的资源。
然而，我们对他们的游戏评论资源比较感兴趣，我们将从该API资源中获取一些特定的字段。此外，GameSpot要求您在发出请求时要指定一个唯一的用户代理标识符，我们将通过创建一个header来实现，我们将把此header传入requests函数:
我们将需要以下数据字段:id, title, score, deck, body, good, bad:
GameSpot一次只允许返回100个结果。出于这个原因，为了获得足够数量的评论进行分析，我们需要创建一个数字范围并循环遍历它们，一次检索100个结果。
您可以选择任何您想要的数字。我选择获取他们所有的评论，最高可达14900条:
我们将创建一个函数来连接基地址、要返回的字段列表、排序方案(升序或降序)和查询的偏移量。
我们将获得我们想要循环的页面数量，然后对每100个条目，我们将创建一个新的URL并请求数据:
回想一下，MongoDB将数据存储为JSON。因此，我们需要使用json()方法将我们的响应数据转换成JSON格式。
将数据转换为JSON后，我们将从响应中获得“results”属性，因为这部分实际上包含了我们感兴趣的数据。然后，我们将遍历100个不同的结果，并使用来自PyMongo的insert_one()命令将每个结果插入到我们的集合中。当然，您也可以使用insert_many()将它们全部放到一个列表中。
现在让我们调用该函数并让它收集数据:
为什么我们不检查一下，看看我们的数据是否已经像我们预期的那样插入到了我们的数据库?我们可以使用Compass程序直接查看数据库及其内容:
我们可以看到数据已经正确地插入了。
我们还可以进行一些数据库检索并打印它们。为此，我们将创建一个空列表来存储条目，并在“reviews”集合上使用.find()命令。
当使用PyMongo中的find函数时，检索也需要格式化为JSON。传入find函数的参数将有一个字段和值。
默认情况下，MongoDB总是返回_id字段(它自己唯一的ID字段，而不是我们从GameSpot中获取的ID)，但是我们可以通过指定一个0值来告诉它禁止这种情况。我们想要返回的字段，比如本例中的score字段，应该被赋予一个1值:
以下是成功获取并打印的内容:
我们还可以通过使用Pandas轻松地将查询结果转换为数据帧:
以下是返回的结果:
在开始分析一些数据之前，让我们先花点时间看看如何将两个集合连接在一起。如前所述，GameSpot有多个资源来获取数据，我们可能希望从第二个数据库(如Games数据库)获取值。
MongoDB是一个NoSQL数据库，因此与SQL不同，它不打算处理数据库之间的关系和将数据字段连接在一起。但是，有一个函数可以近似于数据库连接，即lookup()函数。
lookup()函数作用类似于数据库连接，我们可以通过指定一个管道来完成此操作，该管道包含您想要从其中获取连接元素的数据库，以及您想要从输入文档(localField)和“from”文档(foreignField)中获得的字段。
最后，您选择一个名称来将外部文档转换为它，它们将显示在我们的查询响应表中的这个新名称下面。如果您有第二个名为games的数据库，并想要在一个查询中将它们连接在一起，您可以这样做:
分析数据
现在，我们可以开始分析和可视化在我们新创建的数据库中发现的一些数据。让我们确保我们有了分析所需的所有函数。
假设我们想对GameSpot的游戏评论中发现的单词进行一些分析。我们的数据库中有这些信息，我们只需要得到它。
我们可以像之前一样使用find()函数从我们的数据库中收集排名前40的评论(或者您想要的任何数字)，但这次我们将指定我们希望根据score变量进行排序，并按降序排序:
我们将该响应变换为一个Pandas数据帧并将其转换进一个字符串。然后我们将提取
 HTML标签中包含评论文本的所有值，我们将使用BeautifulSoup来完成:
查看print语句，我们可以看到评论文本已经被收集了:
现在我们已经得到了评论文本数据，我们想用几种不同的方法来分析它。让我们试着对排名前40位的评论中常用的单词进行一些直觉判断。我们有几种不同的方法:
我们可以创建一个词云
我们可以计数所有的单词并按它们的出现次数进行排序
我们可以进行命名实体识别
在我们对数据进行分析之前，我们必须对它进行预处理。
为了预处理数据，我们需要创建一个函数来过滤条目。此文本数据仍然充满了各种标记和非标准字符，我们希望通过获取评论的原始文本来删除这些标记和非标准字符。我们将使用正则表达式来将非标准字符替换为空格。
我们也会使用一些来自NTLK的停止词(不会对我们的文本添加意思的高度常用单词)并且通过创建一个列表来保存所有的单词，从而将它们从我们的文本中删除，然后只有在单词不在我们的停止词列表中时才将它们加入到其中。
词云
让我们获取评论单词的一个子集，将其可视化为一个语料库。如果它在生成时太大的话，可能会导致词云出现一些问题。
例如，我过滤出了前5000个单词:
现在，我们可以通过使用这里提供的预先创建好的WordCloud库来轻松地创建一个词云。
这个词云确实给我们提供了一些信息，关于什么类型的词在排名靠前的评论中经常使用:
不幸的是，它仍然充满了常见的单词，这就是为什么使用tf-idf过滤方案对评论单词进行过滤是一个好主意，但是对于这个简单的演示来说，这已经足够好了。
事实上，我们确实拥有一些关于游戏评论中所谈论的概念类型的信息:游戏玩法，故事，角色，射击，动作，地点等。
我们可以通过查看我们选择的前40名评论之一来确认这些词经常出现在游戏评论中:Mike Mahardy对《神秘海域4》的评论:
果然，这篇评论讨论了动作、游戏玩法、角色和故事。
单词的大小给了我们关于单词在这些评论中出现的频率的直观感觉，但是我们也可以计算某些单词出现的频率。
计数器
我们可以通过将单词分割开并将它们与其数目一起添加到一个单词字典中，从而获得一个最常见单词的列表，每次看到相同的单词时，这些单词计数就会增加。
然后我们只需要使用Counter和most_common()函数:
以下是一些最常见的单词的数目:
命名实体识别
我们还可以使用en_core_web_sm进行命名实体识别，这是spaCy中包含的一个语言模型。这里列出了可以检测到的各种概念和语言特征。
我们需要从文档(单词列表)中抓取检测到的命名实体和概念列表:
我们可以打印出找到的实体及其数目。
以下是打印的内容:
假设我们想要为不同的类别绘制最常见的识别词语，比如人员和组织。我们只需要创建一个函数来获得不同类别实体的计数，然后使用它来获得我们想要的实体。
我们将得到一个命名实体/人员、组织和GPEs(位置)的列表:
现在我们要做的就是用一个函数来对命名实体数目绘制图表:
我们来看看生成的图表。
正如命名实体所期望的那样，返回的大多数结果是视频游戏角色的名称。这并不是完美的，因为它将“Xbox”等词语错误地归类为一个命名实体，而不是一个组织，但这仍然让我们了解到排名靠前的评论中讨论了哪些角色。
该组织图为我们展示了一些正确的游戏开发者和发行商，如Playstation和Nintendo，但它也将“480p”这样的东西标记为一个组织。
以上是对GPEs(或地理位置)绘制的图。看起来“Hollywood”和“Miami”经常出现在游戏评论中。(是游戏设置吗?或者评论者可能是将游戏中的某些东西描述为Hollywood风格的?)
正如您所看到的，进行命名实体识别和概念识别并不完美，但它可以让您对正文中讨论的主题有一些直觉。
对数值绘制图表
最后，我们可以尝试从数据库绘制数值。让我们从评论集合中获取评分值，将它们加起来，然后对它们绘制图表:
上图是给出的评分的总数的分布图，从0到9.9。看起来最常给出的分数是7分和8分，这在直觉上是有道理的。7分通常被认为是10分评价量表的平均值。
结论
收集、存储、检索和分析数据是当今世界非常需要的技能，MongoDB是最常用的NoSQL数据库平台之一。
知道如何使用NoSQL数据库以及如何解释其中的数据将使您能够执行许多常见的数据分析任务。
英文原文：https://stackabuse.com/analyzing-api-data-with-mongodb-seaborn-and-matplotlib/ 
译者：浣熊君( ･᷄৺･᷅ )