-
hadoop进程之间的对应关系和相关概念
2017-07-10 11:32:40hadoop进程之间的对应关系和相关概念 hadoop由于是应用于集群,所以进程比较多,且主从服务器上的进程并不完全一样. namenode 和 jobtracker属于master, datanode 和 tasktracker属于slave . SecondaryNameNode 内存...展开全文hadoop由于是应用于集群,所以进程比较多,且主从服务器上的进程并不完全一样.
namenode 和 jobtracker属于master, datanode 和 tasktracker属于slave .
SecondaryNameNode 内存需求和NameNode 在一个数量级上,所以通常secondary NameNode(运行在单独的物理机器上)和
NameNode运行在不同的机器上.
JobTracker 和 TaskTracker
JobTracker 对应于 NameNode
TaskTracker 对应于 DataNode
DataNode 和 NameNode 是针对数据存放来而言的.
JobTracker 和 TaskTracker 是针对MapReduce 执行而言的.
mapreduce中几个主要概念,mapreduce整体上可以分为这么几条执行线索:
jobclient, JobTracker 与 TaskTracker.
1.JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar文件存储到hdfs,并把路径提交到JobTracker,然后由JobTracker创建每一个Task
(即MapTask 和 ReduceTask),并将它们分发到各个TaskTracker服务中去执行.
2.JobTracker是一个master服务,软件启动之后JobTracker接收Job,负责调度Job的每一个子任务task,运行于TaskTracker上,
并监控他们,如果发现有失败的task就重新运行它,一般情况下,应该把JobTracker部署在单独的机器上.
3.TaskTracker 是运行在多个节点上的slaver服务.TaskTracker 主动与 JobTracker通信,接收作业,并负责直接执行每一个任务.
TaskTracker 都需要运行在HDFS 的 DataNode上.
注:由于没找到出处,所以就不写来源了.
-
OSI七层与Linux概念层对应关系
2018-09-11 10:14:36OSI七层与Linux概念层对应关系，以及对应的网络协议。 -
ElasticSearch和MySQL中的概念对应关系
2021-01-22 21:14:06ElasticSearch MySQL Index(索引) Database(数据库) Type(类型) Table(表) Document(文档) Row(行) Field(属性) Column(列) Mapping Schema Everything is indexed ...（1）关系型数据库中的数据库（...展开全文ElasticSearch MySQL Index(索引) Database(数据库) Type(类型) Table(表) Document(文档) Row(行) Field(属性) Column(列) Mapping Schema Everything is indexed Index Query SQL GEThttp://… select * from … POSThttp://… update table set … （1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index）
（2）一个数据库下面有N张表（Table），等价于1个索引 Index下面有N多类型（Type），
（3）一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。
（4）在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。 与之对应的，在ES中：Mapping定义索引下的Type的字段处理规则，即索引如何建立、索引类型、是否保存原始索引JSON文档、是否压缩原始JSON文档、是否需要分词处理、如何进行分词处理等。
（5）在数据库中的增insert、删delete、改update、查search操作等价于ES中的增PUT、删Delete、改POST、查GET转自:
-
关于ElasticSearch和MySQL中的概念对应关系
2019-12-17 16:58:17**ES数据架构的主要概念（与关系数据库Mysql对比）** ElasticSearch MySQL Index Database Type Table Document Row Field Column Mapping Schema Everything is indexed Index Query SQL ...展开全文**ES数据架构的主要概念（与关系数据库Mysql对比）**ElasticSearch MySQL Index Database Type Table Document Row Field Column Mapping Schema Everything is indexed Index Query SQL GEThttp://… select * from … POSThttp://… update table set … （1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index）
（2）一个数据库下面有N张表（Table），等价于1个索引 Index下面有N多类型（Type），
（3）一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。
（4）在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。 与之对应的，在ES中：Mapping定义索引下的Type的字段处理规则，即索引如何建立、索引类型、是否保存原始索引JSON文档、是否压缩原始JSON文档、是否需要分词处理、如何进行分词处理等。
（5）在数据库中的增insert、删delete、改update、查search操作等价于ES中的增PUT、删Delete、改POST、查GET
-
tensorflow各个版本的CUDA以及Cudnn版本对应关系
2019-04-08 14:50:34（1）NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦！CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA...展开全文
概述，需要注意以下几个问题：
（1）NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦！CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。
CUDA的本质是一个工具包（ToolKit）；但是二者虽然不一样的。
显卡驱动的安装：
当我们使用一台电脑的时候默认的已经安装了NVIDIA的显卡驱动，因为没有显卡驱动根本用不了显卡嘛，但是这个时候我们是没有CUDA可以用的，我们可以更新我们的驱动，更新链接为：
https://www.nvidia.com/Download/index.aspx?lang=en-us
在这个里面可以根据自己的显卡类型选择最新的驱动程序。显卡驱动程序当前大小大概500多M。
CUDA ToolKit的安装：
CUDA的下载地址为：https://developer.nvidia.com/cuda-downloads
我们可以选择两种安装方式，一种是在线安装（我还没用过），一中离线安装（我采用的）即本地安装，
当我们选择离线安装，当我们选定相对应的版本之后，下载的时候发现这个地方的文件大小大概在2G左右，Linux系统下面我们选择
runfile(local)完整安装包从本地安装，或者是选择windows的本地安装。CUDA Toolkit本地安装包时内含特定版本Nvidia显卡驱动的，所以只选择下载CUDA Toolkit就足够了，如果想安装其他版本的显卡驱动就下载相应版本即可。所以，NVIDIA显卡驱动和CUDA工具包本身是不具有捆绑关系的，也不是一一对应的关系，只不过是离线安装的CUDA工具包会默认携带与之匹配的最新的驱动程序。
注意事项：NVIDIA的显卡驱动器与CUDA并不是一一对应的哦，CUDA本质上只是一个工具包而已，所以我可以在同一个设备上安装很多个不同版本的CUDA工具包，比如我的电脑上同事安装了 CUDA 9.0、CUDA 9.2、CUDA 10.0三个版本。一般情况下，我只需要安装最新版本的显卡驱动，然后根据自己的选择选择不同CUDA工具包就可以了，但是由于使用离线的CUDA总是会捆绑CUDA和驱动程序，所以在使用多个CUDA的时候就不要选择离线安装的CUDA了，否则每次都会安装不同的显卡驱动，这不太好，我们直接安装一个最新版的显卡驱动，然后在线安装不同版本的CUDA即可。
总结：CUDA和显卡驱动是没有一一对应的。
（2）cuDNN是一个SDK，是一个专门用于神经网络的加速包，注意，它跟我们的CUDA没有一一对应的关系，即每一个版本的CUDA可能有好几个版本的cuDNN与之对应，但一般有一个最新版本的cuDNN版本与CUDA对应更好。
总结：cuDNN与CUDA没有一一对应的关系
（3）CUDA 工具包附带的 CUPTI。
CUPTI，即CUDA Profiling Tools Interface (CUPTI)。在CUDA分析工具接口（CUPTI）能够分析和跟踪靶向CUDA应用程序的工具的创建。CUPTI提供以下API：
- Activity API，
- Callback API，
- 事件API，
- Metric API，和
- Profiler API。
使用这些API，您可以开发分析工具，深入了解CUDA应用程序的CPU和GPU行为。CUPTI作为CUDA支持的所有平台上的动态库提供。请参阅CUPTI文档。
一、tensorflow各个版本需要的CUDA版本以及Cudnn的对应关系
1.1 对应表格
相应的网址为：
https://www.tensorflow.org/install/source#common_installation_problems
https://www.tensorflow.org/install/source_windows
版本 Python 版本 编译器 编译工具 cuDNN CUDA tensorflow_gpu-2.0.0-alpha0 2.7、3.3-3.6 GCC 4.8 Bazel 0.19.2 7.4.1以及更高版本 CUDA 10.0 (需要 410.x 或更高版本) tensorflow_gpu-1.13.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.19.2 7.4 10.0 tensorflow_gpu-1.12.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9 tensorflow_gpu-1.11.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9 tensorflow_gpu-1.10.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9 tensorflow_gpu-1.9.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.11.0 7 9 tensorflow_gpu-1.8.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.10.0 7 9 tensorflow_gpu-1.7.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0 7 9 tensorflow_gpu-1.6.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0 7 9 tensorflow_gpu-1.5.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.8.0 7 9 tensorflow_gpu-1.4.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.5.4 6 8 tensorflow_gpu-1.3.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 6 8 tensorflow_gpu-1.2.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 5.1 8 tensorflow_gpu-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8 tensorflow_gpu-1.0.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8 现在NVIDIA的显卡驱动程序已经更新到 10.1版本，最新的支持CUDA 10.1版本的cuDNN为7.5.0
1.2 CUDA的命名规则
下面以几个例子来说
（1）CUDA 9.2
CUDA 9.2.148
（2）CUDA 10.0
CUDA 10.0.130.411.31（后面的411.31对应更具体的版本号）
（3）CUDA 10.1
CUDA 10.1.105.418.96（后面的418.96对应更具体的版本号）
更多详细的请参考如下官网：
https://developer.nvidia.com/cuda-toolkit-archive
1.3 如何查看自己所安装的CUDA的版本：
（1）直接在NVIDIA的控制面板里面查看NVCUDA.DLL的版本。
注意：这里网上有很多说法是错误的，这个版本并不能绝对说明自己所安装的CUDA工具包一定这个版本
（2）通过命令查看：nvcc -V 或者是nvcc --version都可以，但前提是添加了环境变量
（3）直接通过文件查看，这里分为Linux和windows两种情况
在windows平台下，可以直接进入CUDA的安装目录，比如我的是：
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2 里面有一个version.txt的文本文件，直接打开即可，也可以使用命令，即
首先进入到安装目录，然后执行：type version.txt 即可查看
在Linux平台下：
同windows类似，进入到安装目录，然后执行 cat version.txt 命令
1.4 如何查看自己的cuDNN的版本
因为cuDNN本质上就是一个C语言的H头文件，
（1）在windows平台下：
直接进入安装目录：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include 之下，然后找到
cudnn.h 的头文件，直接到开查看，在最开始的部分会有如下定义：
#define CUDNN_MAJOR 7 #define CUDNN_MINOR 5 #define CUDNN_PATCHLEVEL 0 #define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)即7500，也就是cudnn的版本为7.5.0版本；
（2）在Linux下当然也可以直接查看，但是通过命令更简单，进入到安装目录，执行如下命令：
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 即可查询
即5005，即5.0.5版本的cudnn。
二、CUDA与相对应的Cudnn对应关系
Download cuDNN v7.4.2 (Dec 14, 2018), for CUDA 10.0
Download cuDNN v7.4.2 (Dec 14, 2018), for CUDA 9.2
Download cuDNN v7.4.2 (Dec 14, 2018), for CUDA 9.0
Download cuDNN v7.4.1 (Nov 8, 2018), for CUDA 10.0
Download cuDNN v7.4.1 (Nov 8, 2018), for CUDA 9.2
Download cuDNN v7.4.1 (Nov 8, 2018), for CUDA 9.0
Download cuDNN v7.3.1 (Sept 28, 2018), for CUDA 10.0
Download cuDNN v7.3.1 (Sept 28, 2018), for CUDA 9.2
Download cuDNN v7.3.1 (Sept 28, 2018), for CUDA 9.0
Download cuDNN v7.3.0 (Sept 19, 2018), for CUDA 10.0
Download cuDNN v7.3.0 (Sept 19, 2018), for CUDA 9.0
Download cuDNN v7.2.1 (August 7, 2018), for CUDA 9.2
Download cuDNN v7.1.4 (May 16, 2018), for CUDA 9.2
Download cuDNN v7.1.4 (May 16, 2018), for CUDA 9.0
Download cuDNN v7.1.4 (May 16, 2018), for CUDA 8.0
Download cuDNN v7.1.3 (April 17, 2018), for CUDA 9.1
Download cuDNN v7.1.3 (April 17, 2018), for CUDA 9.0
Download cuDNN v7.1.3 (April 17, 2018), for CUDA 8.0
Download cuDNN v7.1.2 (Mar 21, 2018), for CUDA 9.1 & 9.2
Download cuDNN v7.1.2 (Mar 21, 2018), for CUDA 9.0
Download cuDNN v7.0.5 (Dec 11, 2017), for CUDA 9.1
Download cuDNN v7.0.5 (Dec 5, 2017), for CUDA 9.0
Download cuDNN v7.0.5 (Dec 5, 2017), for CUDA 8.0
Download cuDNN v7.0.4 (Nov 13, 2017), for CUDA 9.0
Download cuDNN v6.0 (April 27, 2017), for CUDA 8.0
Download cuDNN v6.0 (April 27, 2017), for CUDA 7.5
Download cuDNN v5.1 (Jan 20, 2017), for CUDA 8.0
Download cuDNN v5.1 (Jan 20, 2017), for CUDA 7.5
Download cuDNN v5 (May 27, 2016), for CUDA 8.0
Download cuDNN v5 (May 12, 2016), for CUDA 7.5
Download cuDNN v4 (Feb 10, 2016), for CUDA 7.0 and later.
Download cuDNN v3 (September 8, 2015), for CUDA 7.0 and later.
Download cuDNN v2 (March 17,2015), for CUDA 6.5 and later.
Download cuDNN v1 (cuDNN 6.5 R1)
三、NVIDIA显卡以及对应的显卡驱动的对应关系
由于NVIDIA存在多个系列的显卡类型，把这里仅仅显示出GeForce系列的显卡以及各个显卡的计算能力（compute capability），详情可以参考官网链接：
https://developer.nvidia.com/cuda-gpus
（2）GeForce Notebook Products（笔记本电脑）
-
建模语言的概念 与编程语言概念对应关系（入门必读）
2015-06-26 10:18:43本文简洁详细的说明了建模中的概念与语言实现的关系（以C++为例），使得作为有一定基础的入门读者可以，尤其是有编程经验的读者很容易使用一种建模工具。 -
【笔记】一些概念的对应关系
2015-01-22 10:59:00线性神经网络 <== 线性回归 bp神经网络 <== 逻辑回归 转载于:https://www.cnblogs.com/yzsatcnblogs/p/4241090.html -
Elasticsearch对应MySQL的对应关系
2020-12-06 22:14:02对应关系表 根据表格对应,来理解Elasticsearch Elasticsearch MySQL 索引库（indices） Database 数据库 类型（type) Table 数据表 文档（Document） Row 行 域字段（Field） Columns 列 映射配置... -
窗口相关概念和对应关系
2014-07-24 10:23:26窗口就是图形用户界面句柄,以该句柄作为系统API的参数,就可以对窗口进行各种操作从MFC程序员角度 窗口就是一个CWnd对象从操作系统角度 窗口是一块普通内存块.该内存中保存了一个数据结构的信息(WNDCLASS).操作系统... -
GPU 的硬件基本概念，Cuda和Opencl名词关系对应
2019-09-26 23:30:55GPU 的硬件基本概念 Nvidia的版本： 实际上在 nVidia 的 GPU 里，最基本的处理单元是所谓的 SP(Streaming Processor)，而一颗 nVidia 的 GPU 里，会有非常多的 SP 可以同时做计算;而数个 SP 会在附加一些其他... -
[SQL]关系代数基本概念(包含对应例子讲解)
2020-04-22 15:36:27在SQL里最难理解的就是最前面的基础概念，万丈起于平原。本博文将所有的关系代数的sql里用到的，都用例子做到一一对应，希望大家都能体会明白概念的重要性。 -
Fielding的博士论文学习笔记（二）——概念和术语与现实网络模型的对应关系
2012-12-21 09:27:00以下是三种元素中主要术语所对应的网络现实模型中的对象。 核心概念： Resource： The resource is not the storage object. The resource is not a mechanism that the server uses to -
族的坐标和实例的坐标间的对应关系
2013-11-22 14:40:41族的几何体和该族实例的几何体间什么对应关系？如何从族的局部坐标系，通过怎样的矩阵旋转、缩放、平移得到族实例在全局坐标系中的实际位置呢？首先说明下概念：在制作族的时候，族文件中的几何体具有自己的坐标系。... -
关系模型的基本概念
2020-12-14 18:32:20二维表关系R(D1，D2，···，Dn )中的 n 就是关系的目或度。 关系模式（Relation Schema） 在二维表中的行定义，即对关系的描述称为关系模式。 一般表示为（属性1，属性2，…,属性n） 例如：老师的关系模型可以表示... -
屏幕密度和DPI的对应关系
2015-11-08 15:49:54屏幕密度和DPI的对应关系基本概念铺垫像素像素（pixel）为图像的基本单位，是一个抽象的采样，在很多情况下，它们采用点或者方块显示。每个像素可有各自的颜色值，可以采用RGB表示。单位面积内的像素越多代表分辨率... -
数据库 关系模型的基本概念
2021-04-29 16:54:59关系（Relation） ...二维表关系R(D1，D2，···，Dn )中的 n 就是关系的目或度。 关系模式（Relation Schema） 在二维表中的行定义，即对关系的描述称为关系模式。 一般表示为（属性1，属性2，…,属 -
UIView layer 的对应关系
2016-06-15 09:55:52有所了解的人都知道图层的概念，在这里也一样。在PS中一张图片至少得有一个图层，一个或多个图层的叠加构成了一张位图。我们这里一个或多个图层的叠加的构成了UIView（或其派生类）对象。看过我关于 UIView 文章 -
django模型中的关系对应
2019-01-22 17:29:00显然，关系数据库的力量在于将表相互关联。Django提供了定义三种最常见的数据库关系类型的方法：多对一，多对多和一对一。 在说明之前，首先来理解...集合a中的每个元素对应结合b中的一个元素，一一对应的关系。... -
EOS的几个关键概念和概念之间的关系。
2020-02-14 16:04:21Transaction 和Action的关系。 Transaction 和签名的对应关系。 Action和 authorization， permission的对应关系 -
在elasticsearch和关系型数据库的一些概念的对应关系： Elasticsearch的 index --> DB ， Elasticsearch...
2016-09-08 08:25:00在elasticsearch和关系型数据库的一些概念的对应关系： Elasticsearch的 index --> DB ， Elasticsearch的type --> table， Elasticsearch的Document -->对应table的一行记录row， Document的Field --> table里面... -
STM32的FSMC地址线对应关系通俗易懂解读和和驱动TFT-LCD的原理
2020-12-24 09:16:13搞懂这个地址对应关系前，需要先明白FSMC的概念。 FSMC是灵活的静态存储控制器，顾名思义它是用于驱动存储类器件的一种接口并且带有时序的自动控制，所以叫存储控制器。接口支持包括SRAM、NOR FLASH、NAND FLASH、... -
SQL与NoSQL（MongoDB）数据库的对应关系图表
2016-07-29 09:35:20关系数据库有一套标准的SQL语句来操作数据库，MongoDB是NoSQL文档型数据库，概念与操作方式与SQL都不相同，下面的几张表全面的表达了SQL与MongoDB的对应关系，便于快速熟悉MongoDB的操作思路 概念名称的对应 ... -
连续函数的一一对应性与单调性的关系及反函数的性质
2019-12-28 17:15:14连续函数的一一对应性与单调性的关系及反函数的性质，曾小林，，反函数作为数学分析必不可少的概念,在高等数学的教学研究中得到不少关注.本文对单个区间上的连续函数指出其一一对应性与单调性是� -
MYSQL中概念模型的基本概念_《数据库原理》知识点之关系模型的基本概念
2021-02-08 00:48:072.1.1 二维表格的基本术语考核要求：达到“识记”层次知识点：主要是一些基本概念(1)二维表格 在关系模型中，一张二维表格对应一个关系。(2)元组(tuple) 表中的一行(即一个记录)，表示一个实体；关系是由元组组成的... -
SSH和三层架构的MVC模式的对应关系
2019-05-14 18:51:10首先让我们了解下MVC（Model-View-Controller）的概念： MVC全名是Model View Controller，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法... -
关系数据库的基本概念
2019-09-26 14:32:22每个属性的取值范围对应一个值的集合，成为该属性的域（domain）。一般在关系数据模型中，限制所有的域都是原子数据（atomic data)。例如，整数、字符串是原子数据，而集合、记录、数组是非原子数据。关系数据模型的...
