不管一个多么大的程序最基本的单元都是变量，任何数值运算表达等都离不开变量，所以我们从变量开始介绍。

文章目录
创建
tf.Variable
初始化
全部变量初始化
由另一个变量初始化
自定义初始化
保存和加载
检查点文件
保存变量
恢复变量


当训练模型时，用变量来存储和更新参数。变量包含张量 (Tensor)存放于内存的缓存区。建模时它们需要被明确地初始化，模型训练后它们必须被存储到磁盘。这些变量的值可在之后模型训练和分析是被加载。

创建
tf.Variable
tf.Variable(initial_value=None, trainable=True,collections=None, validate_shape=True, caching_device=None, name=None, variable_def=None, dtype=None, expected_shape=None, import_scope=None)

函数功能：创建一个新的变量，变量的值是initial_value，创建的变量会被添加到默认的计算图列表中，如果trainable被设置为True,这个变量还会被添加到计算图的集合中。




参数
含义




initial_value
默认值是None，张量或者是一个python对象可以转成张量，这个initial_value是初始化变量的值。它必须有一个特殊的shape，除非validate_shape设置为False


trainable
默认的是True，变量还会被添加到GraphKeys.TRAINABLE_VARIABLES计算图集合中


collections
变量会被添加到这个集合中，默认的集合是[GraphKeys.GLOBAL_VARIABLES]


validate_shape
如果是False，允许这个变量被初始化一个不知道shape。默认的是True，这个initial_value的shape必须是知道的


name
变量的名字


dypte
变量的类型，小数的默认是float32,整数默认是int32


weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35), name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")

如上边的程序所示，使用tf.Variable()函数创建变量时，大多时间都是借助TensorFlow一些别的函数进行创建。
调用tf.Variable()添加一些操作(Op, operation)到graph：

一个Variable操作存放变量的值。
一个初始化op将变量设置为初始值。这事实上是一个tf.assign操作.
初始值的操作，例如示例中对biases变量的zeros操作也被加入了graph。

tf.Variable的返回值是Python的tf.Variable类的一个实例。
初始化
全部变量初始化
init_op = tf.initialize_all_variables()

上边的程序就是对所有变量进行初始化的操作，方便快捷，但是应该注意，初始化操作必须是在完全构建好模型以后在进行这个操作，不然在后边进行新建的变量不会再进行初始化操作，使用位置如下边程序所示
# 创建两个变量
weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),
                      name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")
...
# 添加变量初始化的操作
init = tf.initialize_all_variables()

with tf.Session() as sess:
  sess.run(init)
  ...
  ...

由另一个变量初始化
有些时候我们需要借助一个变量的初始化对另一个变量进行初始化，initialized_value()函数是对某一个变量进行初始化，不会对所用的变量进行操作。以直接把已初始化的值作为新变量的初始值，或者把它当做tensor计算得到一个值赋予新变量。
# Create a variable with a random value.
weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),
                      name="weights")
# Create another variable with the same value as 'weights'.
w2 = tf.Variable(weights.initialized_value(), name="w2")
# Create another variable with twice the value of 'weights'
w_twice = tf.Variable(weights.initialized_value() * 0.2, name="w_twice")

自定义初始化
tf.initialize_variables(var_list, name='init')

使用上边的程序我们能初始化列表里边的所有变量。

在会话中启动图形后，可以运行返回的op来初始化var_列表中的所有变量。此操作并行运行var_列表中变量的所有初始值设定项。如果var_list为空，函数仍然返回一个可以运行的op。那次行动没有效果。




参数
含义




var_list
要初始化的变量对象列表


name
返回操作的可选名称


保存和加载
最简单的保存和恢复模型的方法是使用tf.train.Saver对象。构造器给graph的所有变量，或是定义在列表里的变量，添加save和restoreops。saver对象提供了方法来运行这些ops，定义检查点文件的读写路径。
检查点文件
变量存储在二进制文件里，主要包含从变量名到tensor值的映射关系。

当你创建一个Saver对象时，你可以选择性地为检查点文件中的变量挑选变量名。默认情况下，将每个变量Variable.name属性的值。
保存变量
saver = tf.train.Saver()

上边的程序是创建

用tf.train.Saver()创建一个Saver来管理模型中的所有变量。
# Create some variables.
v1 = tf.Variable(..., name="v1")
v2 = tf.Variable(..., name="v2")
...
# Add an op to initialize the variables.
init_op = tf.initialize_all_variables()

# Add ops to save and restore all the variables.
saver = tf.train.Saver()

# Later, launch the model, initialize the variables, do some work, save the
# variables to disk.
with tf.Session() as sess:
  sess.run(init_op)
  # Do some work with the model.
  ..
  # Save the variables to disk.
  save_path = saver.save(sess, "/tmp/model.ckpt")
  print "Model saved in file: ", save_path

恢复变量
用同一个Saver对象来恢复变量。注意，当你从文件中恢复变量时，不需要事先对它们做初始化。
# Create some variables.
v1 = tf.Variable(..., name="v1")
v2 = tf.Variable(..., name="v2")
...
# Add ops to save and restore all the variables.
saver = tf.train.Saver()

# Later, launch the model, use the saver to restore variables from disk, and
# do some work with the model.
with tf.Session() as sess:
  # Restore variables from disk.
  saver.restore(sess, "/tmp/model.ckpt")
  print "Model restored."
  # Do some work with the model
  ...

选择存储和恢复哪些变量
如果你不给tf.train.Saver()传入任何参数，那么saver将处理graph中的所有变量。其中每一个变量都以变量创建时传入的名称被保存。
有时候在检查点文件中明确定义变量的名称很有用。举个例子，你也许已经训练得到了一个模型，其中有个变量命名为"weights"，你想把它的值恢复到一个新的变量"params"中。
有时候仅保存和恢复模型的一部分变量很有用。再举个例子，你也许训练得到了一个5层神经网络，现在想训练一个6层的新模型，可以将之前5层模型的参数导入到新模型的前5层中。
你可以通过给tf.train.Saver()构造函数传入Python字典，很容易地定义需要保持的变量及对应名称：键对应使用的名称，值对应被管理的变量。
注意：
如果需要保存和恢复模型变量的不同子集，可以创建任意多个saver对象。同一个变量可被列入多个saver对象中，只有当saver的restore()函数被运行时，它的值才会发生改变。

如果你仅在session开始时恢复模型变量的一个子集，你需要对剩下的变量执行初始化op。详情请见tf.initialize_variables()。
# Create some variables.
v1 = tf.Variable(..., name="v1")
v2 = tf.Variable(..., name="v2")
...
# Add ops to save and restore only 'v2' using the name "my_v2"
saver = tf.train.Saver({"my_v2": v2})
# Use the saver object normally after that.
...

import tensorflow as tf
import numpy as np

# 使用 NumPy 生成假数据(phony data), 总共 100 个点.
x_data = np.float32(np.random.rand(2, 100))  # 随机输入
y_data = np.dot([0.100, 0.200], x_data) + 0.300

# 构造一个线性模型
#
b = tf.Variable(tf.zeros([1]))
W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
y = tf.matmul(W, x_data) + b

# 最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

# 初始化变量
# init = tf.initialize_all_variables()
# 添加操作保存变量
saver = tf.train.Saver()

# with tf.Session() as sess:
#     # Restore variables from disk.
#     saver.restore(sess, "./Model/model.ckpt")
#     print("Model restored.")

# 启动图 (graph)
sess = tf.Session()
# Restore variables from disk.
saver.restore(sess, "./Model/model.ckpt")
print("Model restored.")
print(sess.run(b))


# # 拟合平面
for step in range(0, 201):
    sess.run(train)
    if step % 20 == 0:
        print(step, sess.run(W), sess.run(b))
        save_model_name = "./Model/" + str(step) + "_model.ckpt"
        save_path = saver.save(sess, save_model_name)
        print("Model saved in file: ", save_model_name)

红黑树: 在平衡二叉树稳定性的基础上，再优化一下，减少旋转次数
特性：
1、每个节点要么是红色，要么是黑色。
2、根节点必须是黑色。
3、红色节点不能连续(也即是，红色节点的孩子和父亲都不能是红色)。
4、对于每个节点，从该点至null(树尾端)的任何路径，都含有相同个数的黑色节点。
二叉树特点：查找速度和比较次数最小，但是磁盘IO，当数据量过大的时候，索引大小可能有几个G，不可能全都加载到内存
引出下面的树更稳
B树与B+树
B树 、B - 树都读B树。
B树与B+树区别：
B树每个节点都存储数据，所有节点组成这棵树。B+树只有叶子节点存储数据(B+数中有两个头指针：一个指向根节点，另一个指向关键字最小的叶节点)，叶子节点包含了这棵树的所有数据，所有的叶子结点使用链表相连，便于区间查找和遍历，所有非叶节点起到索引作用。
B树中叶节点包含的关键字和其他节点包含的关键字是不重复的，B+树的索引项只包含对应子树的最大关键字和指向该子树的指针，不含有该关键字对应记录的存储地址。
B树中每个节点(非根节点)关键字个数的范围为[m/2(向上取整)-1,m-1](根节点为[1,m-1])，并且具有n个关键字的节点包含(n+1)棵子树。B+树中每个节点(非根节点)关键字个数的范围为[m/2(向上取整),m](根节点为[1,m])，具有n个关键字的节点包含(n)棵子树。
B+树中查找，无论查找是否成功，每次都是一条从根节点到叶节点的路径。
B树的优点:B树的每一个节点都包含key和value，因此经常访问的元素可能离根节点更近，因此访问也更迅速。
M阶B+数特点
有n棵子树的非叶子结点中含有n个关键字(b树是n-1个)，这些关键字不保存数据，只用来索引，所有数据都保存在叶子节点(b树是每个关键字都保存数据)。
所有的叶子结点中包含了全部关键字的信息，及指向含这些关键字记录的指针，且叶子结点本身依关键字的大小自小而大顺序链接(叶子节点组成一个链表)。
所有的非叶子结点可以看成是索引部分，结点中仅含其子树中的最大(或最小)关键字。
通常在b+树上有两个头指针，一个指向根结点，一个指向关键字最小的叶子结点。
同一个数字会在不同节点中重复出现，根节点的最大元素就是b+树的最大元素。
B+树的优点
所有的叶子结点使用链表相连，便于区间查找和遍历。B树则需要进行每一层的递归遍历。相邻的元素可能在内存中不相邻，所以缓存命中性没有B+树好。
b+树的中间节点不保存数据，能容纳更多节点元素。
B树和B+树的共同优点
考虑磁盘IO的影响，它相对于内存来说是很慢的。数据库索引是存储在磁盘上的，当数据量大时，就不能把整个索引全部加载到内存了，只能逐一加载每一个磁盘页(对应索引树的节点)。所以我们要减少IO次数，对于树来说，IO次数就是树的高度，而“矮胖”就是b树的特征之一，m的大小取决于磁盘页的大小。
虽然查询次数比二叉树多，尤其当单一节点元素多时，但是相比磁盘IO速度，内存中的比较耗时几乎可以忽略
所以只要树的高度是够低，IO次数是足够少，就可以提升查找性能
IO：每一次读取的数据称之为一页.
B树示意图：
以下为 B+树示意图：
在MySQL中，最常用的两个存储引擎是MyISAM和InnoDB，它们对索引的实现方式是不同的
MyISAM : data存的是数据地址。索引是索引，数据是数据。索引放在XX.MYI文件中，数据放在XX.MYD文件中，所以也叫非聚集索引
InnoDB: data存的是数据本身。索引也是数据。数据和索引存在一个XX.IDB文件中，所以也叫聚集索引。
我们的Mysql数据库用的InnoDB。
了解了数据结构再看索引，一切都不费解了，只是顺着逻辑推而已。另加两种存储引擎的区别：
1、MyISAM是非事务安全的，而InnoDB是事务安全的
2、MyISAM锁的粒度是表级的，而InnoDB支持行级锁
3、MyISAM支持全文类型索引，而InnoDB不支持全文索引
4、MyISAM相对简单，效率上要优于InnoDB，小型应用可以考虑使用MyISAM
5、MyISAM表保存成文件形式，跨平台使用更加方便
6、MyISAM管理非事务表，提供高速存储和检索以及全文搜索能力，如果在应用中执行大量select操作可选择
7、InnoDB用于事务处理，具有ACID事务支持等特性，如果在应用中执行大量insert和update操作，可选择。