Tensorflow 技术官网 https://www.tensorflow.org/
TensorFlow是一個強大的機器學習框架、AlphaGo和Google Cloud Vision更建立在TensorFlow之上
深度学习框架TensorFlow入门,带你了解tensorflow实现
tensorflow
先来认识一下TF的价值:
TensorFlow,是Google在15年年底发布的机器学习平台,发布以后由于其速度快,扩展性好,推广速度也很快。
Google的大战略:Android占领了移动端;TF占领神经网络提供AI服务。未来的趋势恰好是语音图像以及AI的时代。
TF的特点之一就是可以支持很多种设备,大到GPU、CPU,小到手机平板,五花八门的设备都可以跑起来TF。不得不说这一点很有前瞻性,可以预见的是,mobile-end的用户将会享受到越来越多的AI服务。
系统概述
tensorflow技术架构
整个系统从底层到上层可分为七层:
最底层是硬件计算资源,支持CPU、GPU;
支持两种通信协议;
数值计算层提供最基础的计算,有线性计算、卷积计算;
数据的计算都是以数组的形式参与计算;
计算图层用来设计神经网络的结构;
工作流层提供轻量级的框架调用
最后构造的深度学习网络可以通过TensorBoard服务端可视化
技术架构
tensorflow 系统概述
整体技术栈分为两部分:
前端系统:提供编程模型,负责构造计算图;
后端系统:提供运行时环境,负责执行计算图。
组件交互
tensorflow组件交互
master节点给两种类型的节点分发任务:
/job:ps/task:0: 负责模型参数的存储和更新
/job:worker/task:0: 负责模型的训练或推理
会话(Session)
tensorflow 会话
客户端使用会话来和TF系统交互,一般的模式是,建立会话,此时会生成一张空图;在会话中添加节点和边,形成一张图,然后执行。
实现(Implementation)
tensorflow 分布式
TF中最重要的Tensor被支持的非常全面,8bit到64bit, signed和unsigned,IEEE float/double,complex number等等。使用引用计数来保存tensor,当计数到0时,tensor被回收。
客户端,用户会使用;与master和一些worker process交流
master,用来与客户端交互,同时调度任务;
worker process,工作节点,每个worker process可以访问一到多个device。
device,TF的计算核心,通过将device的类型、job名称、在worker process中的索引将device命名。可以通过注册机制来添加新的device实现,每个device实现需要负责内存分配和管理调度TF系统所下达的核运算需求。
跨设备通信
当两个需要通信的op在不同的机器上时,就需要跨设备通信,当它们需要通信时,TF会在它们之间的联系中添加Send和Recv节点,通过Send和Recv之间进行通信来达到op之间通信的效果。如上所示。
梯度计算( Gradient Computation )
tensorflow 梯度计算
连接式的机器学习算法往往需要使用梯度下降法来求取参数,TF通过扩展图的方式实现了自动求导,TF做法如下:
对于每张计算图,得到从输入I到输出C的路径,并从C到I回溯,回溯过程中对于路径上的每个节点A,添加另一个节点来计算A’来计算偏导,在计算偏导的过程中,A’不仅仅将上一层传下来的反向导数作为输入,还可能将A的输入和输出也作为其输入。
数据并行计算( Data Parallel Training)
tensorflow 数据并行计算
通过数据并行的方式来提升模型的效率,比如,假如每次模型的mini-batch是1000个样本,那么,切成10份,每份100个,然后将模型复制10份,每份都将梯度传到参数服务器上。
数据切分也分为同步和异步两种方式,同步的切分是等待每个独立的model传上来的梯度都到齐后再进行更新,这样和一个大的batch没有区别。异步的切分则是不用等待,每个独立的模型的参数更新直接更新。
模型并行训练( Model Parallel Training)
tensorflow 模型并行训练
还可以对模型进行切分,让模型的不同部分执行在不同的设备上,这样可以一个迭代的样本可以在不同的设备上同时执行。如上图所示的LSTM模型