>>P 产品中心 Product center
> 滑轨屏 标准模块 > 滑轨屏 成套产品 > 滑轨屏 高端定制 > 开合门 | 开合屏
>>C 案例中心 Case
> 开合屏 > 旋转滑轨屏 > 弧形滑轨屏 > 多点触控 > 数字展厅 > 虚拟展馆 > 3D 渲染 > 三维全景 > 多屏互动 > 虚拟现实
>>I 项目日志 Information
> 开合门胜利完工 > 张之洞博物馆完工 > 汽车教学 AR、VR和体感等互动 > 安徽滑轨项目施工篇 > 连云港86寸定制款滑轨屏之物料 > 连云港86寸定制款滑轨屏之施工 > 河北邯郸馆陶县互动滑轨屏项目 > 武汉绘芯辽宁项目日志
C 联系方式 Contact Us

地址: 湖北省武汉市江夏区藏龙岛九凤街谭湖一路8号

邮编: 443000

电话: +86-027-87052087

手机: +86-13329706647

邮箱: 956693667@qq.com

当前位置:首页 > 知识库 > 知识库

移屏 神经网络算法开发学习总结--算法应用及优化

时间:2021-08-03 11:07来源:hxceshi 点击:

1)算法目标设定

首先要确定一个算法目标及约束条件,比如运行时间、硬件内存限制、准确度等选择算法。

学习效果一般尽量采用单个指标进行评估,对于 N 个评价指标,选择其中一个指标作为优化指标,选择剩下的 N-1 个指标作为满足指标。

比如针对分类,有些场合关注查准率,有些场合关注查全率,而有些是用F1 score来评估。这些效果跟具体应用需求相关。

另外还应该确定应用的最后一级输出,比如除了分类外,能否还应该输出位置或者特征点,制定对应的代价函数。

bp神经网络模型与学习算法_hopfield神经网络模型与学习算法_神经网络s算法应用

2) 优化流程及确认优化方向

深度学习时,一般可以把数据集分为Training set、Dev set、Test set。

Training set:一般用于训练模型。

Dev set:用于评估不同算法以及不同超数据训练出来的模型在Dev set上的效果。

Test set: 选定模型后在测试集上评估效果。

算法的优化流程一般如下:

降低Training Set的错误率和降低Dev set的错误率有不同的优化方法,因而要先判断算法的优化方向。这个一般可以通过对比偏差与方差来做判断。

神经网络s算法应用_bp神经网络模型与学习算法_hopfield神经网络模型与学习算法

在自然感知上的问题,如计算机视觉、语音识别、自然语言处理,目前机器识别还很难超过人类专家水平。以图片分类为例,人类专家团队的水平可以做到0.3%,可以作为一个比较基准,以下是一种训练结果:

Base error:0.3%滑轨屏

Training error :1.0%

Dev error: 1.1%

当 (Training error - Base error = 0.7%)超过(Dev error - Training error=0.1%)时,算法的优化方向应该去寻找降低训练误差的方法,比如增加迭代次数,找更多的数据,更深的网络等。

反之,算法的努力方向是降低方差,这时要采用dropout、正则化或者寻找新的网络结构等方法。

神经网络s算法应用_hopfield神经网络模型与学习算法_bp神经网络模型与学习算法

如果训练集和验证集错误率都很低,而实际场景使用时错误率比较高,可能就是开发集和真实场景数据不婚配问题,也就是他们的数据分布不同。这时就要想办法把更多真实数据引入到训练集和开发集中。

3)优化策略

错误分析一般是人工进行的,方法是对错误分类的样本进行归类分析,然后改进算法,处理比例最高的那一类错误。

超数据范围选择一般不会用线性坐标,而应该用对数坐标:

比如学习率的选择,我们需要将区间对数化来采样。例如我们将[0.0001,1]转化成四个区间[0.0001,0.001],[0.001,0.01],[0.01,0.1],[0.1,1],每个区间各取几个数,而不是直接在[0.0001,1]上平均做选择。

调理超数据,优化自己想改善的质量,而不会影响其他质量。

hopfield神经网络模型与学习算法_神经网络s算法应用_bp神经网络模型与学习算法

应用正交化的思想神经网络s算法应用,我们可以独立地处理高偏差和高方差的问题。

处理高偏差问题的方法有:

处理高方差问题的方法有:

当新的学习任务的训练样本数量不足时,可以采用迁移学习进行算法优化。

比如一个训练非常好的学习猫的网络,用于其他图片学习。可以把以下的红色部分去掉,创建一些新的网络,作为新的层,新创建层的数据进行随机初始化,使用新任务的数据集,重新进行训练。

迁移学习的前提条件如下:

神经网络s算法应用_bp神经网络模型与学习算法_hopfield神经网络模型与学习算法

4)网络模型简化

通晓训练算法情况下设计层数核节点更小的网络,精度下降可接受范围。

5)网络模型压缩

这个主要以深鉴为代表,针对训练后的模型进行压缩,在边缘设备部署推理功能时降低对计算和存储的需求。神经网络压缩算法神经网络s算法应用,能够在保证基本不损失算法精度的前提下,将网络模型的计算量和规模压缩数倍至数十倍。

深鉴科技网络压缩算法原理:

剪枝Pruning,发现网络中对总体结果影响不大的权重滑轨屏安装,直接去掉它们。比如直接去掉权重绝对值小于0.1的连接,再进行fine-tune第二个步骤是利用Code Book做量化。它是说把32bit长度的浮点数压缩到8bit甚至4bit。用霍夫曼编码的方式存储数据

在线客服

扫码与我交流