1 简介 LSTM 是循环神经网络中的一个特殊网络,它能够很好的处理序列信息并从中学习有效特征,它把以往的神经单元用一个记忆单元( memory cell) 来代替,解决了以往循环神经网络在梯
1 简介
LSTM 是循环神经网络中的一个特殊网络,它能够很好的处理序列信息并从中学习有效特征,它把以往的神经单元用一个记忆单元( memory cell) 来代替,解决了以往循环神经网络在梯度反向传播中遇到的爆炸和衰减问题. 一个记忆单元利用了输入门 it、一个记忆细胞 ct、一个忘记门 ft、一个输出门 ot 来控制历史信息的储存记忆,在每次输入后会有一个当前状态 ht,ht 计算如下:
其中,xt 为 t 时刻输入的情感词向量,σ 为 sigmoid 函数, 代表向量对应元素依次相乘,其中水电费 Wi,Ui,Vi,bi, Wg,Ug,bg,Wo,Uo,Vo,bo 为 LSTM 参数.
2 部分代码
%加载序列数据%数据描述:总共270组训练样本共分为9类,每组训练样本的训练样个数不等,每个训练训练样本由12个特征向量组成,
clc
clear all
close all
[XTrain,YTrain] = japaneseVowelsTrainData;
%数据可视化
figure
plot(XTrain{1}')
xlabel('Time Step')
title('Training Observation 1')
legend('Feature ' ,'Location','northeastoutside')
%%
%LSTM可以将分组后等量的训练样本进行训练,从而提高训练效率
%如果每组的样本数量不同,进行小批量拆分,则需要尽量保证分块的训练样本数相同
%首先找到每组样本数和总的组数
numObservations = numel(XTrain);
for i=1:numObservations
sequence = XTrain{i};
sequenceLengths(i) = size(sequence,2);
end
%绘图前后排序的各组数据个数
figure
subplot(1,2,1)
bar(sequenceLengths)
ylim([0 30])
xlabel('Sequence')
ylabel('Length')
title('Sorted Data')
%按序列长度对测试数据进行排序
[sequenceLengths,idx] = sort(sequenceLengths);
XTrain = XTrain(idx);
YTrain = YTrain(idx);
subplot(1,2,2)
bar(sequenceLengths)
ylim([0 30])
xlabel('Sequence')
ylabel('Length')
title('Sorted Data')
%%
3 仿真结果
正在上传…重新上传取消
正在上传…重新上传取消
4 参考文献
[1]黄贤英, 刘广峰, 刘小洋,等. 基于word2vec和双向LSTM的情感分类深度模型[J]. 计算机应用研究, 2019, 36(12):6.
博主简介:擅长智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab仿真,相关matlab代码问题可私信交流。
部分理论引用网络文献,若有侵权联系博主删除。