这篇文章主要介绍了java如何实现卷积神经网络CupCnn,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
10年积累的成都做网站、网站制作、成都外贸网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站策划后付款的网站建设流程,更有任县免费网站建设让你可以放心的选择与我们合作。
什么是CupCnn
CupCnn是个用java写的卷积神经网络,我在工作之余,为了加深对卷积神经网络的认识,实现了它。它足够简洁,表现也不错,非常适合初学者参考使用。
设计的思路
我希望它是以足够简单的神经网络,这样有利于初学者学习。所以我没有实现那些并发加速的东西,这保证的代码的简介性。设计的时候,我将卷积神经网络分为四个模块:Network(layer blob loss active),这点可以从包名中看出来。layer,loss,active都有一个基类,整个神经网络的编程都是面向基类的。Network是综合这四个模块,统筹和调度资源的中心,每个layer都会有一个Network的实例,这样可以轻松的通过Network获得各种数据,比如获取每一层的输出,diff等。
设计框图如下:
参数的保存对于java而言就非常简单了,实现Serializable接口就可以快速实现参数的序列化和反序列化。CupCnn只对data目录下的Blob和BlobParams两个实现了Serializable接口,所有的参数都由这两个实现。
目前的表现
全连接神经网络
目前,在mnist数据集上,全连接神经网络(全连接(100)+全连接(30)+全连接(10)+softmax),训练30个epoes,准确率为96.76
卷积神经网络
卷积神经网络(6个特征)+最大值池化+卷积(6个特征)+全连接(512)+全连接(30)+全连接(10)+softmax),在学习速率为0.2的情况下,训练30个epoes,准确率为97.79.我相信经过进一步参数调优,在充分训练的情况下,准确率能达到更高。
卷积神经网络训练快照如下:
begin train
epoe: 0 lossValue: 2.3019369891560455 lr: 0.2 accuracy is 0.13
epoe: 0 lossValue: 2.0722489482105195 lr: 0.2 accuracy is 0.44
epoe: 0 lossValue: 1.2423286194012682 lr: 0.2 accuracy is 0.72
epoe: 0 lossValue: 0.7860529560675255 lr: 0.2 accuracy is 0.79
epoe: 0 lossValue: 0.6272194196176664 lr: 0.2 accuracy is 0.87
epoe: 0 lossValue: 0.5240051326725808 lr: 0.2 accuracy is 0.84
epoe: 0 lossValue: 0.27637563581928026 lr: 0.2 accuracy is 0.95
epoe: 0 lossValue: 0.35585388987055083 lr: 0.2 accuracy is 0.92
epoe: 0 lossValue: 0.441971528417802 lr: 0.2 accuracy is 0.92
epoe: 0 lossValue: 0.25637710325999674 lr: 0.2 accuracy is 0.95
epoe: 0 lossValue: 0.39872273532502 lr: 0.2 accuracy is 0.9
epoe: 1 lossValue: 0.264085484522027 lr: 0.16000000000000003 accuracy is 0.91
epoe: 1 lossValue: 0.22754066024803088 lr: 0.16000000000000003 accuracy is 0.96
epoe: 1 lossValue: 0.30256420975577103 lr: 0.16000000000000003 accuracy is 0.96
epoe: 1 lossValue: 0.18149648622985948 lr: 0.16000000000000003 accuracy is 0.99
epoe: 1 lossValue: 0.177239938748327 lr: 0.16000000000000003 accuracy is 0.96
epoe: 1 lossValue: 0.15041993009777443 lr: 0.16000000000000003 accuracy is 0.98
epoe: 1 lossValue: 0.10759545752665524 lr: 0.16000000000000003 accuracy is 1.0
CupCnn的使用
目前,CupCnn实现了mnist数据集上的测试,在src/test下,MnistTest是main函数的入口,具体的神经网络的搭建在MnistNetwork类中。在MnistNetwork类中,buildConvNetwork和buildFcNetwork分别实现
了搭建卷积神经网络和搭建全连接神经网络。得益于java良好的跨平台属性,你下载完CupCnn的源码后,使用eclipse打开该项目,然后直接运行,应该就能开始在mnist数据集上训练和测试了。
构建神经网络
public void buildNetwork(){ //首先构建神经网络对象,并设置参数 network = new Network(); network.setBatch(100); network.setLoss(new LogLikeHoodLoss()); //network.setLoss(new CrossEntropyLoss()); optimizer = new SGDOptimizer(0.2); network.setOptimizer(optimizer); //buildFcNetwork(); buildConvNetwork(); network.prepare(); }
setBatch()函数设置一个批次里有多少张图片。
setLoss()设置要是用的损失函数。CupCnn实现了交叉熵损失函数和对数似然损失函数。
setOptimizer()设置要是用的优化器。CupCnn只实现了SGD优化器,如果您实现了更好的优化器,并且愿意提交到CupCnn,那本人深表欢迎。
构建全连接神经网络
private void buildFcNetwork(){ //给network添加网络层 InputLayer layer1 = new InputLayer(network,new BlobParams(network.getBatch(),1,28,28)); network.addLayer(layer1); FullConnectionLayer layer2 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),784,1,1)); layer2.setActivationFunc(new ReluActivationFunc()); network.addLayer(layer2); FullConnectionLayer layer3 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),100,1,1)); layer3.setActivationFunc(new ReluActivationFunc()); network.addLayer(layer3); FullConnectionLayer layer4 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),30,1,1)); layer4.setActivationFunc(new SigmodActivationFunc()); network.addLayer(layer4); FullConnectionLayer layer5 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),10,1,1)); layer5.setActivationFunc(new ReluActivationFunc()); network.addLayer(layer5); SoftMaxLayer sflayer = new SoftMaxLayer(network,new BlobParams(network.getBatch(),10,1,1)); network.addLayer(sflayer); }
正如上面代码展示的一样,每一个Layer都需要一个network,它是Network的实例,Network是全局的管理者和资源的调度者,有了Network的引用,我们可以轻易的获得到每一层的输出的数据,输出的误差等。此外,每一层都需要一个指定当前层输出数据块大小的参数,该参数告诉某一层你需要输出多少数据。比如神经网络的最后一层是SoftMaxLayer ,它需要输出到底是哪个数字,这个数字用长度为10的向量表示,比如数字7,那么SoftMaxLayer 应该输出第8个元素的值为1,其他元素的值为0。卷积层和池化层需要更多的参数,因为他们都有一个kernel,对卷积层而言,它叫卷积核,卷积层的实现每此每个方向的stride也就是步长都是1,这点还有改进的余地。对于池化层,你出来需要传入池化核的参数外,还需要传入水平方向和垂直方向的步长,这是必须的。
训练和测试
搭建好神经网络后,你需要调用network.prepare()方法,该方法会根据每一层的数据参数创建输出数据块和误差数据块。因此该方法的调用是必须的。
public void train(ListimgList,int epoes){ System.out.println("begin train"); int batch = network.getBatch(); double loclaLr = optimizer.getLr(); for(int e=0;e inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28); double lossValue = network.train(inputAndLabel.get(0), inputAndLabel.get(1)); if(i>batch && i/batch%50==0){ System.out.print("epoe: "+e+" lossValue: "+lossValue+" "+" lr: "+optimizer.getLr()+" "); testInner(inputAndLabel.get(0), inputAndLabel.get(1)); } } if(loclaLr>0.001){ loclaLr*=0.8; optimizer.setLr(loclaLr); } } } public void test(List imgList){ System.out.println("begin test"); int batch = network.getBatch(); int correctCount = 0; int i = 0; for(i=0;i inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28); Blob output = network.predict(inputAndLabel.get(0)); int[] calOutLabels = getBatchOutputLabel(output.getData()); int[] realLabels = getBatchOutputLabel(inputAndLabel.get(1).getData()); for(int kk=0;kk 如上,调用Network的 train即可训练,调用Network的predict方法即可测试。
参数的保存和加载
public void saveModel(String name){ network.saveModel(name); } public void loadModel(String name){ network = new Network(); network.loadModel(name); network.prepare(); }调用Network的saveModel和loadModel可分别实现参数的保存和加载,你只需要传入一个文件名即可。当我们通过保存的参数创建神经网络的时候,我们需要先new 一个Network,然后调用这个network的loadModel加载已保存的参数,然后不要忘记调用prepare方法创建每一层的输出数据块和误差数据块。
感谢你能够认真阅读完这篇文章,希望小编分享的“java如何实现卷积神经网络CupCnn”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!
分享题目:java如何实现卷积神经网络CupCnn
浏览路径:http://cdweb.net/article/jpsdec.html