手机浏览器扫描二维码访问
当梯度太大时,参数的调整会变得过于剧烈,网络的学习变得不稳定,甚至会导致训练失败。
这就像你在陡峭的悬崖边滑落,一下子失去了控制。
网络的参数变化过大,导致结果变得很不稳定,甚至完全错误。
概括地说:
梯度消失就像在一座越来越平的山坡上,梯度变得很小,神经网络不知道该怎么调整,进而学习变得很慢,甚至无法进步。
梯度爆炸就像从悬崖边滚下去,梯度变得很大,网络的学习变得过于剧烈,结果会非常不稳定,训练过程变得不可控。
这两个问题经常会出现在深层神经网络中。
而这也是马库斯所要倾诉的困扰。
“说起来,最近的研究还卡在了‘梯度消失’的问题上。”马库斯苦笑着说道,靠在沙发上,“我们在训练一些更深层次的神经网络时,发现模型一旦超过一定的深度,反向传播算法中的梯度会逐渐趋近于零,根本无法有效更新权重。深度越大,梯度就越容易消失,整个网络的学习效率大幅下降。”
马库斯知道林枫硕士是麻省理工学院的计算机硕士,因此也就全都用专业术语表述了。
对于这些林枫当然能听明白,非但能听明白,而且作为一个资深的人工智能从业人员。
林枫也清楚知道马库斯面临的难题。
林枫对AI的发展也有所了解,涉及到梯度问题在2014年是深度学习研究中的一个巨大挑战。
甚至可以说解决不了梯度问题就很难有真正的深度学习,也就不会有后来的人工智能成果的一系列井喷。
林枫心说,自己这是一不小心站在了技术发展的最前沿了吗?
不得不说,这种举手投足之间就能影响时代命运的感觉是真的无比美妙。
“梯度消失的问题一直存在,尤其是深层网络。梯度爆炸倒是相对好解决,但梯度消失会直接导致学习过程停滞不前。”林枫沉思片刻,补充道,“这不仅是你们实验室的问题,也是整个领域的瓶颈。反向传播的基本原理决定了,当信号在网络中层层传递时,梯度的变化会以指数级缩小。”
马库斯脑海中泛起了大大的问号,梯度爆炸问题好解决吗?
他怎么觉得梯度爆炸问题也挺麻烦的?
不过聊天本来就是求同存异,既然林同样认为梯度消失难以解决就够了。
马库斯也没纠结为什么林说梯度爆炸容易解决,而是继续就梯度消失发表观点说道:“是啊,哪怕有了ReLU(修正线性单元)激活函数的引入,虽然能在一定程度上减轻梯度消失,但对深层网络还是不够。”
林枫想了想,说道:“你们有考虑过改进网络结构吗?”
喜欢不朽从二零一四开始请大家收藏:()不朽从二零一四开始
假千金撬了男主他墙角 琪亚娜的万界之旅 你帅,我靓,咱俩日子过得旺 神耳偷仙,诡变求存 穿越后我在异世界娱乐圈爆红 我在快穿游戏里玩儿嗨了 鞠怡以的神影 倚天:我从双修开始修炼成仙 一穿越就成断案高手 妖月悬空,开局觉醒双星核 百岁躺进棺材中,让我攻略女帝 血虹剑 我携山河画卷,穿越古今追光 被道侣分手后,系统终于来了! 碎婚 重生之都市极品天尊 老婆请转身沈浪苏妙涵 和闺蜜穿七零,带着婆婆一起离 红颜情殇之宫阙风云 春花秋月李三妮
这是一朵表面白莲内心食人花受与疯批切片老攻相爱相杀的故事。演员楚时意外进入了无限世界,与新人玩家不同就算了,居然让他玩起了角色扮演!副本一顺序已调整任劳任怨捞起自己的老本,尽职尽责扮演着娇柔做作的人设。BOSS想他想他想NPC好漂亮的小东西~玩家他好娇,我好喜欢。副本二已完工凝视着和上个副本毫无差...
书友群914925527无尽混沌,万界沉浮。紫胤界,妖魔肆虐,苍生涂涂。又有仙族宗门林立,护持人族繁衍生息。陈念之携一卷道经转世而来,化作陈氏仙族弟子,从此踏上了艰辛修行,逐道长青之路。PS百万字老书高订近万,质量有保证,放心追书。...
出身番茄孤儿院的角木,被泥头车送到忍界。有一个沉稳可靠,有时喜欢搞些小操作的老爸。有一个温柔体贴有主见,偶尔会小腹黑的老妈。有一个活泼调皮,崇拜哥哥的弟弟。虽然还有房贷要还,但仍是个幸福美满,温暖的家。只是,弟弟的名字叫海野伊鲁卡。自己的名字,是海野角木。从未来的九尾之乱中拯救自己的家人,便是海野角木踏足忍界要...
关于抗战之血肉丛林岛寇荼毒,痛及滇西,谁无血气,忍弃边陲,桓桓将士,不顾艰危,十荡十决,甘死如饴,座中有圹,名勒丰碑,檩檩大义,昭示来兹。谨以此文献给曾经为了保卫国家出国在缅甸与倭寇决一死战的远征军将士们!历史不会忘记,中国人不会忘记,虽然你们曾经被记忆尘封,但是时间也绝不会让你们永远蒙尘!...
上辈子一尸两命,横死荒野,死不瞑目。冤种老公撕心裂肺,痛不欲生,跳海殉情。重生归来,各路妖魔鬼怪齐齐上阵要她离婚。可她只想要他,爱他,宠他,哄他,撩他,诱他。老公要亲亲,要抱抱,要要要什么?要你。都说御枭寒嗜血成性,偏执成魔,却不知他宠妻无度,令人发指。只要他有,只要她要,身给她,心给她,命也给...
刚存够首付,中了五百万实现财务自由的白婉清一口卡嗝屁。一睁眼,穿到刷过几页的爆款年代文里,成了个炮灰路人甲,还带了个恶毒女配。地狱般的开局,没关系,抛开剧情杀穿满地。只要我没道德,谁也别想绑架我,干尽缺德事,功德999。继妹白莲,脏水泼她和老癞子滚苞米地,撕毁大学通知书,让她去大西北喂猪。后娘恶毒,举报投诉铁窗泪...