电竞比分直播电竞比分直播:講座論壇 / Lecture Forum

智慧分享|【人工智能方法及應用系列講座】第三講——深度學習

脱兔电竞比分网app www.xzljk.com.cn 深度學習


人工智能是引領未來的戰略性技術,了解人工智能領域的發展過程及現狀,了解機器學習、神經網絡、深度學習的基本原理、

適用場景、算法方法,通過課程學習能夠結合自身工作用人工智能思維思考、解決實際問題。

image.png

【人工智能方法及應用系列講座】(將分為第一講、第二講、第三講、第四講共四篇章逐步分享給大家),主講人是合肥工業大學博士、

博士后呂增威為大家帶來的全面了解人工智能的純干貨分享,值得學習與收藏(致謝:由于參考來源轉載或改編,版權歸原作者所有,在此對原作者表示感謝!)。

此篇為第三講——深度學習。


一、深度學習原理

什么是深度?為什么深度?

image.png

Deep = 很多隱藏層

image.png

優點:1.高效率。2.可塑性。 如果用傳統算法去解決一個問題,調整模型的代價可能是把代碼重新寫一遍,這使得改進的成本巨大。

深度學習只需要調整參數,就能改變模型。3.普適性。 神經網絡是通過學習來解決問題,可以根據問題自動建立模型,

所以能夠適用于各種問題,而不是局限于某個固定的問題。

缺點:1.訓練成本高。深度學習要求使用高端GPU。這些GPU非常昂貴,但是如果沒有它們,就很難實現高性能的深度網絡。

要有效地使用這樣的高端GPU,還需要一個快速的CPU、SSD存儲、快速而且容量大的RAM。經典的ML算法只需要一個像樣的CPU就可以訓練得很好,并不需要最好的硬件。

2.不會直接學習知識。知識是由從數據提煉出來的。如果你要把人類的知識直接教給它,比如把愛因斯坦的相對論教給它,那么現在還沒有相應的解決方案。

3.不善于解決某些特定問題。復雜的數學運算用神經網絡來進行恐怕不是最佳方案,需要結合其他算法。4.本質是黑盒,其理論不完備。

image.png

既然深度好,為什么不深度?

梯度消失和梯度爆炸問題

本質上是一樣的,都是因為網絡層數太深而引發的梯度反向傳播中的連乘效應。

在標量情況下,要么當這個值的絕對值大于1時,發生梯度爆炸;要么當這個值的絕對值小于1時,發生梯度消失,直到為0。

image.png

深度學習領域的進步主要靠不斷增長的訓練數據量以及不斷增長的計算力(CPU和GPU的發展);一個巨大的突破就是用relu函數代替了sigmoid函數。


二、卷積神經網絡

image.png

圖片是由像素點組成的,用矩陣表示的,28*28的矩陣,肯定是沒法直接放到神經元里的,我們得把它“拍平”,變成一個28*28=784 的一列向量,

這一列向量和隱含層的15個神經元連接,就有784*15=11760個權重w,隱含層和最后的輸出層的10個神經元連接,就有11760*10=117600個權重w,

再加上隱含層的偏置項15個和輸出層的偏置項10個,就是:117625個參數了。

卷積神經網絡的由來

從1989年LeCun提出第一個真正意義上的卷積神經網絡到今天為止,已經30年。

image.png

image.png

卷積層

image.png

一維卷積運算

image.png

兩維卷積運算

image.png

卷積填充

image.png

第一個缺點是每次做卷積操作,你的圖像就會縮小;

第二個缺點時,如果你注意角落邊緣的像素,這個像素點(綠色陰影標記)只被一個輸出所觸碰或者使用,

因為它位于這個 3×3 的區域的一角。但如果是在中間的像素點,比如這個(紅色方框標記),就會有許多 3×3 的區域與之重疊。

所以那些在角落或者邊緣區域的像素點在輸出中采用較少,意味著你丟掉了圖像邊緣位置的許多信息。

image.png

池化層(Pooling)

圖像具有一種“靜態性”的屬性,這也就意味著在一個圖像區域有用的特征極有可能在另一個區域同樣適用。

因此,為了描述大的圖像,一個很自然的想法就是對不同位置的特征進行聚合統計,

例如,人們可以計算圖像一個區域上的某個特定特征的平均值 (或最大值)。

這些概要統計特征不僅具有低得多的維度 (相比使用所有提取得到的特征),同時還會改善結果(不容易過擬合)。

這種聚合的操作就叫做池化 (pooling),有時也稱為平均池化或者最大池化 (取決于計算池化的方法)。

image.png

非線性激活層

image.png

 image.png

彩色圖像?

image.png

彩色圖像,一般都是RGB三個通道(channel)的,因此輸入數據的維度一般有三個:(長,寬,通道)。比如一個28×28的RGB圖片,維度就是(28,28,3)。

多通道卷積

image.png

三維卷積

image.png

image.png


三、循環神經網絡(RNN)

序列類型的數據怎么處理?

相互依賴的(有限或無限)數據流,比如時間序列數據、信息性的字符串、對話等。Recurrent Neural Networks,翻譯成循環神經網絡、遞歸神經網絡、時間遞歸神經網絡。

image.png

RNN的結構

image.png

代表性的遞歸神經網絡包括

image.png

長短期記憶神經網絡(LSTM)

image.png

cell的狀態像是一條傳送帶,它貫穿整條鏈,其中只發生一些小的線性作用。信息流過這條線而不改變是非常容易的。

image.png

image.png

Gated Recurrent Unit(GRU網絡)

GRU保持了LSTM的效果同時又使結構更加簡單。

image.png


四、深度信念網絡(DBN)

受限玻爾茲曼機((Restricted Boltzmann Machine,RBM)

Hinton教授在2006年的關于深度信念網絡(deep belief network,DBN)的工作,以及逐層預訓練的訓練方法,開啟了深度學習的序章。

image.png

將限制波爾茲曼機(RBM)堆疊起來,通過逐層訓練RBM網絡,并將訓練好的RBM網絡堆疊成深度學習網絡,可以得到非常好的初始參數值。

image.png

深度信念網絡DBN和深度玻爾茲曼機DBM

image.png

生成式對抗網絡(GAN)

2014年的時候,一種叫做生成式對抗網絡(GAN)的東西橫空出世了

image.png


五、深度強化學習(DRL)

image.png

強化學習(RL)

image.png

深度強化學習(RL)

image.png

image.png

免責聲明:本篇文章屬于學習交流參考,部分內容為轉載,并不用于商業目的,文章版權歸原作者及原出處所有,

如有涉及侵權等,請及時聯系我們,我們會盡快處理。本公眾號擁有對此聲明的最終解釋權。

點擊次數:  更新時間:2019-11-22 16:22:06  【打印此頁】  【關閉
{ganrao} 河北时时彩 什么控制股票涨跌 黑龙江时时彩 股票行情上证指数 工商管理硕士就业薪资 大乐透 澳洲幸运8 涨8配资 a股上证指数是什么意思 股票入门视频 股票涨跌幅度公式 国内股票配资平台排名 高潮黄色片 足球指数回查 江苏快三 腾讯分分彩