深度估計(深度學習需要哪些)

1.深度學習需要哪些基礎知識

數(shù)學基礎

如果你能夠順暢地讀懂深度學習論文中的數(shù)學公式，可以獨立地推導新方法，則表明你已經(jīng)具備了必要的數(shù)學基礎。

掌握數(shù)學分析、線性代數(shù)、概率論和凸優(yōu)化四門數(shù)學課程包含的數(shù)學知識，熟知機器學習的基本理論和方法，是入門深度學習技術的前提。因為無論是理解深度網(wǎng)絡中各個層的運算和梯度推導，還是進行問題的形式化或是推導損失函數(shù)，都離不開扎實的數(shù)學與機器學習基礎。

數(shù)學分析

在工科專業(yè)所開設的高等數(shù)學課程中，主要學習的內(nèi)容為微積分。對于一般的深度學習研究和應用來說，需要重點溫習函數(shù)與極限、導數(shù)（特別是復合函數(shù)求導）、微分、積分、冪級數(shù)展開、微分方程等基礎知識。在深度學習的優(yōu)化過程中，求解函數(shù)的一階導數(shù)是最為基礎的工作。當提到微分中值定理、Taylor公式和拉格朗日乘子的時候，你不應該只是感到與它們似曾相識。

線性代數(shù)

深度學習中的運算常常被表示成向量和矩陣運算。線性代數(shù)正是這樣一門以向量和矩陣作為研究對象的數(shù)學分支。需要重點溫習的包括向量、線性空間、線性方程組、矩陣、矩陣運算及其性質、向量微積分。當提到Jacobian矩陣和Hessian矩陣的時候，你需要知道確切的數(shù)學形式；當給出一個矩陣形式的損失函數(shù)時，你可以很輕松的求解梯度。

概率論

概率論是研究隨機現(xiàn)象數(shù)量規(guī)律的數(shù)學分支，隨機變量在深度學習中有很多應用，無論是隨機梯度下降、參數(shù)初始化方法（如Xavier），還是Dropout正則化算法，都離不開概率論的理論支撐。除了掌握隨機現(xiàn)象的基本概念（如隨機試驗、樣本空間、概率、條件概率等）、隨機變量及其分布之外，還需要對大數(shù)定律及中心極限定理、參數(shù)估計、假設檢驗等內(nèi)容有所了解，進一步還可以深入學習一點隨機過程、馬爾可夫隨機鏈的內(nèi)容。

凸優(yōu)化

結合以上三門基礎的數(shù)學課程，凸優(yōu)化可以說是一門應用課程。但對于深度學習而言，由于常用的深度學習優(yōu)化方法往往只利用了一階的梯度信息進行隨機梯度下降，因而從業(yè)者事實上并不需要多少“高深”的凸優(yōu)化知識。理解凸集、凸函數(shù)、凸優(yōu)化的基本概念，掌握對偶問題的一般概念，掌握常見的無約束優(yōu)化方法如梯度下降方法、隨機梯度下降方法、Newton方法，了解一點等式約束優(yōu)化和不等式約束優(yōu)化方法，即可滿足理解深度學習中優(yōu)化方法的理論要求。

機器學習

歸根結底，深度學習只是機器學習方法的一種，而統(tǒng)計機器學習則是機器學習領域事實上的方法論。以監(jiān)督學習為例，需要你掌握線性模型的回歸與分類、支持向量機與核方法、隨機森林方法等具有代表性的機器學習技術，并了解模型選擇與模型推理、模型正則化技術、模型集成、Bootstrap方法、概率圖模型等。深入一步的話，還需要了解半監(jiān)督學習、無監(jiān)督學習和強化學習等專門技術。

2.深度學習的基礎概念

從一個輸入中產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖（flow graph）來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算并且一個計算的值（計算的結果被應用到這個節(jié)點的孩子節(jié)點的值）。考慮這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結構中，并定義了一個函數(shù)族。輸入節(jié)點沒有孩子，輸出節(jié)點沒有父親。

這種流向圖的一個特別屬性是深度（depth）：從一個輸入到一個輸出的最長路徑的長度。

傳統(tǒng)的前饋神經(jīng)網(wǎng)絡能夠被看做擁有等于層數(shù)的深度（比如對于輸出層為隱層數(shù)加1）。SVMs有深度2（一個對應于核輸出或者特征空間，另一個對應于所產(chǎn)生輸出的線性混合）。 需要使用深度學習解決的問題有以下的特征：

深度不足會出現(xiàn)問題。

人腦具有一個深度結構。

認知過程逐層進行，逐步抽象。

深度不足會出現(xiàn)問題

在許多情形中深度2就足夠表示任何一個帶有給定目標精度的函數(shù)。但是其代價是：圖中所需要的節(jié)點數(shù)（比如計算和參數(shù)數(shù)量）可能變的非常大。理論結果證實那些事實上所需要的節(jié)點數(shù)隨著輸入的大小指數(shù)增長的函數(shù)族是存在的。

我們可以將深度架構看做一種因子分解。大部分隨機選擇的函數(shù)不能被有效地表示，無論是用深的或者淺的架構。但是許多能夠有效地被深度架構表示的卻不能被用淺的架構高效表示。一個緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結構。如果不存在任何結構，那將不可能很好地泛化。

大腦有一個深度架構

例如，視覺皮質得到了很好的研究，并顯示出一系列的區(qū)域，在每一個這種區(qū)域中包含一個輸入的表示和從一個到另一個的信號流（這里忽略了在一些層次并行路徑上的關聯(lián)，因此更復雜）。這個特征層次的每一層表示在一個不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。

需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時活動的。給定大量的神經(jīng)元，仍然有一個非常高效地（指數(shù)級高效）表示。

認知過程逐層進行，逐步抽象

人類層次化地組織思想和概念；

人類首先學習簡單的概念，然后用他們?nèi)ケ硎靖橄蟮模?/p>

工程師將任務分解成多個抽象層次去處理；

學習/發(fā)現(xiàn)這些概念（知識工程由于沒有反省而失敗？）是很美好的。對語言可表達的概念的反省也建議我們一個稀疏的表示：僅所有可能單詞/概念中的一個小的部分是可被應用到一個特別的輸入（一個視覺場景）。

3.如何進行燒傷深度估計

燒傷深度的分類采用三度四分法，即表皮燒傷（I度），真皮淺層燒傷（淺n度），真皮深層燒傷（深n度）和全層皮膚、皮下脂肪甚至肌肉、骨骼等燒傷（m度）。

（1） I度燒傷：傷及表皮淺層，生發(fā)層存在。表現(xiàn)為皮膚灼紅，痛覺過敏，干燥無水皰，3?7天愈合，脫屑后初期有色素加深，后漸消退，不留痕跡。

（2） 淺n度燒傷：傷及表皮的生發(fā)層、真皮乳頭層。局部紅腫明顯，大小不一的水疤形成，劇痛，水疤大、皮薄，基底潮紅、明顯水腫。

創(chuàng)面由殘存的生發(fā)層及毛囊、汗腺等上皮細胞的增生修復，不留疤痕，1?2周后愈合，可留有不同程度的色素沉著，數(shù)月后自行恢復。 （3） 深n度燒傷：傷及皮膚的真皮層，感覺遲鈍、有拔毛痛。

水皰小、皰皮厚、基底蒼白。3?5周創(chuàng)面愈合，留下不同 程度的疤痕。

（4） m度燒傷：全皮層燒傷甚至達到皮下、肌肉或骨筋。痛覺消失，創(chuàng)面呈焦痂，表皮干燥、發(fā)涼，無水皰，觸如皮革，知覺喪失。

焦痂上的毛發(fā)易拔除，且拔除時無痛覺。痂下嚴重水腫。

創(chuàng)面的修復依賴于周圍健康的上皮向中心生長。較大的創(chuàng)面需植皮才能愈合，由于皮膚及其附件全部受損，創(chuàng)面無上皮生長能力。

4.搞懂深度學習到底需要哪些數(shù)學知識

關于數(shù)學基礎有的同學有數(shù)學基礎，但是缺乏 C++/Python 編程語言；有的同學沒有數(shù)學基礎，是否可以學？數(shù)學基礎需要到什么程度？如果提前學習是否有資料推薦？【回答】首先學習本門課程并不需要特別高的數(shù)學基礎，只需要掌握大學本科階段學習的高等數(shù)學、線性代數(shù)和概率論等課程。

雖然從應用角度上來看：如果想要深入研究深度學習，比如完全自己實現(xiàn)不同結構的網(wǎng)絡，設計網(wǎng)絡的層與參數(shù)最好能夠熟練運用矩陣理論中的相關工具，但是我相信如果職業(yè)道路規(guī)劃不是算法工程師，一般并不會深入到這一層面。對應于不同應用領域，還需要不同的數(shù)學工具，比如和圖像、信號識別相關的領域，圖形學等相關的基礎功底是必須要有的，但這個已經(jīng)是復雜的現(xiàn)實應用問題了，并不在本門課程的教學范圍之內(nèi)，本門課程的應用領域還是相對較為簡單的。

實際上，如果你是一個工科生，你會發(fā)現(xiàn)學習數(shù)學最難的地方就是不理解這些數(shù)學工具到底能幫助我們?nèi)ソ鉀Q什么問題，因為大學老師大多數(shù)都是數(shù)學專業(yè)老師，并不會從學生各自專業(yè)的角度來講解數(shù)學問題。但是當你知道你需要用數(shù)學工具做什么，有一個明確目標后，你會發(fā)現(xiàn)你的動力和學習能力將會有一個突破，你不會覺得這些數(shù)學知識是枯燥乏味的。

因此哪怕你的數(shù)學基礎相對薄弱，有一個明確的目的，再去補充這些數(shù)學知識，相信學員自己一定能解決這個問題。數(shù)學也絕對不是學習這門課的障礙，但是如果你想以其作為職業(yè)，去打好這個數(shù)學的底子是不可或缺的。

最后，如果你是數(shù)學專業(yè)，或者覺得自己數(shù)學很好的學生，你們也更不用擔心不會 1、2 門語言，因為計算機語言只是一種工具，最關鍵的還是訓練自己的思維，這種思維的核心就是數(shù)學和算法。如果你數(shù)學很好，學習這些語言是很快的，而且本門課程中除了最后的 C++ 開發(fā)，也不會應用到什么特別的語法特性。

但是另一方面也不要忽視學習好這些工具的重要性，只是希望學生自己能夠權衡。對數(shù)學好的同學來說，可能最致命的是一個誤區(qū)，因為計算機的基礎是數(shù)學，所以完全使用數(shù)學思維去解決計算機問題是沒問題的，我這里只能說計算機有自己的思維模式，哪怕是那些基于數(shù)學原理的算法問題，所以數(shù)學專業(yè)的同學必須要學會認識到這種思維的差異并學會使用計算機的思維來解決問題，而機器學習則是計算機思維的一個典型代表，這個將會在課程中具體討論。

至于需要的數(shù)學基礎，肯定是希望同學能夠學習高等數(shù)學中的微積分，線性代數(shù)和概率論的相關知識，對于沒有實際編程經(jīng)驗的學生則推薦深入學習一下離散數(shù)學（無關乎是否精于數(shù)學）。本門課程需要的數(shù)學基礎也就是這些了。

5.基礎埋置深度如何確定呢

(1)建筑物的功能和用途，有無地下室，設備層和地下設施，基礎型式和構造； （2）作用在地基上的荷載大小和性質例如高層建筑，豎向荷載大，又受風力和地震水平荷載，采用筏形基礎和箱形基礎的埋置深度隨著高度增加應適當增大，不僅應滿足地基承載力的要求，還要滿足變形和穩(wěn)定性的要求，除巖石地基外其埋置深度不宜小于建筑物高度的1/15，樁箱或樁筏基礎埋置深度（不計樁長）不宜小于建筑物高度的1/18~1/20；位于巖石地基上的高層建筑，常需依靠側面巖土體來承擔水平荷載，其基礎埋置深度應滿足搞滑要求。

（3）工程地質和水文地質條件根據(jù)場地巖土層分布情況，在滿足地基穩(wěn)定和變形要求的前提下，基礎應座在工程地質性質較好的持力層上，當存在軟弱下臥層時，基礎應盡量淺埋，加大基底與軟弱下臥層頂板的距離；當土層分布明顯不均勻或各部位荷載差別很大時，同一建筑物的基礎可以采用不同的埋深對不均勻沉降進行調(diào)整。 除巖石地基外，基礎埋深不宜小于0。

5m。基礎宜埋置在地下水位以上，當必須埋在地下水位時，應考慮施工中可能出現(xiàn)的涌土、流砂的可能，采取基坑排水、坑壁圍護等使地基土不受擾動的措施，沿應考慮基礎由于水浮力有可能上浮等問題。

（4）相鄰建筑物基礎埋深相鄰建筑，由于附加應力的擴散和疊加，使得太近的兩幢新老建筑產(chǎn)生附加的不均勻沉降，有可能使建筑物開裂或傾斜。 新建筑物的基礎埋深不宜超過原有建筑物基礎的底面，否則應保持一定的距離，其數(shù)值應根據(jù)原有建筑荷載大小、基礎形式和土質情況確定，一般不小于相鄰基礎底面高差的1~2倍，不能滿足上述要求時，應采取分段施工、設臨時加固支撐、打板樁、地下連續(xù)墻等施工措施，或加固原有建筑物地基等措施以保證已有建筑物的安全。

（5）地基土凍脹與融陷的影響當凍土厚度較大，土溫比較穩(wěn)定，或不采暖建筑，基礎始終處于凍土層的“保持凍結法”設計原則。對上部結構剛度較好或對不均勻沉降不敏感的或高溫車間、浴室等，按允許融化原則設計較合理。