適合專利代理師看的神經(jīng)網(wǎng)絡模型

#文章由作者授權發(fā)布，未經(jīng)作者許可，禁止轉(zhuǎn)載，不代表IPRdaily立場#

原標題：適合專利代理師看的神經(jīng)網(wǎng)絡模型

作為一個在籃球界深耕近二十年的專利代理師，經(jīng)常和同事吐槽工作中的各種正經(jīng)和不正經(jīng)的事（說到這里是不是以為筆者又要開始不正經(jīng)了），好的，筆者要開始正經(jīng)地扒“神經(jīng)網(wǎng)絡模型到底是怎么煉成的了”（大牛們看到這里就可以了，此文是專利代理師特供）。

神經(jīng)網(wǎng)絡模型是什么？

神經(jīng)網(wǎng)絡模型通常被視為聰明（無所不能）的黑盒子，給它喂什么樣的標記樣本，它就能具備識別同類樣本的能力，但是執(zhí)著、較真、視客戶為上帝（負責任）的專利代理師是不會允許自己撰寫的專利文稿這么淺薄的，都恨不得把黑盒子拆開一個個分析其內(nèi)部每一部分的結(jié)構(gòu)、這部分結(jié)構(gòu)所提取的特征、它的權重是多少，說到這里，專利代理師是不是又要開始問：

神經(jīng)網(wǎng)絡模型到底是什么？

以神經(jīng)網(wǎng)絡模型從圖像中識別大白兔為例，其識別大白兔的大致過程是：將圖像分割成若干圖像塊，提取每個圖像塊具有的局部特征，再將這些圖像塊的局部特征匯總成全局特征，進而完成大白兔的識別。整個過程中，神經(jīng)網(wǎng)絡模型的工作可以分成如下幾個主要步驟：

步驟1，卷積層提取特征

例如，上述待識別圖像大小為7*7，每個像素點內(nèi)都存儲著圖像的顏色值（如左側(cè)視圖），然后通過一個卷積核（如中間視圖，相當于權重）從圖像中提取特征，卷積核與數(shù)字矩陣對應位相乘再相加，得到卷積層輸出結(jié)果（如右側(cè)視圖）。

上述卷積核每和一個3*3的圖像塊完成卷積（此圖和上圖的卷積核不同，原諒筆者盜圖o(╯□╰)o）后向右移動一個像素點，下圖示出了以步長為1（即每次卷積完后移動一個像素）的完整卷積過程，當所有的像素點都至少被覆蓋一次后，就可以產(chǎn)生一個卷積層的輸出：

神經(jīng)網(wǎng)絡模型初始時并不知道要識別哪些特征，而是通過比較不同卷積核的輸出來確定哪一個卷積核（該卷積核所識別的特征即所需的最能表現(xiàn)該圖像的特征），比如要識別圖像中曲線這一特征，那么某個卷積核的輸出值越高，就說明該卷積核與曲線這一特征的匹配程度就越高，越能表現(xiàn)該曲線特征。

當上述卷積核識別到大白兔屁股（就是傳說中的曲線）的時候，卷積核與大白兔屁股區(qū)域數(shù)字矩陣相乘后輸出較大，而在該卷積核識別大白兔的耳朵的時候，輸出則可能很小。

此時就可以將這個卷積核保存用來識別曲線特征，采用同樣的方式能找出識別大白兔其他部位（特征）的卷積核，在此過程中，卷積層在訓練時通過不斷的改變所使用的卷積核，來從中選取出與圖片特征最匹配的卷積核，進而在圖片識別過程中利用這些卷積核的輸出來確定對應的圖片特征。

步驟2，池化層處理

卷積層輸出的特征作為池化層的輸入，由于卷積核數(shù)量眾多，輸入的特征維度也很大，為了減少需要訓練的參數(shù)數(shù)量和減小過擬合現(xiàn)象（過擬合時模型會過多的去注重細節(jié)特征，而不是共性特征，導致識別準確率下降），可以只保留卷積層輸出的特征中有用的特征，而消除其中屬于噪聲的特征，既能減少噪聲傳送，還能降低特征維度。

池化層常見的兩種處理方式是：

最大池化（以步長為2示意）：

均值池化：

步驟3，全連接層處理

全連接層（fullyconnected layers，F(xiàn)C）在整個神經(jīng)網(wǎng)絡模型中相當于“分類器”，通過卷積層和池化層的操作可將原始數(shù)據(jù)映射到隱層特征空間，全連接層將學到的“分布式特征表示”映射到樣本標記空間，即對于卷積層和池化層提取的有用的圖像特征（即局部特征），全連接層利用這些有用的圖像特征進行分類，利用激活函數(shù)對匯總的局部特征進行一些非線性變換，得到輸出結(jié)果。

說到這里，是不是覺得神經(jīng)網(wǎng)絡模型不僅僅是在獨立權利要求中寫個黑盒子就完了吧，不要說筆者沒有給出提示哦，對于不同的場景，識別過程中用到的卷積核、特征、各層的參數(shù)以及訓練中卷積核的選擇、參數(shù)的訓練、激活函數(shù)的作用都是不同的，利用這些不同可以完美地環(huán)繞在黑盒子周圍，保護著黑盒子（咳咳，未完待續(xù)）。  

來源：康信知識產(chǎn)權微信平臺

作者：曾軍

編輯：IPRdaily王穎          校對：IPRdaily縱橫君

推薦閱讀（點擊圖文，閱讀全文）

倒計時！2019年“知識產(chǎn)權服務萬里行”四川站，重磅來襲！

開年重磅！尋找40位40歲以下企業(yè)知識產(chǎn)權精英（40 Under 40）

“投稿”請投郵箱“iprdaily@163.com”

「關于IPRdaily」

IPRdaily成立于2014年，是全球影響力的知識產(chǎn)權媒體+產(chǎn)業(yè)服務平臺，致力于連接全球知識產(chǎn)權人，用戶匯聚了中國、美國、德國、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個國家和地區(qū)的高科技公司、成長型科技企業(yè)IP高管、研發(fā)人員、法務、政府機構(gòu)、律所、事務所、科研院校等全球近50多萬產(chǎn)業(yè)用戶（國內(nèi)25萬+海外30萬）；同時擁有近百萬條高質(zhì)量的技術資源+專利資源，通過媒體構(gòu)建全球知識產(chǎn)權資產(chǎn)信息第一入口。2016年獲啟賦資本領投和天使匯跟投的Pre-A輪融資。

（英文官網(wǎng)：iprdaily.com  中文官網(wǎng)：iprdaily.cn） 

本文來自康信知識產(chǎn)權微信平臺并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉(zhuǎn)載此文章須經(jīng)權利人同意，并附上出處與作者信息。文章不代表IPRdaily.cn立場，如若轉(zhuǎn)載，請注明出處：“http://jupyterflow.com/”