通過Dropout論文和專利的對(duì)比探討AI算法相關(guān)專利的寫作

#本文僅代表作者觀點(diǎn)，未經(jīng)作者許可，禁止轉(zhuǎn)載，不代表IPRdaily立場#

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：李曉芳  中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所

原標(biāo)題：通過Dropout論文和專利的對(duì)比探討AI算法相關(guān)專利的寫作

從1956年人工智能這個(gè)概念被首次提出以來，人工智能的發(fā)展幾經(jīng)沉浮。近幾年來，AI相關(guān)論文數(shù)和專利申請(qǐng)量均呈現(xiàn)爆炸式的增長，其中AI相關(guān)專利的增長率顯著高于論文數(shù)的增長率，參見WIPO Technology Trends 2019, Artificial Intelligence。本文通過對(duì)AI核心算法之一——Dropout技術(shù)的論文和專利進(jìn)行對(duì)比，來探討一下AI算法相關(guān)專利的寫作技巧。

I．AI相關(guān)論文和專利

從1956年人工智能這個(gè)概念被首次提出以來，人工智能的發(fā)展幾經(jīng)沉浮。隨著核心算法的突破、計(jì)算能力的提升以及海量數(shù)據(jù)的支撐，人工智能技術(shù)在近十年里迎來了新一次的飛躍。近幾年來，AI相關(guān)論文數(shù)和專利申請(qǐng)量均呈現(xiàn)爆炸式的增長，其中AI相關(guān)專利的增長率顯著高于論文數(shù)的增長率，參見WIPO Technology Trends 2019, Artificial Intelligence。

人工智能領(lǐng)域的研究方向涉及多個(gè)不同的學(xué)科，在應(yīng)用層面也涉及到多個(gè)子領(lǐng)域。幾個(gè)代表性的分支有例如AI機(jī)器學(xué)習(xí)和基礎(chǔ)算法、智能搜索和智能推薦、語音識(shí)別、自然語言處理、自動(dòng)駕駛及計(jì)算機(jī)視覺和圖像識(shí)別。其中AI機(jī)器學(xué)習(xí)和基礎(chǔ)算法類相比于其他分支，往往涉及算法方面，由于全球的專利法對(duì)于算法相關(guān)發(fā)明都有著特殊的規(guī)定，因而這方面的技術(shù)在學(xué)術(shù)論文和專利申請(qǐng)的撰寫方面有諸多不同。

通常，學(xué)術(shù)論文是某一學(xué)術(shù)課題在實(shí)驗(yàn)性、理論性或預(yù)測性上具有的新的科學(xué)研究成果或創(chuàng)新見解和知識(shí)的科學(xué)記錄，或是某種已知原理應(yīng)用于實(shí)際上取得新進(jìn)展的科學(xué)總結(jié)，用以提供學(xué)術(shù)會(huì)議上宣讀、交流、討論或?qū)W術(shù)刊物上發(fā)表，或用作其他用途的書面文件。因此，論文可以是完全純理論的，如數(shù)學(xué)公式、算法等。而專利權(quán)，簡稱“專利”，則是國家或地區(qū)給予專利權(quán)人對(duì)特定的發(fā)明創(chuàng)造在一定期限內(nèi)的排他的保護(hù)權(quán)。專利法對(duì)專利的主題和撰寫形式有著特殊的規(guī)定。

本文通過對(duì)AI核心算法之一——Dropout技術(shù)的論文和專利進(jìn)行對(duì)比，來探討一下AI算法相關(guān)專利的寫作技巧。

II．Dropout技術(shù)

Dropout是由大名鼎鼎的深度學(xué)習(xí)教父Geoffrey Hinton所提出的一種深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)。Geoffrey Hinton由于其對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的杰出貢獻(xiàn)，獲得了2018年度的圖靈獎(jiǎng)，而Dropout技術(shù)被認(rèn)為是其能夠獲獎(jiǎng)的主要技術(shù)成就之一。

Dropout是為了解決神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中出現(xiàn)的過擬合問題而提出的。在機(jī)器學(xué)習(xí)的模型中，如果模型的參數(shù)太多，而訓(xùn)練樣本又太少，訓(xùn)練出來的模型很容易產(chǎn)生過擬合的現(xiàn)象。過擬合具體表現(xiàn)在：模型在訓(xùn)練數(shù)據(jù)上的預(yù)測準(zhǔn)確率較高；但是在測試數(shù)據(jù)上的預(yù)測準(zhǔn)確率較低。過擬合是很多機(jī)器學(xué)習(xí)的通病。如果模型過擬合，那么得到的模型幾乎不能用。Hinton提出的Dropout可以比較有效地緩解過擬合的發(fā)生，在一定程度上達(dá)到正則化的效果。

Dropout簡單一點(diǎn)說就是，在前向傳播的時(shí)候，讓某些節(jié)點(diǎn)的激活值以一定的概率p停止工作（輸出置零），也不更新權(quán)重，其他過程不變。這樣可以讓一個(gè)神經(jīng)元的出現(xiàn)不應(yīng)該依賴于另外一個(gè)神經(jīng)元，使模型泛化性更強(qiáng)，如下圖所示。

Dropout的開山之作發(fā)表于2012年7月3日，題為《Improving neural networks by preventing co-adaptation of feature detectors》，而對(duì)應(yīng)的US專利為US 9,406,017 B2，其最早的臨時(shí)申請(qǐng)的申請(qǐng)日為2012年12月24日，授權(quán)公告日為2016年8月2日。該專利沒有進(jìn)入中國，在中國沒有相應(yīng)的專利權(quán)。

III．論文的公開發(fā)表日與專利的申請(qǐng)日

對(duì)于同一個(gè)發(fā)明，如果既發(fā)表論文又申請(qǐng)專利，該如何決定二者的遞交/發(fā)表/申請(qǐng)日呢？通常來說，專利的申請(qǐng)日應(yīng)當(dāng)在論文公開發(fā)表日之前，因?yàn)閷＠@得授權(quán)必須具有新穎性，即在申請(qǐng)日前沒有相同的現(xiàn)有技術(shù)被公開，否則可能會(huì)因?yàn)闀r(shí)間安排不當(dāng)而導(dǎo)致自己的論文破壞自己的專利的新穎性。

但該專利的申請(qǐng)日在論文的公開發(fā)表日之后，為什么仍然被授權(quán)了呢？這是因?yàn)楦鲊鴮?duì)于專利申請(qǐng)都設(shè)置了“不喪失新穎性的寬限期” ，即在專利的申請(qǐng)日之前的一段時(shí)間內(nèi)符合一定條件的公開不破壞專利的新穎性，只不過各國對(duì)于 “一段時(shí)間”的長短和“一定條件”的規(guī)定各有不同。中國專利法二十四條規(guī)定，在專利的申請(qǐng)日前六個(gè)月內(nèi)，由申請(qǐng)人（發(fā)明人）就相同發(fā)明創(chuàng)造在規(guī)定的學(xué)術(shù)會(huì)議或者技術(shù)會(huì)議上首次發(fā)表的，該專利申請(qǐng)不喪失新穎性。而美國則允許申請(qǐng)人在首次公開該發(fā)明內(nèi)容的1年之內(nèi)保留專利申請(qǐng)權(quán)。因此，本案例專利的申請(qǐng)日雖晚于論文公開發(fā)表日，但是在公開發(fā)表日之后的一年之內(nèi)，可以適用新穎性的寬限期，也即該論文不會(huì)破壞專利的新穎性。

IV．AI算法專利的專利保護(hù)客體適格性審查

除了公開/申請(qǐng)的時(shí)間安排要適當(dāng)之外，對(duì)于人工智能算法類專利申請(qǐng)而言，在各國專利審查中要面對(duì)的最大挑戰(zhàn)是專利客體適格性的審查，因?yàn)檫@些算法或計(jì)算機(jī)程序往往體現(xiàn)為數(shù)學(xué)模型或計(jì)算方法，在多數(shù)國家都不是專利保護(hù)的客體。

中國專利法中涉及的相關(guān)條款有專利法第25條第1款第（二）項(xiàng)和第2條第2款。專利法第25條第1款第（二）項(xiàng)規(guī)定，智力活動(dòng)的規(guī)則和方法不應(yīng)被授予專利權(quán)。并且在專利審查指南里規(guī)定算法或數(shù)學(xué)計(jì)算規(guī)則不屬于專利法保護(hù)客體。專利法第2條第2款規(guī)定，專利法所稱的發(fā)明是指對(duì)產(chǎn)品、方法或者其改進(jìn)所提出的新的技術(shù)方案。如果人工智能算法專利申請(qǐng)中僅僅記載了一種算法，不包含任何技術(shù)特征，則這樣的專利申請(qǐng)既有可能因?yàn)槁淙肓说?5條第1款第（二）項(xiàng)所規(guī)定的情況而不屬于專利法保護(hù)客體，也有可能因?yàn)椴粚儆诩夹g(shù)方案而不屬于專利法保護(hù)客體。

美國專利法中涉及專利客體適格性審查的主要是101條款。美國專利法第101條規(guī)定：“無論是發(fā)明或發(fā)現(xiàn)任何新的和有用的過程、機(jī)器、產(chǎn)品或物質(zhì)組成，或任何新的和有用的改進(jìn)，符合本標(biāo)題的條件和要求，都可以獲得專利權(quán)。”但屬于“司法例外”的自然法則、物理現(xiàn)象、與抽象概念不可以獲得專利權(quán)。在2014年Alice vs. CLS Bank案后，美國審查指南規(guī)定了判斷適格專利客體時(shí)的兩步法，即，步驟1：權(quán)利要求是過程、機(jī)器、產(chǎn)品或物質(zhì)組成？步驟2A：確定權(quán)利要求是否指向司法例外。步驟2B：判斷權(quán)利要求中是否有額外要素（additional elements），足以使整體方案明顯多于（significantly more）司法例外。

然而該兩步法在審查員的實(shí)際分析遇到了很多困難，特別是涉及人工智能及機(jī)器學(xué)習(xí)算法的發(fā)明，相當(dāng)一部分該領(lǐng)域的專利申請(qǐng)都因?yàn)榭腕w問題被駁回。在這樣的背景下，美國2019年初發(fā)布了新修改的審查指南。針對(duì)專利客體的審查做出了新的規(guī)定，將步驟2A分成兩小步Prong1與Prong2。如下圖所示。

首先評(píng)估權(quán)利要求是否引用了司法例外的情況（2019年指南中列舉的抽象概念、自然法則或自然現(xiàn)象）。若權(quán)利要求沒有引用任何的“司法例外”，則符合專利客體要求。如果引用了“司法例外”，請(qǐng)轉(zhuǎn)到Prong2步驟。在Prong2步驟，評(píng)估權(quán)利要求是否記載了將“司法例外”整合到實(shí)際應(yīng)用的其他元素。若所述例外被整合到實(shí)際應(yīng)用中，則該權(quán)利要求是適格的專利客體。若“司法例外”沒有整合到實(shí)際應(yīng)用中，權(quán)利要求將指向到“司法例外”，轉(zhuǎn)到步驟2B進(jìn)行進(jìn)一步分析。

對(duì)于本案例的專利來說，其授權(quán)的權(quán)利要求1為：

1. A computer-implemented method comprising:

obtaining a plurality of training cases; and training a neural network having a plurality of layers on the plurality of training cases, each of the layers including one or more feature detectors, each of the feature detectors having a corresponding set of weights, and a subset of the feature detectors being associated with respective probabilities of being disabled during processing of each of the training cases, wherein training the neural network on the plurality of training cases comprises, for each of the training cases respectively:

determining one or more feature detectors to disable during processing of the training case, comprising determining whether to disable each of the feature detectors in the subset based on the respective probability associated with the feature detector,
disabling the one or more feature detectors in accordance with the determining, and
processing the training case using the neural network with the one or more feature detectors disabled to generate a predicted output for the training case.

 
通過檢索該專利在USPTO的審查歷史，我們發(fā)現(xiàn)這個(gè)專利在審查階段并沒有被指出過客體問題，而僅僅是在第一次審查意見通知書中被指出了創(chuàng)造性問題，申請(qǐng)人通過一次修改和答復(fù)，即被授權(quán)。這說明美國審查員認(rèn)為權(quán)利要求是通過了專利客體適格性審查的。我們?cè)囍凑誙SPTO的修改前的審查指南來對(duì)本專利進(jìn)行一下專利客體適格性判斷。

首先，在步驟1中確定權(quán)利要求是一種過程。然后進(jìn)行到步驟2A，由于權(quán)利要求中包括訓(xùn)練神經(jīng)網(wǎng)絡(luò)，屬于抽象概念，那么在審查時(shí)會(huì)判定權(quán)利要求指向司法例外。接下來關(guān)鍵的是步驟2B能否得出權(quán)利要求中是否有額外要素足以使整體方案明顯多于司法例外。

由于在步驟2B的判斷中涉及對(duì)發(fā)明構(gòu)思（inventive concept）的判斷，因此往往需要通過結(jié)合說明書來進(jìn)行此步驟。我們發(fā)現(xiàn)權(quán)利要求1中的特征檢測器（feature detector）可以被認(rèn)為是處理“節(jié)點(diǎn)”，一個(gè)或多個(gè)處理節(jié)點(diǎn)可以被實(shí)施為處理器。進(jìn)一步，權(quán)利要求中的禁用（disabling）的步驟是通過在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中引入了新元素，即開關(guān)（switch）和隨機(jī)數(shù)發(fā)生器實(shí)現(xiàn)的。并且說明書還記載了本發(fā)明可以用于圖像分類、對(duì)象識(shí)別和語音識(shí)別等實(shí)際應(yīng)用，通過本發(fā)明的新的結(jié)構(gòu)和流程可以在提高對(duì)測試數(shù)據(jù)的預(yù)測準(zhǔn)確率的同時(shí)減少提高效率和減少時(shí)間。通過這些內(nèi)容，可以得知該權(quán)利要求與僅由計(jì)算機(jī)實(shí)現(xiàn)的抽象概念相比滿足了“明顯多于”的要求。

V．AI算法專利的寫作技巧

通過以上分析可以看出，對(duì)于算法或計(jì)算規(guī)則相關(guān)的發(fā)明創(chuàng)造，只要撰寫得當(dāng)，是可以申請(qǐng)專利并有望獲得授權(quán)的。代理師在撰寫AI算法相關(guān)專利申請(qǐng)時(shí)可以考慮以下幾個(gè)方面。

首先，記載實(shí)現(xiàn)算法的硬件環(huán)境，例如添加處理器、存儲(chǔ)器等硬件部件。

就本案例來說，專利在說明書文字部分和附圖都明確記載了整個(gè)系統(tǒng)包括處理器和存儲(chǔ)器。而論文則無此要求。本案例的論文僅僅說明了算法的原理和用不同的樣本數(shù)據(jù)和測試數(shù)據(jù)的實(shí)驗(yàn)結(jié)果，完全沒有提到硬件環(huán)境。雖然中國專利法和審查指南對(duì)于硬件環(huán)境沒有硬性要求，寫成虛擬的軟件模塊只要符合審查指南第二部分第九章的要求也具備授權(quán)可能性。然而如果要去其他國家和地區(qū)申請(qǐng)專利，則必須要考慮這個(gè)問題。比如美國專利實(shí)踐就傾向于保護(hù)有形的產(chǎn)品，由虛擬模塊構(gòu)成的產(chǎn)品往往會(huì)被認(rèn)為得不到說明書的支持，因此，如果專利申請(qǐng)想要在美國獲得授權(quán)，最好描述算法實(shí)現(xiàn)的硬件環(huán)境。此外，中國的專利審查指南在2017年4月1日修改之后，也允許處理器+存儲(chǔ)器的形式。預(yù)計(jì)今后硬件結(jié)構(gòu)+軟件指令的權(quán)利要求形式和硬件環(huán)境的說明書撰寫方式在中國也越來越成為主流。

第二，將算法轉(zhuǎn)化成流程步驟，并在系統(tǒng)結(jié)構(gòu)中增加算法的執(zhí)行部件。

以本案例來說，創(chuàng)新點(diǎn)在于使得某些節(jié)點(diǎn)的激活值以一定的概率p停止工作。對(duì)于論文來說，原理部分寫到這里就夠了，本論文中并沒有記載具體的實(shí)現(xiàn)流程或部件，而是把重點(diǎn)放在了使用各種樣本集和測試集的實(shí)驗(yàn)結(jié)果上。但是對(duì)于專利來說，所關(guān)注的是這樣的構(gòu)思如何具體實(shí)現(xiàn)的，因此在申請(qǐng)文件中必須寫明具體的實(shí)現(xiàn)流程或部件。

在本專利中，說明書在系統(tǒng)結(jié)構(gòu)的描述中寫明了本發(fā)明是通過增加了一個(gè)開關(guān)（switch）和一個(gè)隨機(jī)數(shù)發(fā)生器實(shí)現(xiàn)的。開關(guān)可以按照學(xué)習(xí)的或預(yù)配置的概率選擇性地禁用神經(jīng)網(wǎng)絡(luò)中的特征檢測器。隨機(jī)數(shù)發(fā)生器連接到開關(guān)并且為開關(guān)提供使開關(guān)禁用特征檢測器的隨機(jī)數(shù)。而開關(guān)和隨機(jī)數(shù)發(fā)生器這樣的部件在論文是完全沒有出現(xiàn)過的，是為了符合專利申請(qǐng)的要求創(chuàng)造出來的。

說明書在還按照訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法流程，撰寫了方法步驟，包括禁用特征檢測器、處理訓(xùn)練實(shí)例、正則化權(quán)重、處理測試集，參見圖2和說明書相關(guān)文字記載。合適的方法流程步驟對(duì)于理解AI算法的發(fā)明構(gòu)思和符合專利撰寫和審查要求是必需的。

第三，將算法與實(shí)際應(yīng)用場景結(jié)合。

美國新修改的審查指南在專利客體適格性判定的步驟2A中的Prong2步驟明確規(guī)定，如果權(quán)利要求記載了將“司法例外”整合到實(shí)際應(yīng)用的其他元素，則該權(quán)利要求是適格的專利客體。中國的審查指南雖未明確規(guī)定，但是在第二部分第九章也規(guī)定了，如果涉及計(jì)算機(jī)程序的發(fā)明專利申請(qǐng)的解決方案執(zhí)行計(jì)算機(jī)程序的目的是解決技術(shù)問題，在計(jì)算機(jī)上運(yùn)行計(jì)算機(jī)程序從而對(duì)外部或內(nèi)部對(duì)象進(jìn)行控制或處理所反映的是遵循自然規(guī)律的技術(shù)手段，并且由此獲得符合自然規(guī)律的技術(shù)效果，則這種解決方案屬于專利法第二條第二款所說的技術(shù)方案，屬于專利保護(hù)的客體。所說的對(duì)外部對(duì)象的控制或處理包括對(duì)某種外部運(yùn)行過程或外部運(yùn)行裝置進(jìn)行控制，對(duì)外部數(shù)據(jù)進(jìn)行處理或者交換等；所說的對(duì)內(nèi)部對(duì)象的控制或處理包括對(duì)計(jì)算機(jī)系統(tǒng)內(nèi)部性能的改進(jìn)，對(duì)計(jì)算機(jī)系統(tǒng)內(nèi)部資源的管理，對(duì)數(shù)據(jù)傳輸?shù)母倪M(jìn)等。這些規(guī)定也暗含了計(jì)算機(jī)軟件應(yīng)當(dāng)與具體的應(yīng)用場景（內(nèi)部對(duì)象或外部對(duì)象）結(jié)合。況且在實(shí)踐中，審查員在考慮客體適格性時(shí)，實(shí)際應(yīng)用場景是非常重要的一個(gè)考量因素。

就本案例來說，由于論文通常要求作者詳述實(shí)驗(yàn)結(jié)果，因此在論文中已經(jīng)記載了應(yīng)用在語音識(shí)別和圖像識(shí)別方面的成果。在專利申請(qǐng)中應(yīng)當(dāng)將這些實(shí)際應(yīng)用記載在其中，同時(shí)還應(yīng)當(dāng)寫明技術(shù)效果。雖然專利申請(qǐng)不需要像論文那樣寫明具體的參數(shù)和具體的實(shí)驗(yàn)結(jié)果，但是一個(gè)概述的技術(shù)效果，對(duì)于專利客體適格性的評(píng)估有著非常重要的影響，尤其是結(jié)合實(shí)際應(yīng)用場景的效果。例如，專利說明書中記載本發(fā)明可以提高對(duì)語音識(shí)別或圖像識(shí)別的測試集的識(shí)別性能，并且還提高了效率和減少了時(shí)間。這些技術(shù)效果的記載可能是本專利被認(rèn)為是適格的專利客體的重要依據(jù)。

最后，在最近這次AI技術(shù)起飛之前或之初，國外的巨無霸科技企業(yè)，如谷歌、微軟、IBM等已經(jīng)布局了很多AI相關(guān)專利，有的甚至是特別基礎(chǔ)的AI算法專利，例如本案例涉及的Dropout算法。因此，我國的大學(xué)、科研院所和企業(yè)在發(fā)表學(xué)術(shù)論文的同時(shí)，也要注意進(jìn)行相應(yīng)的專利布局，特別要注重高價(jià)值和基礎(chǔ)技術(shù)專利在全球的合理布局，使我國能夠在此次全球AI技術(shù)革新中占得一席之地。

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：李曉芳  中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所

編輯：IPRdaily王穎          校對(duì)：IPRdaily縱橫君

推薦閱讀（點(diǎn)擊圖文，閱讀全文）

注：原文鏈接：通過Dropout論文和專利的對(duì)比探討AI算法相關(guān)專利的寫作（點(diǎn)擊標(biāo)題查看原文）

如有想看文章主題內(nèi)容，歡迎留言評(píng)論~

官宣！首屆“全球科技創(chuàng)新與知識(shí)產(chǎn)權(quán)總裁研修班”招生簡章

嘉賓寄語CPIPS 2019：相約第四屆中國醫(yī)藥知識(shí)產(chǎn)權(quán)峰會(huì)2019（10月23-25，上海）

可信好用的全球?qū)＠麛?shù)據(jù)庫

延期通知！尋找40位40歲以下企業(yè)知識(shí)產(chǎn)權(quán)精英（40 Under 40）活動(dòng)改期

“投稿”請(qǐng)投郵箱“iprdaily@163.com”

「關(guān)于IPRdaily」

IPRdaily成立于2014年，是全球影響力的知識(shí)產(chǎn)權(quán)媒體+產(chǎn)業(yè)服務(wù)平臺(tái)，致力于連接全球知識(shí)產(chǎn)權(quán)人，用戶匯聚了中國、美國、德國、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個(gè)國家和地區(qū)的高科技公司、成長型科技企業(yè)IP高管、研發(fā)人員、法務(wù)、政府機(jī)構(gòu)、律所、事務(wù)所、科研院校等全球近50多萬產(chǎn)業(yè)用戶（國內(nèi)25萬+海外30萬）；同時(shí)擁有近百萬條高質(zhì)量的技術(shù)資源+專利資源，通過媒體構(gòu)建全球知識(shí)產(chǎn)權(quán)資產(chǎn)信息第一入口。2016年獲啟賦資本領(lǐng)投和天使匯跟投的Pre-A輪融資。

（英文官網(wǎng)：iprdaily.com  中文官網(wǎng)：iprdaily.cn） 

本文來IPRdaily中文網(wǎng)（iprdaily.cn）并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉(zhuǎn)載此文章須經(jīng)權(quán)利人同意，并附上出處與作者信息。文章不代表IPRdaily.cn立場，如若轉(zhuǎn)載，請(qǐng)注明出處：“http://jupyterflow.com/”