能源與流程工業制造是國民經濟的支柱產業，伴隨著過去幾十年工業制造的高速發展，我國工業生產面臨的能耗高、資源消耗高、產品附加值低、環境污染等問題越來越突出，亟需通過最新的人工智能技術來推動流程工業制造高效化、綠色化、智能化發展。

　　強化學習是一種數據驅動的決策技術，具有自主學習、高度非線性等特性，可有效應對工業控制面臨的一系列難題。南棲仙策作為強化學習AI智能決策應用的領軍者，將強化學習應用于工業控制任務，產生了多個落地案例。南棲仙策團隊將強化學習應用的經驗總結編寫了《強化學習控制白皮書》(以下簡稱為《白皮書》，《白皮書》結合實際案例，對強化學習在工業控制中的應用過程進行了介紹，并展示了強化學習帶來的優勢。

　　白皮書共分為三個部分

　　第一部分：概述流程工業生產控制的挑戰

　　現有的工業生產管理流程，多個環節由人工把控，依賴經驗知識且響應速度緩慢。過程控制基于經典控制算法，在大范圍動態條件復雜系統的優化控制問題上存在不足。系統運維缺乏數據支撐，故障難預警、風險不可控，常造成企業產品不夠穩定、生產線持續性不夠高、產量波動的應對能力不足、生產損耗過大成本難以控制等問題。

　　第二部分：介紹南棲仙策強化學習工具的優勢

　　南棲全球領先的數據驅動強化學習工具POLIXIR REVIVE提供了數據模擬環境和強化學習優化技術，在火力發電、化工生產、自來水/污水生產處理等多個工業場景帶來了不同的能力，與MPC(Model Predictive Control)的對比為例，闡述了在系統建模方法、系統模擬能力、控制策略能力上更具有實施快、成本低、建模靈活、適用面廣、實用性強等特點。在實施上，南棲通過云端協同架構，實現了POLIXIR REVIVE與ReinOptima工業邊緣控制器的聯動。通過云端協同架構，當ReinOptima的預測性維護模塊識別出系統發生偏移時，自動將歷史數據傳輸到REVIVE系統更新虛擬環境模型和控制策略，實現對環境變化的自動適應和持續的自我學習與進化。

　　第三部分：南棲仙策技術優勢與場景應用案例

　　《白皮書》通過實際案例分別對能源與流程工業制造"高精度控制、高穩定控制、大滯后控制、全局目標控制"四個不同維度的需求進行了詳細解讀。

　　>>高精度控制

　　傳統人工控制增壓泵房的給水，經常導致水量和能耗過高或過低。通過POLIXIR REVIVE產生的泵頻控制策略，可大大降低出口流量與目標流量差值，達到系統所期望的精準控制，并與歷史同時期千噸水電耗相比，節省電耗約 7.16%，有效提高了泵房的經濟效益。

　　>>高穩定控制

　　在燃煤火電機組控制中，由于外部擾動，導致主蒸汽溫度長期不穩定。傳統的PID控制存在嚴重的過調、延遲等問題，導致超溫、溫度過低等情況出現，影響發電效率等。通過POLIXIR REVIVE產生的溫控策略，可將出口溫度有效控制在一定范圍內，并幫助節省燃煤 0.06%，保障穩定的同時延長了設備的使用壽命。

　　>>大滯后控制

　　在磨煤機生產過程中，由于目標出口煤粉溫度與控制風量之間存在較長的時間差，整體系統存在滯后性、長距離控制等問題，以及風速測不準導致風速控制器的 PID 控制失效。通過POLIXIR REVIVE產生的冷熱一次風擋板位控制策略，可使出口風粉溫度分布更貼近目標溫度，系統運行工況更加穩定。

　　>>全局目標控制

　　循環水泵的優化控制難點體現在需全局考慮整鍋爐運行流程，尋找最優的耗電-發電平衡點，PID控制難以實現，通過POLIXIR REVIVE產生的循環水泵控制策略，可在330MW熱電聯產機組循環水泵控制中，將整體指標值降低約0.53，相較于PID控制策略，節能提升3.52%。