首页分享【模型工具】基于深度强化学习的流域调水策略

【模型工具】基于深度强化学习的流域调水策略

来源：花匠小妙招时间：2025-10-16 21:26

原文信息

题目：Deep-reinforcement-learning-based water diversion strategy

作者：JIANG Q, LI J, SUN Y, et al.

作者单位：北京大学

期刊：Environmental Science and Ecotechnology

时间：2024

导读

跨流域引水可增加湖泊的可用水资源，加速湖泊养分循环，是改善富营养化湖泊水质的常见策略。然而，在日益强烈的人为活动和极端天气事件的复合影响下，湖泊水质的状态变得越来越不稳定。根据最优理论，一旦外部和内部因素发生变化，必须调整引水决策。然而，引水策略的有效性和实时性问题仍未得到充分解决。

文章简介

跨流域调水是动态优化问题。在动态优化问题中，目标函数、约束和帕累托前沿面会随着时间的推移而变化，在此条件下，粒子群优化（PSO）和遗传算法（GA）等传统算法存在难以平衡全周期最优性和动态计算工作量的问题，因此，仅依靠传统算法解决动态优化问题存在若干问题。强化学习（RL）是为动态优化而创建的机器学习算法。通过试错，强化学习优化决策策略，以获得最高的累积回报，并具有探索开发、训练方法多样、对环境（即主体互动和被观察的世界）的灵活依赖等优势。

目前，由于代理模型与奖励函数构建困难、收敛困难等因素，RL在湖泊水质恢复工作中的应用仍相对较少。针对上述难点，本研究构建了“动态调水优化”（DWDO）框架，如图1所示。该框架将深度强化学习（DDPG）与湖体水质模型（EFDC）相结合，并在中国的富营养化淡水湖泊——滇池进行了测试。

图1基于DDPG与EFDC的动态调水优化框架

DEDO的训练过程如图2所示。DWDO在训练了300代（对应300年模拟时长）后逐渐逐渐收敛。经过训练后的DWDO效果如图3所示，与静态规则相比，DWDO显著降低了湖泊中的总氮和总磷浓度，分别降低了7%和6%。同时年调水量减少了75%，实现了污染物与引水量的同时削减。

图2DWDO的训练过程

图3DWDO与静态规则的效果对比

编者点评

本文所构建的强化学习方法DWDO集成了综合水质模型与强化学习方法，可综合考虑气象指标、调水水源和湖泊水质等不同因素对最佳调水方案的影响，实现水质改善和降低调水成本之间的动态平衡，一定程度上解决了传统优化方法存在的问题。未来应用过程中可进一步考虑通过模糊逻辑等方法，增加策略可解释性。

原文地址：

https://linkinghub.elsevier.com/retrieve/pii/S2666498423000637

或点击“阅读原文”查看

城市水系统领域