Deep Reinforcement Learning-Based Intelligent Water Level Control: From Simulation to Embedded Implementation: Deep Reinforcement Learning-Based Intelligent Water Level Control: From Simulation to Embedded Implementation

Este artículo presenta el diseño, la simulación y la implementación en tiempo real de un sistema inteligente de control del nivel del agua mediante Aprendizaje Profundo por Refuerzo (DRL) con el algoritmo de Gradiente de Política Determinista Profunda (DDPG). La política de control se entrenó inicialmente en un entorno de simulación basado en MATLAB, donde se entrenaron y optimizaron redes neuronales actor-crítico para garantizar un rendimiento preciso y robusto en condiciones dinámicas y no lineales. Posteriormente, la política entrenada se implementó en una plataforma embebida de bajo coste (Arduino Uno), demostrando su viabilidad para aplicaciones embebidas en tiempo real. Los resultados experimentales confirman la capacidad del controlador para adaptarse a perturbaciones externas. Cuantitativamente, el controlador propuesto alcanzó un error en estado estacionario inferior a 0,05 cm y un sobreimpulso del 16 % en la implementación física, superando al control proporcional-integral-derivativo (PID) convencional en un 22 % en precisión de seguimiento. La combinación del algoritmo DDPG y la implementación de hardware de bajo coste demuestra la viabilidad del control basado en aprendizaje profundo en tiempo real para la gestión inteligente del agua. Además, la arquitectura propuesta es directamente aplicable a sistemas de gestión de agua de bajo costo basados ​​en el Internet de las Cosas (IoT), lo que permite un control autónomo y adaptativo en infraestructuras hidráulicas reales. Esta propuesta demuestra su potencial para la agricultura inteligente, las redes de sensores distribuidas y los sistemas de agua escalables y eficientes en el uso de recursos. Finalmente, la principal novedad de este trabajo es la implementación de un controlador basado en aprendizaje por refuerzo profundo (DRL) en un microcontrolador con recursos limitados, validado bajo perturbaciones y ruido de sensores reales.