CloudPaw · V2 · UTEC · IEEE RAS
Strands Agents · strands-robots · MuJoCo · PPO · ESP32 · ROS 2 · Gazebo · AWS
Carlos Cortez · AWS Community Hero · lo que se construyó, lo que se midió y lo que falta
Punto de partida
Agente Strands con 7 herramientas acotadas, en español e inglés. Límites en el código, reflejo de parada, estados. 112 tests.
El robot era un simulador de puntos: "avanzar 1 m" sumaba 1 m. Sin gravedad, sin patas, sin caídas.
¿El mismo agente, sin cambiar su código, puede mover un cuerpo con física?
¿Cómo se convierte eso en un cuadrúpedo de 8 servos que camina sobre un ESP32?
El stack completo
Todo corre en una EC2 de operaciones; el código es público: github.com/breakingthecloud/cloudpaw
Centro de operaciones
4 vCPU, 16 GiB, Ubuntu 24.04. Sin créditos de ráfaga: el entrenamiento PPO usa la CPU al 100% durante horas.
Security group sin reglas de entrada, IMDSv2 obligatorio. Foxglove llega por túnel SSM al puerto 8765.
Alarma: 1 h con CPU < 5% → stop. $0.20/h encendida + ~$5/mes de disco.
Instalación idempotente en ~4.5 min: ROS 2 Jazzy (375 paquetes), Gazebo 8, ros2_control, foxglove_bridge, uv + Python 3.12, Node 22 + pnpm, CLI de AgentCore.
La librería de cuerpos
| Ofrece | No ofrece (aún) |
|---|---|
| 76 robots por nombre en MuJoCo (sin GPU), mismo código en hardware | Política de marcha para cuadrúpedos (solo bípedo y humanoide) |
| Manifiesto de límites, cadena de seguridad, e-stop que nada bloquea | Mover un Unitree real: su driver solo lee |
| Aprobación del operador para robots reales | Un modelo del CloudPaw (usamos Go2 y microduck) |
| robot.tool para agentes, generado desde el manifiesto |
Apache-2.0, activo (release del 14-nov-2026). Verificado instalándolo, no leyendo el marketing.
Hallazgo 1
El Go2 trae actuadores de torque. set_gains(kp, kd) escribe las ganancias pero deja apagado el término que las aplica: una orden de posición queda como torque fijo.
Medido: altura del cuerpo 0.077 m (en el suelo). Con el sesgo activado (PD real): 0.232 m, de pie.
La pieza clave
Implementa el mismo RobotDriver de la V1. El agente, las herramientas, los límites y el reflejo se importan sin cambios.
Medido en MuJoCo, con el modelo real (Claude Haiku en Bedrock)
| Robot | Orden | Resultado |
|---|---|---|
| microduck (bípedo) | "avanza 30 centímetros" | 0.30 m |
| microduck | "gira a la derecha" | 89° |
| microduck | "walk back 20 centimeters" | 0.20 m |
| microduck | "alto" | reflejo antes del modelo |
| unitree_go2 (cuadrúpedo) | "siéntate" / "párate" | 0.232 → 0.098 → 0.234 m |
| unitree_go2 | "camina 1 metro" | rechazado: sin política de marcha |
Limitaciones medidas: el paso lateral desvía el rumbo ~29°; sentarse y pararse desplaza al Go2 ~0.13 m.
Hallazgo 2 · solo apareció con física
Lección: un agente que mueve cosas físicas necesita orden, no solo límites.
Quién decide qué
| Capa | Dónde corre | Ritmo | Decide |
|---|---|---|---|
| Agente de lenguaje | Nube (AgentCore) | segundos | Qué: "avanza" → comando (vx, wz) |
| Política PPO | ESP32 | 50 Hz | Cómo mover las patas para cumplirlo |
| Servos y límites | ESP32 + PCA9685 | 50 Hz | Recorta a límites y velocidad del servo |
| Parada de emergencia | Física | inmediata | Corta la energía; no depende de nada |
El agente nunca manda ángulos. Si se pierde la conexión 0.5 s, el robot pasa a (0, 0) y se queda estable.
El robot · todavía no existe
| Pieza | Supuesto | Por qué |
|---|---|---|
| Cerebro | ESP32-S3, 240 MHz, con FPU | barato; un MLP de 6 408 parámetros cabe de sobra |
| Patas | 8 × MG90S (cadera + rodilla), sin realimentación | lo típico en cuadrúpedos DIY |
| Driver | PCA9685 por I²C, 16 canales PWM | libera al ESP32 |
| Sensor | IMU MPU-6050 / ICM-42688 | gravedad y velocidad angular |
| Control | 50 Hz · servo a 10 rad/s | 20 ms por ciclo |
Cada número vive en cloudpaw_rl/spec.py marcado ASSUMED. Cambia ahí y cambian el entorno, el URDF y el firmware.
Lo que ve y lo que hace la política
Solo lo que el ESP32 puede saber. Los servos no informan su posición, así que la política ve la posición ordenada, no la medida.
La acción se recorta igual en entrenamiento y en el ESP32: la política nunca aprende a pedir algo que no obtendrá.
PPO · la función de recompensa
+1.5 seguir la velocidad pedida (núcleo exp(−error²/0.25))
+0.8 seguir el giro pedido
+0.5 seguir vivo
−20 alejarse de la altura de pie · −2 rebotar · −1 inclinarse · −1 rozar los topes
−0.05 balancearse · −0.02 movimientos bruscos · −0.01 pedir más que el servo
Fin de episodio: inclinación > ~46° o altura < 50% de la de pie. Cada término sale por separado en info["terms"], para ajustar mirando, no adivinando.
El entorno de entrenamiento
Del entrenamiento al microcontrolador
export_c.py convierte el MLP en pesos static const float: 6 408 parámetros, 25 KB de flash.
Probado: compilado con cc -Wall -Werror y comparado con numpy, error < 1e-5. No probado aún en una placa.
ROS 2 Jazzy · paquete cloudpaw_description
Cuerpo de 20×10 cm, 4 patas de 7.5 + 7.5 cm, cadera y rodilla por pata, IMU. Medidas inferidas.
Pares diagonales (FL+RR, FR+RL), cinemática inversa de 2 eslabones, arco de paso y apoyo. 17 tests sin ROS.
display: Foxglove o RViz, sin física. gazebo: física con ros2_control.
| colcon build + colcon test | 18 tests, 0 fallos |
| /joint_states sin pantalla | 50.0 Hz, 8 articulaciones |
| Gazebo + controladores | siguen pie (0.6/−1.2) y sentado (1.1/−2.2) |
Hallazgo 3 · con física de verdad
La marcha en lazo abierto resbala: no sabe si la pata tocó el suelo, ni cuánto pesa el cuerpo. Es exactamente el hueco que llena la política PPO, que aprende con la física.
Verlo desde tu laptop
El bridge escucha solo en 127.0.0.1 de la EC2. Un túnel de SSM lo trae a tu máquina: ningún puerto abierto a internet.
No lo he probado desde tu navegador: el bridge escucha y publica, falta verlo.
Honestidad de ingeniería
| Agente V1 sobre física (MuJoCo), modelo real | probado |
| Adaptador: 20 tests + 5 contra la simulación | probado |
| Recompensa, observación, acción, entorno: 26 tests | probado |
| Exportador C vs numpy (< 1e-5) | probado |
| ROS 2: URDF, 50 Hz, Gazebo, trote con física | probado en la EC2 |
| Política PPO entrenada | no |
| Firmware en un ESP32 real | no (diseño) |
| Modelo físico propio del CloudPaw | no (Go2 como sustituto) |
| Despliegue del agente en AgentCore | pendiente |
Lo que sigue, en orden
Gracias
Carlos Cortez · AWS Community Hero · IEEE RAS UTEC