CloudPaw · V2 · UTEC · IEEE RAS

Del texto al movimiento
con física real

Strands Agents · strands-robots · MuJoCo · PPO · ESP32 · ROS 2 · Gazebo · AWS

Carlos Cortez · AWS Community Hero · lo que se construyó, lo que se midió y lo que falta

Punto de partida

La V1 entendía. No tenía cuerpo.

Lo que ya funcionaba (V1)

Agente Strands con 7 herramientas acotadas, en español e inglés. Límites en el código, reflejo de parada, estados. 112 tests.

Lo que faltaba

El robot era un simulador de puntos: "avanzar 1 m" sumaba 1 m. Sin gravedad, sin patas, sin caídas.

La pregunta de la V2

¿El mismo agente, sin cambiar su código, puede mover un cuerpo con física?

Y después

¿Cómo se convierte eso en un cuadrúpedo de 8 servos que camina sobre un ESP32?

El stack completo

Seis capas, una sola interfaz

de arriba (intención) a abajo (motores)
1 · Agente Strands + Bedrock (Claude Haiku) · AgentCore Runtime "avanza 1 metro"
2 · Herramientas walk · turn · stop … + límites en código + reflejo walk(forward, 1)
3 · RobotDriver la frontera: 8 métodos, igual para sim y real
4 · Simulación strands-robots + MuJoCo · ROS 2 + Gazebo
5 · Política PPO MLP 26→64→64→8 a 50 Hz 8 ángulos
6 · Hardware ESP32-S3 + 8 servos + IMU (inferido)

Todo corre en una EC2 de operaciones; el código es público: github.com/breakingthecloud/cloudpaw

Centro de operaciones

Una EC2 con todo, sin puertos abiertos

Amazon EC2 m7i.xlarge

4 vCPU, 16 GiB, Ubuntu 24.04. Sin créditos de ráfaga: el entrenamiento PPO usa la CPU al 100% durante horas.

AWS Systems Manager Solo SSM

Security group sin reglas de entrada, IMDSv2 obligatorio. Foxglove llega por túnel SSM al puerto 8765.

Se apaga sola

Alarma: 1 h con CPU < 5% → stop. $0.20/h encendida + ~$5/mes de disco.

Instalación idempotente en ~4.5 min: ROS 2 Jazzy (375 paquetes), Gazebo 8, ros2_control, foxglove_bridge, uv + Python 3.12, Node 22 + pnpm, CLI de AgentCore.

La librería de cuerpos

strands-robots 0.6.0 (Strands Labs)

OfreceNo ofrece (aún)
76 robots por nombre en MuJoCo (sin GPU), mismo código en hardwarePolítica de marcha para cuadrúpedos (solo bípedo y humanoide)
Manifiesto de límites, cadena de seguridad, e-stop que nada bloqueaMover un Unitree real: su driver solo lee
Aprobación del operador para robots realesUn modelo del CloudPaw (usamos Go2 y microduck)
robot.tool para agentes, generado desde el manifiesto

Apache-2.0, activo (release del 14-nov-2026). Verificado instalándolo, no leyendo el marketing.

Hallazgo 1

El cuadrúpedo se desplomaba

El Go2 trae actuadores de torque. set_gains(kp, kd) escribe las ganancias pero deja apagado el término que las aplica: una orden de posición queda como torque fijo.

Medido: altura del cuerpo 0.077 m (en el suelo). Con el sesgo activado (PD real): 0.232 m, de pie.

workaround (solo simulación)
go2.set_gains(kp=[40]*12, kd=[1]*12)
# el sesgo quedaba en NONE
m = go2.sim.backend.model
m.actuator_biastype[:] = mjBIAS_AFFINE
# z = 0.232 m → STANDING

La pieza clave

StrandsRobotsDriver

Implementa el mismo RobotDriver de la V1. El agente, las herramientas, los límites y el reflejo se importan sin cambios.

  • Lazo cerrado: "camina 0.3 m" = 0.3 m medidos, no velocidad × tiempo
  • Detecta caídas y corta el movimiento
  • stop() sostiene; el e-stop de la librería solo lo libera un operador
strands_driver.py
def walk(self, direction, meters):
  start = robot.pose.position[:2]
  robot.run(gait(vx, vy, 0),
    stop_when=lambda o:
      dist(o.pose, start) >= meters
      or o.pose.z < fall_z)
  robot.hold()

# el agente de la V1, sin tocarlo:
build_agent(model, robot=StrandsRobotsDriver())

Medido en MuJoCo, con el modelo real (Claude Haiku en Bedrock)

Lo que pidió el agente vs. lo que hizo el cuerpo

RobotOrdenResultado
microduck (bípedo)"avanza 30 centímetros"0.30 m
microduck"gira a la derecha"89°
microduck"walk back 20 centimeters"0.20 m
microduck"alto"reflejo antes del modelo
unitree_go2 (cuadrúpedo)"siéntate" / "párate"0.232 → 0.098 → 0.234 m
unitree_go2"camina 1 metro"rechazado: sin política de marcha

Limitaciones medidas: el paso lateral desvía el rumbo ~29°; sentarse y pararse desplaza al Go2 ~0.13 m.

Hallazgo 2 · solo apareció con física

"Párate y camina" corrió a la vez

Lección: un agente que mueve cosas físicas necesita orden, no solo límites.

Quién decide qué

El agente piensa en segundos. El robot, en milisegundos.

CapaDónde correRitmoDecide
Agente de lenguajeNube (AgentCore)segundosQué: "avanza" → comando (vx, wz)
Política PPOESP3250 HzCómo mover las patas para cumplirlo
Servos y límitesESP32 + PCA968550 HzRecorta a límites y velocidad del servo
Parada de emergenciaFísicainmediataCorta la energía; no depende de nada

El agente nunca manda ángulos. Si se pierde la conexión 0.5 s, el robot pasa a (0, 0) y se queda estable.

El robot · todavía no existe

Especificación inferida (todo cambiable)

PiezaSupuestoPor qué
CerebroESP32-S3, 240 MHz, con FPUbarato; un MLP de 6 408 parámetros cabe de sobra
Patas8 × MG90S (cadera + rodilla), sin realimentaciónlo típico en cuadrúpedos DIY
DriverPCA9685 por I²C, 16 canales PWMlibera al ESP32
SensorIMU MPU-6050 / ICM-42688gravedad y velocidad angular
Control50 Hz · servo a 10 rad/s20 ms por ciclo

Cada número vive en cloudpaw_rl/spec.py marcado ASSUMED. Cambia ahí y cambian el entorno, el URDF y el firmware.

Lo que ve y lo que hace la política

26 números entran, 8 salen

Solo lo que el ESP32 puede saber. Los servos no informan su posición, así que la política ve la posición ordenada, no la medida.

La acción se recorta igual en entrenamiento y en el ESP32: la política nunca aprende a pedir algo que no obtendrá.

observación (26) → acción (8)
gravedad proyectada 3 IMU
velocidad angular 3 IMU
comando (vx, wz) 2 del agente
fase de marcha 2 reloj 1.5 Hz
posición ordenada 8
última acción 8

acción ∈ [-1, 1] × 0.35 rad
→ recorte a límites y a 10 rad/s

PPO · la función de recompensa

Premia seguir la orden; castiga lo que rompe servos

Premios

+1.5 seguir la velocidad pedida (núcleo exp(−error²/0.25))
+0.8 seguir el giro pedido
+0.5 seguir vivo

Castigos

−20 alejarse de la altura de pie · −2 rebotar · −1 inclinarse · −1 rozar los topes
−0.05 balancearse · −0.02 movimientos bruscos · −0.01 pedir más que el servo

Fin de episodio: inclinación > ~46° o altura < 50% de la de pie. Cada término sale por separado en info["terms"], para ajustar mirando, no adivinando.

El entorno de entrenamiento

El Go2 como sustituto de 8 grados de libertad

Del entrenamiento al microcontrolador

Un header en C, cero dependencias

export_c.py convierte el MLP en pesos static const float: 6 408 parámetros, 25 KB de flash.

Probado: compilado con cc -Wall -Werror y comparado con numpy, error < 1e-5. No probado aún en una placa.

bucle cada 20 ms (diseño)
imu_read(&gravity, &gyro);
build_obs(obs, …, cmd_vx, cmd_wz);
cloudpaw_policy_forward(obs, act);
action_to_targets(act, targets);
if (!estop && !fallen)
  pca9685_write(targets);

// comando por Wi-Fi/MQTT;
// 0.5 s sin comando → (0, 0)

ROS 2 Jazzy · paquete cloudpaw_description

Ver cómo se va a mover

URDF (xacro)

Cuerpo de 20×10 cm, 4 patas de 7.5 + 7.5 cm, cadera y rodilla por pata, IMU. Medidas inferidas.

Trote

Pares diagonales (FL+RR, FR+RL), cinemática inversa de 2 eslabones, arco de paso y apoyo. 17 tests sin ROS.

Lanzamientos

display: Foxglove o RViz, sin física. gazebo: física con ros2_control.

colcon build + colcon test18 tests, 0 fallos
/joint_states sin pantalla50.0 Hz, 8 articulaciones
Gazebo + controladoressiguen pie (0.6/−1.2) y sentado (1.1/−2.2)

Hallazgo 3 · con física de verdad

Trota sin caerse. Avanza el 5%.

0.069 m
avanzó en 10 s
1.5 m
lo pedido (0.15 m/s)
7°
alabeo al final, de pie

La marcha en lazo abierto resbala: no sabe si la pata tocó el suelo, ni cuánto pesa el cuerpo. Es exactamente el hueco que llena la política PPO, que aprende con la física.

Verlo desde tu laptop

Foxglove por un túnel

El bridge escucha solo en 127.0.0.1 de la EC2. Un túnel de SSM lo trae a tu máquina: ningún puerto abierto a internet.

No lo he probado desde tu navegador: el bridge escucha y publica, falta verlo.

tu Mac
aws ssm start-session \
  --target $CLOUDPAW_INSTANCE_ID \
  --document-name \
    AWS-StartPortForwardingSession \
  --parameters portNumber=8765,\
    localPortNumber=8765

# Foxglove → ws://localhost:8765
# panel 3D, marco fijo: odom

Honestidad de ingeniería

Qué está probado y qué no

Agente V1 sobre física (MuJoCo), modelo realprobado
Adaptador: 20 tests + 5 contra la simulaciónprobado
Recompensa, observación, acción, entorno: 26 testsprobado
Exportador C vs numpy (< 1e-5)probado
ROS 2: URDF, 50 Hz, Gazebo, trote con físicaprobado en la EC2
Política PPO entrenadano
Firmware en un ESP32 realno (diseño)
Modelo físico propio del CloudPawno (Go2 como sustituto)
Despliegue del agente en AgentCorependiente

Lo que sigue, en orden

De la demo al perro de verdad

  1. Medidas reales: servos, masas, medidas → spec.py y el URDF
  2. Modelo MJCF del CloudPaw que sustituye al Go2 en el entorno
  3. Entrenar PPO en la EC2 con domain randomization; medir velocidad lograda vs. pedida
  4. Exportar el actor a C y compilarlo con ESP-IDF; medir la inferencia en la placa
  5. Primer paso real con el robot colgado (patas al aire), luego en el suelo
  6. Conectar el agente: AgentCore → MQTT (AWS IoT) → ESP32, con la parada física siempre a mano

Gracias

El mismo agente, cada vez más cerca del suelo

Carlos Cortez · AWS Community Hero · IEEE RAS UTEC

CloudPaw V2 · stack completo
1 / 21