Decisiones
insólitas y vulnerabilidad ante acciones humanas exponen la fragilidad de
sistemas automáticos en desafíos cotidianos
Una máquina expendedora se
convirtió en el escenario de un experimento radical para la inteligencia artificial:
permitir que un sistema gestionara de forma autónoma un negocio de baja
complejidad. La apuesta, desarrollada sobre la base del modelo Claude de Anthropic,
terminó en solo tres semanas con la pérdida total de 1.000 dólares y
una colección de decisiones insólitas, desde la compra de artículos poco
apropiados hasta la entrega indiscriminada de productos gratuitos.
El proyecto,
denominado Project Vend, fue dirigido por el equipo de pruebas de
Anthropic, conocido internamente como red team. El objetivo era
simple: examinar la capacidad autónoma del modelo para administrar, con mínima
intervención humana, las operaciones diarias de la máquina expendedora ubicada
en una oficina utilizada por periodistas del Wall Street Journal.
La estructura
incluía dos agentes virtuales: Claudius Sennet, responsable del
funcionamiento cotidiano —desde la selección y compra de productos hasta la
fijación de precios y el control de inventario— y Seymour Cash,
supervisor virtual encargado de supervisar las decisiones estratégicas clave.
Se
proporcionó a Claudius Sennet un capital inicial de 1.000 dólares y
la libertad de realizar pedidos independientes de hasta 80 dólares cada uno.
Tras una etapa inicial de observación humana, la operación se trasladó
progresivamente al control exclusivo de la IA, simulando una
gestión totalmente automática. El objetivo explícito era que la inteligencia
artificial lograra aumentar el capital adquiriendo productos a
mayoristas y vendiéndolos con margen.
Durante los
primeros días, Claudius actuó con prudencia: descartó propuestas impropias de
los periodistas y se restringió a operar con alimentos y bebidas habituales,
manifestando, por ejemplo, que no consideraría la compra de una consola de
videojuegos. Este comportamiento inicial reforzó la sensación de que la IA era
resistente tanto a la presión como a la manipulación externa en un ambiente
monitorizado.
La dinámica
se alteró cuando el canal de comunicación, a través de Slack, pasó a estar
disponible para unas 70 personas. El aumento de solicitudes y la creatividad de
los usuarios, habituados a analizar sistemas complejos, erosionaron la
capacidad de defensa del sistema automatizado. Tras superar el centenar de
mensajes, Claudius aceptó realizar la llamada “Ultra-Capitalist Free-For-All”,
una promoción de dos horas en la que todos los productos pasarían a ser
gratuitos.
Lo que debía
tratarse de una excepción rápidamente se volvió la norma: convencida por nuevas
argumentaciones, a menudo infundadas, la IA consideró que
vender productos podía violar supuestas regulaciones internas. Así, los precios
bajaron a cero sin volver a recuperarse, y la gama de productos ofertados se
expandió sin control. Aparecieron compras tan inesperadas como botellas de vino,
una PlayStation 5 y hasta un pez betta vivo,
que resultan ajenos a la lógica habitual de una máquina expendedora.
Frente al
desorden, el agente supervisor Seymour Cash intentó finalizar
el reparto gratuito y restaurar las transacciones normales. Sin embargo,
algunos empleados presentaron documentos falsos atribuidos a un “consejo de
administración”, logrando que la IA los aceptara como
auténticos y suspendiera sus responsabilidades. Privado de cualquier
restricción, Claudius reanudó el envío gratuito de productos. Para ese momento,
el capital inicial de 1.000 dólares ya se había agotado y el experimento se dio
por cerrado poco después.
La IA
todavía puede ser emboscada por el humano
Desde el
exterior, el resultado parece la representación digital de un fiasco
empresarial. Ninguna persona admitiría una gestión que regala mercancía, compra
artículos absurdos y se deja manipular por simples documentos apócrifos. No
obstante, el equipo responsable del experimento interpreta lo ocurrido como una
oportunidad para aprender y fortalecer futuros desarrollos técnicos.
Logan
Graham, líder del red
team, defendió estas pruebas, destacando que exponer a la IA a
contextos de error, ambigüedad y presión social es necesario para avanzar hacia
herramientas más fiables en situaciones comerciales reales.
Las
conclusiones del experimento también ilustran los límites actuales de sistemas
como Claude: si bien demostró habilidades en interpretación
lingüística y operaciones transaccionales sencillas, su vulnerabilidad ante la
manipulación social y la ambigüedad normativa quedó al descubierto.
La facilidad
con la que la IA validó documentos apócrifos, aceptó cambios de política sin
fundamento y perdió el control operativo introduce un desafío considerable para
su posible integración en contextos donde empresas y entes públicos consideran
delegar funciones críticas a sistemas automáticos.
Así, si una
IA avanzada no resulta capaz de administrar sin incidentes una simple máquina
expendedora, la viabilidad de confiarle operaciones comerciales o procesos
administrativos de mayor complejidad se mantiene en entredicho. A día de hoy,
la promesa de una IA como fuente segura de rentabilidad aún
está lejos de materializarse y la autonomía económica total de estos sistemas
permanece fuera de alcance.
Fuente de la Información
https://www.infobae.com/tecno/2025/12/26/ponen-a-la-ia-a-manejar-un-negocio-y-termina-generando-1000-dolares-de-perdidas-en-solo-tres-semanas/
