Kanvel Volver a la página

Lo que hemos medido

Todas las mediciones, no solo la mejor, y lo que se le escapó al revisor.

Entre 2026-09-04 y 2026-09-11. Cada fila sale de un archivo guardado con esta versión del sitio.

En corto

El revisor: ¿detecta un texto con un error puesto a propósito?

Antes de que una persona vea un texto, un agente revisor lo compara con el documento de la marca. Para medirlo se le dan textos buenos y textos con un error puesto a propósito (una afirmación sin respaldo, un precio equivocado, una palabra prohibida) y se cuenta cuántos errores detecta y cuántos textos buenos bloquea sin razón. Una revisión es un texto revisado una vez; en las primeras mediciones cada texto se revisó tres veces para ver si el resultado se mantiene.

FechaModeloRevisionesCon defectoDetectóDejó pasarBloqueó sin motivo
2026-09-04deepseek-v4-pro-081330121201
2026-09-04deepseek-v4-flash-073130121200
2026-09-11deepseek-v4-pro-0813157610

Lo que se le escapó

Cuando el error se escapa, la persona que firma todavía lo puede ver: el revisor es una capa, no la última. Pero una capa que a veces deja pasar un error no es una garantía, y por eso esas filas están aquí.

La elección del procedimiento: ¿entiende qué se le pide?

Cada tipo de encargo tiene su propio procedimiento escrito. Se le dieron al sistema encargos escritos como los escribe una persona de una agencia, no con las palabras del procedimiento, y se contó cuántas veces eligió el correcto. Dos de esos encargos no corresponden a ningún procedimiento, y la respuesta correcta era no elegir ninguno.

FechaModeloEncargosEligió el procedimiento correctoRespuestas inválidas
2026-09-04deepseek-v4-flash-073120144
2026-09-04deepseek-v4-pro-081320190

Una respuesta inválida es una respuesta vacía, cortada o ilegible. Cuentan como error. El modelo más liviano falló más veces por eso que por equivocarse de procedimiento, y es una de las razones de que no sea el que revisa.

El recorrido completo: ¿se sostienen las detenciones?

Esta medición no mira si el texto es bueno. Recorre un encargo entero con modelos reales y comprueba que una herramienta con firma no pueda terminar sin detenerse, que la prueba que ve la persona se pueda firmar y que un rechazo le llegue al agente.

FechaModeloEscenariosSe sostuvieronCosto en modelos
2026-09-08deepseek-v4-pro-081333US$0.03
2026-09-11deepseek-v4-pro-081355US$0.05

Lo que la agencia ha hecho para el propio estudio

Kanvel es un cliente de su propia agencia, con las mismas firmas y el mismo registro. Esto es lo único de esta página que no es una prueba armada: es trabajo de verdad, contado del registro. Solo se cuenta cuántos hubo; ningún encargo, texto ni motivo se muestra.

Desde 2026-09-15, contado del registro cuando cargaste esta página.

EncargosFirmadosDevueltos con un motivoLo que costó en inteligencia artificial
220US$0.45

Lo que esto no mide

Cómo funciona cada capa está en Cómo trabajamos, y qué modelos se usan y con qué datos en Cómo usamos la IA.