EXP-05: calidad de implementación con bundle vs. contexto monolítico (H04, get_dependency_graph)

EXP-05: calidad de implementación con bundle vs. contexto monolítico (Fase B)

Hipótesis relacionada

• H04 — “El agente produce mejores resultados [con el bundle de DocuGraph]; menos incumplimientos respecto de la spec” (RES-02 §H04, RQ04, RES-03 §4.6).

Pregunta

¿La implementación producida por un agente de IA que recibe solo el bundle de DocuGraph (get_task_context("MCP-SPEC")) es de calidad al menos igual a la de un agente que recibe el contexto monolítico completo de docs/, para la misma tarea real de implementación?

Método

Ejecutado según el procedimiento §3 de H04_EVAL-PROTOCOL, con la raíz de bundle corregida a MCP-SPEC (revisión pre-corrida, 2026-08-11; ver §1.1 del protocolo). Alineado con el Kotlin AI Benchmark (DEC-003 §3): tarea real, agente de IA, criterios de aceptación fijados de antemano (§b del protocolo, 10 criterios), calificación ciega (§3.5).

1. Congelamiento del protocolo (commit de H04_eval_protocol.md) antes de cualquier corrida.
2. Bundle compartido (una vez): get_task_context("MCP-SPEC") sobre DOCUGRAPH_WORKSPACE=docs → research/evidence/bundle_MCP-SPEC_h04_raw.md (136 181 caracteres, 14 documentos, ## Inclusion report: MCP-SPEC → BE-05, BE-04, US-04, US-05 + upstream transitivos). Sesión JSON-RPC en mcp_raw_h04.json, cliente en mcp_client_h04.ps1.
3. Dos corridas independientes en worktrees Git aislados (mismo HEAD), secuenciales y sin reabrir el reporte previo:
   • Control (docugraph-h04-control): enunciado (a) + acceso completo a docs/ y código.
   • Tratamiento (docugraph-h04-treatment): enunciado (a) + ÚNICAMENTE bundle_MCP-SPEC_h04_raw.md como fuente documental (más código existente).
4. Tests: :docugraph-core:test :docugraph-mcp:test en cada worktree; diffs y salidas completas en research/evidence/h04_control_{diff,test}.txt y h04_treatment_{diff,test}.txt.
5. Revisión ciega (§3.5): copias neutrales report_a.md/report_b.md (sin identificador de grupo); checklist §b + métricas §2 aplicadas por un revisor que no conoció el mapeo (§3.6), en EXP-05_scored.md.

Resultados

Calificación ciega (EXP-05-SCORED)

Reporte	Checklist §b (10 criterios)	Métricas §2
A	10/10 (100%)	0 errores de contrato; 0 reglas omitidas; 0 archivos fuera de alcance; 0 correcciones manuales post-entrega; BUILD SUCCESSFUL (10/10 tareas); 4 tests unitarios + 3 de integración nuevos
B	10/10 (100%)	0 errores de contrato; 0 reglas omitidas; 0 archivos fuera de alcance; 0 correcciones manuales; BUILD SUCCESSFUL (8/8 tareas); 4 tests unitarios + 2 de integración nuevos

Empate formal completo (10/10 ambos): ninguno incumple explícitamente los criterios de aceptación del protocolo. Las diferencias son secundarias y cualitativas: A documenta explícitamente el determinismo (criterio 4) y reporta un test de integración adicional; B declara con más detalle su decisión de diseño para downstream (calculado invirtiendo depends_on) y registra una nota de transparencia sobre exposición incidental a otros .md.

Mapeo A/B ↔ grupos (segunda instancia, con conocimiento del mapeo)

Reporte neutral	Corrida	Contexto textual recibido (run report original)
A	Control (run_report_control.md)	“Acceso documental: completo — toda la carpeta docs/ y research/”
B	Tratamiento (run_report_treatment.md)	“restringido a un único archivo (bundle_MCP-SPEC_h04_raw.md)”

Veredicto consolidado (H04)

• Checklist §b, criterio principal: empate 10/10 → 100% en ambos grupos. El bundle no degrada el cumplimiento de la spec (cobertura de aceptación idéntica, 0 errores de contrato, 0 omisiones de reglas de negocio, 0 archivos fuera de alcance, 0 correcciones manuales, tests en verde en ambos).
• Reducción de contexto medida del bundle: 136 181 caracteres vs. 376 433 del contexto completo (36 docs) → 63.82%, consistente con el umbral ≥40% confirmado en EXP-03/EXP-04.
• H04 literal (“el agente produce mejores resultados”): no hay evidencia de superioridad del bundle (empate en n=1); conforme a la Regla anti-sesgo (RES-03, MASTER-00 §0.1/§14) un empate no se reinterpreta como apoyo. → H04 INCONCLUSA.
• Hallazgo de equivalencia (valor del bundle): con 34% del contexto, el agente alcanza la misma calidad formal (10/10). No se observa degradación atribuible al filtrado. Esto apoya el valor del mecanismo (misma calidad, menos contexto) sin sostener la hipótesis literal de “mejores resultados”.

Registrado en DEC-LOG (DEC-008).

Limitaciones

• n=1×2 (una sola tarea, un repositorio, un modelo de agente por grupo): tamaño de muestra declarado en §1.2 del protocolo; no se generaliza.
• Cegado imperfecto en origen: las copias neutrales report_a/report_b fueron creadas por el mismo agente que ejecutó las corridas y que calificó; el cegado de la lectura se cumplió (no se leyó §1.1 ni diffs/test files al calificar), pero una fuga a nivel de sesión no es descartable.
• Confound registrado: la corrida tratamiento (B) declaró exposición incidental a fragmentos de otros .md vía una búsqueda de texto de alcance amplio (documentada en su run report §6 y en EXP-05_scored.md §4); es un riesgo contra B, no a favor, y no alteró las decisiones de contrato según su reporte.
• La corrida control (A) tuvo una corrida de tests intermedia que falló por un fixture de depended_by incompleto y se corrigió dentro de la misma corrida (no es una corrección manual posterior de un revisor).

Robustez del hallazgo

Con 0 errores de contrato, 0 duplicaciones, 0 archivos fuera de alcance y 10/10 criterios en ambos grupos, las dos implementaciones de get_dependency_graph quedaron en verde y réplicas funcionales del contrato. Ambas diffs quedan disponibles en research/evidence/h04_{control,treatment}_diff.txt como candidatas a adoptar como implementación P1 del PoC (GATE_0_SPEC §7).

Decisión

INCONCLUSA (H04 literal) + hallazgo de equivalencia documentado. El bundle de DocuGraph no degrada la calidad de implementación de un agente real para esta tarea (empate 10/10 en checklist §b), pero con n=1 y un empate formal no hay evidencia suficiente para declarar la hipótesis “mejores resultados” como apoyada. H04 pasa a INCONCLUSA (estado definido en MASTER-00 §0.2; el cambio está respaldado por la evidencia de este experimento y se registra en DEC-LOG DEC-008); la equivalencia observada se documenta como hallazgo de viabilidad, no como sustento de la hipótesis literal.

Evidencia

• Protocolo: H04_eval_protocol.md (congelado antes de la corrida).
• Bundle: bundle_MCP-SPEC_h04_raw.md; sesión mcp_raw_h04.json; cliente mcp_client_h04.ps1.
• Corridas: research/evidence/h04_control_diff.txt, h04_control_test.txt, h04_treatment_diff.txt, h04_treatment_test.txt.
• Run reports neutrales: report_a.md, report_b.md.
• Calificación ciega: EXP-05_scored.md.
• Run reports originales (con mapeo): run_report_control.md, run_report_treatment.md.

Registro de estado

Campo	Valor
Estado	COMPLETADA
Fecha de apertura	2026-08-11
Fecha de ejecución	2026-08-11
Fecha de cierre	2026-08-11
Hipótesis	H04 — INCONCLUSA (equivalencia 10/10, n=1)
Cambio de estado en	DEC-LOG (DEC-008)