Marco de confianza del Laboratorio

Emblema del Laboratorio de inteligencia bibliométrica

Rigor y confianza

Cómo trabajamos para que los resultados sean útiles y honestos: el enfoque M.I.C.H., la alineación con ISO 56006, los criterios de Leiden, DORA y CoARA, y lo que el índice LORMAR puede —y todavía no puede— decir.

En una frase: los números orientan, las personas deciden y cada afirmación muestra de dónde sale y hasta dónde llega.

01

El enfoque M.I.C.H.

Cuatro capas que trabajan juntas; ninguna valida sola un hallazgo.

La IA propone. Vos decidís.

  1. M

    Métrica

    Contar y relacionar con datos abiertos y trazables: cuántas obras hay, qué términos aparecen juntos, quién colabora con quién.

    En la práctica: Cada análisis guarda la búsqueda exacta, la fecha y el tamaño de la muestra, para que otra persona pueda repetirlo.

  2. I

    Interpretación

    Leer los patrones con teoría, contexto y triangulación: un número sin contexto no significa nada.

    En la práctica: Un tema «puente» se presenta como hipótesis a revisar con la literatura, no como descubrimiento confirmado.

  3. C

    Cómputo con IA

    Usar algoritmos e IA generativa como apoyo auditable para ver más y más rápido, nunca como juez.

    En la práctica: El Asistente M.I.C.H. solo trabaja con los datos que el análisis tiene a mano y advierte que no inventa cifras, autores ni causas.

  4. H

    Humano decisor

    La comunidad académica decide y responde por la decisión: soberanía cognitiva significa que el sentido y la ética no se delegan.

    En la práctica: Una tutora o un comité usa el informe como insumo y deja escrito qué decidió y por qué.

Lo que M.I.C.H. no es. M.I.C.H. es un marco de trabajo propio del Instituto. No es una norma internacional, no es una certificación y no mide por sí mismo la transparencia ni el equilibrio entre humano e IA: ordena el proceso para que cada decisión quede trazable.

02

Alineación con ISO 56006

ISO 56006:2021 es una guía internacional sobre gestión de la inteligencia estratégica para la innovación: cómo vigilar el entorno, interpretar señales y convertirlas en decisiones. Es un documento de orientación: la propia norma aclara que no se aplica a certificación.

  1. 1 · Etapa de la guía

    Identificar la necesidad

    En el Laboratorio

    La pregunta y la ecuación de búsqueda

  2. 2 · Etapa de la guía

    Recolectar

    En el Laboratorio

    La muestra OpenAlex o el archivo RIS/CSV importado

  3. 3 · Etapa de la guía

    Analizar

    En el Laboratorio

    Indicadores, redes, mapas y el índice LORMAR

  4. 4 · Etapa de la guía

    Comunicar

    En el Laboratorio

    El informe PDF con lecturas por rol y límites declarados

  5. 5 · Etapa de la guía

    Decidir

    En el Laboratorio

    La decisión humana registrada (tutoría, comité, gestión)

Decimos «alineado con ISO 56006», nunca «certificado»: el Laboratorio organiza su trabajo siguiendo ese ciclo, pero no tiene ni declara una certificación ISO.

03

Criterios de evaluación responsable

Leiden2015

Manifiesto de Leiden

Idea central: Diez principios para usar métricas con responsabilidad. El central: lo cuantitativo apoya el juicio experto, no lo reemplaza.

Cómo lo aplicamos

  • Datos y métodos abiertos: podés descargar el corpus, el script de R y repetir el cálculo.
  • Se respeta la diferencia entre campos: cada lectura se adapta al corpus analizado, sin una vara única.
  • Se protege la producción local y multilingüe: búsquedas en español, inglés y portugués.
  • Se evita la falsa precisión: los horizontes y umbrales son orientativos, no óptimos.
Leer el texto original
DORA2012

Declaración de San Francisco (DORA)

Idea central: No usar indicadores de la revista, como el factor de impacto, para juzgar la calidad de un artículo o de una persona.

Cómo lo aplicamos

  • El Laboratorio no calcula ni usa el factor de impacto para valorar obras o autores.
  • No inventa cuartiles: OpenAlex no los ofrece y se dice así.
  • Las citas se leen como visibilidad, no como calidad.
Leer el texto original
CoARA2022

Acuerdo CoARA

Idea central: Reformar la evaluación de la investigación: reconocer la diversidad de aportes y poner en el centro la revisión cualitativa, con un uso responsable de los indicadores.

Cómo lo aplicamos

  • Ningún algoritmo decide acreditaciones, financiamientos ni promociones.
  • No se arman rankings de personas ni de instituciones.
  • El informe ofrece lecturas para distintos roles y deja la decisión al comité.
Leer el texto original

Esta página describe una alineación metodológica y orientativa con esos criterios. No presenta certificaciones, sellos ni adhesiones institucionales.

04

Competencias ampliadas del investigador 5.0

Cuatro dimensiones que el Laboratorio ayuda a desarrollar.

Dimensión científico-tecnológica

Competencia
Usar IA y datos con juicio propio: auditar cada salida automática bajo el enfoque M.I.C.H.
Indicador de ejemplo
% de recomendaciones de IA revisadas con justificación escrita.
Riesgo a vigilar
Depender de la herramienta sin crítica.

Dimensión innovativa-económica

Competencia
Convertir una señal del corpus en un piloto con valor para una organización.
Indicador de ejemplo
Tiempo desde la señal hasta el piloto y mejora medida frente a una línea base.
Riesgo a vigilar
Adoptar tecnología costosa sin beneficio comprobado.

Dimensión ambiental-ética-social

Competencia
Preguntar a quién beneficia y a quién deja afuera una solución, y qué huella deja.
Indicador de ejemplo
Brecha de acceso por grupo antes y después, y privacidad revisada.
Riesgo a vigilar
Brecha digital y costos ambientales ocultos.

Dimensión compleja-adaptativa

Competencia
Coordinar equipos de varias disciplinas y adaptarse al ritmo de cambio del campo.
Indicador de ejemplo
Tiempo para incorporar un método nuevo y problemas resueltos en equipos mixtos.
Riesgo a vigilar
Sobrecarga y respuestas superficiales.

Estas dimensiones orientan la formación y la evaluación cualitativa. Los indicadores son ejemplos para medir en un grupo piloto: no son perfiles laborales validados ni normas de acreditación.

05

LORMAR: estado exploratorio

Índice propio · en etapa de prueba

El Número de LORMAR (IPDF) es un índice creado en el Instituto. Resume en una escala de 0 a 100 cuatro señales del corpus: novedad combinatoria (Nc), aceleración (Mt), intermediación entre temas (Be) y saturación (Sk). Los pesos actuales son 0,35 · 0,30 · 0,25 · 0,10, y la saturación resta.

Hoja de ruta de validación

  1. 1Diseño teórico y fórmula publicadaHecho
  2. 2Cálculo reproducible en la web y en el informeHecho
  3. 3Protocolo de calibración abierto con script de R descargableHecho
  4. 4Calibración histórica con cohortes 2010–2025Pendiente
  5. 5Evaluación fuera de muestra y revisión por paresPendiente

Lo que sí puede hacer

  • • Señalar qué cruces de temas muestran hoy tensión de cambio dentro del corpus analizado.
  • • Mostrar exactamente cuánto aporta cada componente al resultado (es auditable).
  • • Ordenar preguntas para una tutoría, una convocatoria o un comité.

Lo que todavía no puede afirmar

  • • Predecir con certeza qué tema va a crecer: su capacidad predictiva todavía no está comprobada.
  • • Demostrar causas: muestra coincidencias en los datos, no por qué ocurren.
  • • Juzgar la calidad de una persona, un grupo o una revista.
  • • Garantizar originalidad, impacto o publicación de una investigación.

Los pesos son una propuesta teórica, no surgen todavía de una estimación con datos históricos. Para eso existe el protocolo de calibración: cualquiera puede descargarlo, ejecutarlo y comparar sus resultados con los nuestros.

Descargar el protocolo de calibración en el Laboratorio

06

Límites de los resultados

Qué tipo de afirmación estás leyendo

  1. 1

    Observado

    «La muestra tiene 412 obras»: un dato del registro.

  2. 2

    Calculado

    «LORMAR = 63»: una métrica que depende de la búsqueda y la fórmula.

  3. 3

    Interpretado

    «Este cruce podría ser fértil»: una hipótesis que hay que verificar.

  4. 4

    Decidido

    «El comité prioriza esta línea»: una decisión humana con responsables.

Las cifras de los ejemplos son ilustrativas: no provienen de un análisis real.

Cobertura de la fuente
OpenAlex es amplio pero no completo: faltan obras, resúmenes y algunos idiomas o revistas locales.
Depende de la búsqueda
Otra combinación de palabras o de años puede cambiar la muestra y los resultados.
Tamaño de la muestra
Más obras estabilizan las estimaciones, pero no garantizan un KMO alto ni confirman constructos.
Nombres e instituciones
Autores con nombres parecidos o instituciones mal registradas pueden mezclarse o separarse.
Sin margen de error calculado
Los límites de cobertura no son un margen de error estadístico; se declaran para leer con cautela.
Correlación no es causa
Que dos temas aparezcan juntos no prueba que uno provoque al otro.

Antes de usar un resultado, preguntate

  • ¿Anoté la búsqueda exacta, la fecha y el tamaño de la muestra?
  • ¿Contrasté el patrón con literatura, otra base de datos o personas expertas?
  • ¿Distinguí lo observado, lo calculado y lo interpretado?
  • ¿Queda claro quién decide y con qué argumentos?

Referencias

  1. CoARA (2022). Agreement on Reforming Research Assessment. https://coara.eu/agreement/the-agreement-full-text/
  2. DORA (2012). San Francisco Declaration on Research Assessment. https://sfdora.org/read/
  3. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431. https://doi.org/10.1038/520429a
  4. ISO (2021). ISO 56006:2021 Innovation management — Tools and methods for strategic intelligence management — Guidance. https://www.iso.org/standard/72621.html
  5. Priem, J., Piwowar, H., & Orr, R. (2022). OpenAlex: A fully-open index of scholarly works, authors, venues, institutions, and concepts. arXiv:2205.01833. https://doi.org/10.48550/arXiv.2205.01833