Durante muchos años, cuando he querido explicar cómo se hace algo en un ordenador, la solución más directa ha sido grabar la pantalla.
Y funciona.
Si quiero enseñar cómo se configura un programa, cómo se desarrolla una aplicación, cómo se resuelve un ejercicio o cómo se lleva a cabo un determinado procedimiento, puedo grabar el escritorio mientras lo hago y posteriormente esa grabación sirve como referencia.
Pero conforme he ido trabajando con este tipo de materiales me he encontrado con una cuestión que inicialmente no parece demasiado importante.
El vídeo nos enseña lo que ocurrió en pantalla.
Pero no necesariamente nos dice, de una forma estructurada, qué estaba haciendo realmente la persona que utilizaba el ordenador.
Podemos ver que el cursor se mueve.
Podemos ver que hace clic.
Podemos ver que escribe.
Pero si posteriormente queremos analizar esa sesión, necesitamos reconstruir toda esa información mirando el vídeo.
Y esto empieza a ser especialmente relevante cuando dejamos de pensar en una única grabación y empezamos a pensar en decenas, cientos o miles.
En docencia, por ejemplo, podemos grabar una explicación y utilizarla posteriormente como tutorial.
Perfecto.
Pero quizás también nos interesa saber en qué momento exacto se hizo clic en una determinada zona, cuándo se escribió un texto, cómo fue evolucionando una tarea o cuánto tiempo se dedicó a una determinada parte del proceso.
En desarrollo ocurre algo parecido.
Cuando estamos depurando una aplicación podemos tener una sesión en la que abrimos varios archivos, ejecutamos código, hacemos modificaciones, probamos de nuevo y finalmente encontramos el problema.
El vídeo conserva todo eso.
Pero si luego queremos estudiar el proceso con detalle, o utilizarlo como material para construir otro sistema, necesitamos algo más que imágenes en movimiento.
Esta cuestión se ha vuelto especialmente interesante con la inteligencia artificial.
Si queremos enseñar a un sistema cómo trabaja una persona con una interfaz gráfica, necesitamos ejemplos.
Y esos ejemplos tienen bastante más valor cuando conocemos con precisión qué estaba ocurriendo.
Dónde estaba el ratón.
Cuándo se hizo clic.
Qué tecla se pulsó.
En qué momento ocurrió cada acción.
El vídeo nos da el contexto visual, pero los datos de interacción nos dan una estructura sobre la que posteriormente podemos trabajar.
Y aquí aparece una diferencia bastante importante.
Una grabación de pantalla está pensada fundamentalmente para que la vea una persona.
Una grabación acompañada de datos estructurados puede servir también para procesamiento automático.
Podemos analizarla.
Podemos sincronizar acciones con momentos concretos del vídeo.
Podemos construir datasets.
Podemos estudiar patrones de interacción.
Podemos utilizarla como base para sistemas que tengan que aprender cómo una persona realiza una determinada tarea en un ordenador.
Hace un tiempo empecé a trabajar precisamente sobre esta idea y de ahí salió jocarsa | captura.
La aplicación permite seleccionar una zona de pantalla y grabar la actividad que ocurre en ella, generando un vídeo MP4.
Al mismo tiempo registra información sobre la interacción del usuario, como movimientos del ratón, clics y entradas de teclado, asociando esas acciones temporalmente con la grabación.
El resultado es, por una parte, el vídeo que podemos reproducir normalmente y, por otra, información estructurada en archivos CSV que podemos procesar posteriormente.
Esto tiene utilidad evidente para preparar tutoriales.
Si estoy documentando un procedimiento, puedo conservar exactamente la sesión en la que lo he realizado.
También resulta útil para desarrollo, especialmente cuando quiero registrar una secuencia de trabajo completa y revisarla posteriormente.
Pero probablemente la parte que más me interesa personalmente es la posibilidad de crear conjuntos de datos.
Durante estos últimos años estamos viendo modelos de inteligencia artificial capaces de trabajar cada vez mejor con interfaces gráficas.
Para desarrollar sistemas de ese tipo hacen falta datos acerca de cómo utilizamos realmente los programas.
Y generar esos datos manualmente puede ser una tarea enorme.
Si mientras una persona trabaja de forma normal podemos registrar simultáneamente el contexto visual y las acciones realizadas, estamos construyendo una fuente de información bastante interesante.
Además, podemos decidir qué parte de la pantalla queremos grabar.
Esto es útil cuando trabajamos con varias ventanas o cuando únicamente nos interesa una región concreta del escritorio.
La grabación también se puede iniciar, pausar y detener en función de la sesión que estemos realizando.
En mi caso, por ejemplo, una de las aplicaciones más evidentes está en las clases.
Cuando desarrollo software delante de los alumnos, gran parte del valor de la sesión está precisamente en el proceso.
No solamente en el código final.
Está en las decisiones, en los errores, en las correcciones y en la secuencia en la que se van realizando las acciones.
Poder conservar esa actividad permite reutilizar posteriormente una clase como material docente, pero también abre la puerta a analizar cómo se ha desarrollado exactamente la sesión.
Y esto mismo se puede aplicar a muchos otros trabajos realizados delante de un ordenador.
Porque cada día hacemos una cantidad enorme de acciones que desaparecen en cuanto las hemos realizado.
Abrimos una ventana.
Escribimos.
Hacemos clic.
Cambiamos algo.
Volvemos atrás.
Probamos otra cosa.
Normalmente no necesitamos conservar esa información.
Pero hay situaciones en las que sí puede tener bastante valor.
Si trabajáis creando tutoriales, documentando procesos, desarrollando software o generando datos para proyectos de inteligencia artificial, quizás os interese echar un vistazo a jocarsa | captura.
Porque cuando necesitamos estudiar cómo se ha realizado una tarea, poder reproducir la pantalla ayuda bastante.
Y poder saber además exactamente qué acciones se realizaron en cada momento nos da muchas más posibilidades.