Isabel Rubio, de El País, me envió algunas preguntas por correo electrónico para documentar su artículo titulado «¿Es tan fácil copiar en un examen virtual? Esta herramienta vigila a los alumnos» (pdf), en el que trata el uso de herramientas de online proctoring como Smowl para hacer exámenes, que se han popularizado mucho debido a las restricciones del período de confinamiento derivado de la pandemia. Isabel también me pidió que la pusiese en contacto con algún alumno que hubiese participado en el examen (gracias, Pilar! :-) y que pudiera aportar su opinión.
Anteriormente, compartí mi experiencia utilizando Smowl en un artículo titulado «Experimentando con herramientas educativas: exámenes a través de la red«, posteriormente lo he utilizado con otro grupo de estudiantes – en esta ocasión, más jóvenes, en un electivo del BBA de IE University – y de nuevo, con muy buenos resultados.
Desde que escribí aquel artículo, he podido ver movimientos de protesta en Twitter utilizando el hashtag #NoSmowl que, desde mi punto de vista, tienen muy poco sentido. Protestar contra algo es muy sencillo, otra cosa es que los argumentos tengan realmente sentido. Existen numerosas herramientas de proctoring online, y Smowl es, desde mi punto de vista, una de las que mejor gestiona el balance entre el necesario nivel de control que es preciso ejercer sobre la actividad del alumno y el respeto a su privacidad. Como profesor, no veo ni escucho a mis alumnos mientras hacen el examen, y solo cuando la herramienta detecta algún comportamiento sospechoso (una conversación, otra persona, etc.), es cuando puedo entrar en la consola y, eventualmente, tomar una decisión sobre ella.
Es importante entender que la herramienta no graba todo lo que hace el alumno, sino solo cuando se produce lo que sus algoritmos detectan como un comportamiento sospechoso. Podríamos discutir – y sería seguramente muy interesante – si los exámenes son un método adecuado para evaluar el aprendizaje, si conviene seguir utilizándolos cuando trasladamos la experiencia a la red, o si deberían ser sustituidos por modelos basados en proyectos o en trabajos de otro tipo, pero mientras los exámenes sigan estando ahi, Smowl me parece una herramienta muy adecuada para llevarlos a cabo – y no tengo nada que ver con la compañía más allá de ser usuario de sus productos.
De hecho, he tenido anécdotas de todo tipo con Smowl, y en ningún caso he sentido que invadiese la privacidad de mis alumnos ni que fuese especialmente intrusiva, o no más que lo que supone hacer un examen en un aula. El alumno que hizo su examen desde el baño para evitar que el software detectase eventuales gritos de su hija de dos años podría perfectamente haberse evitado la incomodidad, porque el software no interrumpe el examen ni toma ninguna decisión, simplemente habría grabado ese momento y me lo habría presentado para su inspección. La alumna cuyo padre entró en la habitación en la que estaba haciendo el examen para avisarla de que salía de casa y que rápidamente me envió un mensaje para avisarme podía, también estar tranquila: mientras su padre no hubiese empezado a hablar con ella sobre el examen, cosa muy poco probable, no habría pasado nada.
Hay otras herramientas, y algunas de ellas me han parecido sensiblemente más intrusivas. Como todo, es una cuestión de balance, y hay que tenerlo en cuenta cuando se escogen este tipo de herramientas.
A continuación, las preguntas que intercambié con Isabel:
P. ¿Por qué decidisteis empezar a usar Smowl? ¿Habíais utilizado antes algún sistema similar?
R. Smowl fue la herramienta de proctoring que escogimos después de un amplio estudio de alternativas, fundamentalmente porque nos pareció que tenía un balance razonable entre el nivel de control que ofrece y la sensación distópica o de vigilancia que provoca en el alumno. Anteriormente no habíamos tenido la necesidad de utilizar ese tipo de herramientas: en la gran mayoría de nuestros cursos en formato híbrido o blended se evaluaba a los alumnos mediante otro tipo de mecanismos distintos del examen (un mix de trabajos individuales, en grupo, participación en clase, etc.) o bien se situaban los exámenes en las sesiones presenciales.
P. ¿Para qué lo habéis probado exactamente y cómo ha sido la experiencia?
R. En mi caso, y dado que tenía en mi programa un examen en la última sesión del curso, lo utilicé para poder seguir ofreciendo a los alumnos un programa idéntico al que habíamos pactado al principio del curso, y así generar una impresión de normalidad, de que las cosas seguían funcionando perfectamente a pesar de las circunstancias. Mi examen, generalmente, es un caso corto con un par de preguntas muy conceptuales – sin una respuesta directa como tal, sino con posibilidades, teorías, etc. – que los alumnos deben responder en su laptop, con la posibilidad de consultar básicamente lo que quieran en la red o fuera de ella – excepto, lógicamente, ayuda de otras personas. Cuando se hace en clase, no tengo ningún problema con ese formato de examen, y es más, muchos alumnos consideran que ese formato de examen es una buena manera de aprovechar un examen para introducir elementos formativos, para aprender durante el examen. A veces me llevo incluso un invitado de la compañía de la que habla el examen, para que los alumnos puedan hacerle preguntas y elaborar sus respuestas con más elementos.
Al llevarlo a online con Smowl, la experiencia fue muy similar. Lo fundamental fue quitar el miedo a la herramienta: Smowl nunca te va a suspender, ni va a cerrar tu examen si cree que estás copiando o algo así. Smowl genera un informe con las incidencias, y el profesor puede evaluar por sí mismo si había alguien ayudándote, o era simplemente un bebé chillando, tu gato maullando o una llamada de teléfono. Si tu padre entra en la habitación para despedirse porque se va a trabajar, yo como profesor puedo escuchar lo que te dijo, deducir que no era un intento de copiar nada, y pasar por alto esa incidencia. Aún así, tuve anécdotas curiosas, como un alumno que, preocupado porque Smowl identificase ruidos como incidencias y teniendo a su hija de dos años en casa, decidió encerrarse en el baño para hacer el examen… algo obviamente innecesario! Después me envió una foto, y le comenté que no había hecho ninguna falta que hiciese el examen en una situación tan incómoda. La comunicación con los alumnos es fundamental.
P. ¿Cuáles son las principales diferencias que habéis encontrado entre hacerlo con Smowl y hacerlo de forma presencial?
R. La diferencia fundamental es que en un examen presencial, los alumnos satisfacen sus dudas e inquietudes simplemente levantando la mano y preguntando, y por tanto en online tienes que procurar darles un canal para que hagan esas preguntas de manera muy fluida y directa, algo que te permita darles una respuesta muy rápida, porque si les estás controlando el tiempo, no puedes esperar que estén satisfechos si parte de ese tiempo no pueden trabajar porque les ha surgido una duda. Yo permití que los alumnos me hiciesen preguntas por correo electrónico, por Telegram, por SMS y hasta por teléfono, y hubo momentos que para mí fueron un poco complicados atendiendo a tantos canales a la vez, pero creo que en general el resultado fue bueno.
P. ¿Qué ventajas le veis al sistema?
R. La ventaja es que puedes mantener la dinámica de un examen con una normalidad prácticamente total, y el alumno no experimenta una sensación de excesiva vigilancia, simplemente sabe que la cámara está encendida y que hay cosas que no debe hacer – pero que si las hace, el profesor aún podrá evaluar si constituyen o no una violación de las reglas. En ese sentido, creo que el balance está bien conseguido. No me gustaría, como ocurre con otras herramientas similares, tener la sensación de que me estoy «entrometiendo» en las casas de mis alumnos…
P. ¿Y desventajas o alguna limitación?
R. Todo tiene limitaciones, y criticar una herramienta es muy fácil, pero la actitud en este tipo de situaciones debería ser tratar de hacer las cosas lo mejor posible con las herramientas que tienes. Supongo que si un alumno quisiera protestar porque considera la herramienta una violación de su privacidad, podría hacerlo, pero la realidad es que ese caso aún no se nos ha dado, y creo que en gran medida es por ese balance razonable de la vigilancia de lo que están haciendo durante el examen.
P. ¿Lo veis más como una solución temporal durante la pandemia o como una alternativa a largo plazo?
R. Es una solución adecuada durante la pandemia, pero también para que un alumno, por ejemplo, pueda hacer un examen en remoto si está enfermo, si se ha tenido que quedar en su casa por la razón que sea, si ha tenido que irse de viaje, etc., circunstancias que ya teníamos de manera relativamente habitual, pero que ahora, en la fase de la post-pandemia, tendremos más a menudo. Antes, si un alumno se pillaba un simple catarro y se perdía un examen, teníamos un problema. Ahora le podemos ofrecer una alternativa razonable y con un nivel de control satisfactorio.
P. Si algún alumno se niega a utilizar Smowl, ¿le dais otra opción? ¿Cuál?
R. No nos ha ocurrido, pero imagino que correspondería al profesor tomar la decisión y buscar una alternativa que no fuese vista como injusta para con el resto de sus compañeros.
Yo solo he hecho un par de exámenes desde casa con mi portátil y una herramienta de proctoring y fue para sacarme una certificación que necesitaba de emergencia para un puesto de trabajo de un cliente hace unos meses.
Según parece, la herramienta grabó por completo con la cámara durante ambos exámenes (de tipo test) y luego envió la grabación para revisión, pero no me resultó nada invasiva ni me produjo ninguna distracción. Al cabo de un par de minutos de comenzar cada examen yo «entré en flujo» y me olvidé por completo de la monitorización.
Lo que sí me pareció fabuloso fue la posibilidad de elegir yo mismo el día y hora, sin ningún aviso previo, para hacer los tests de las certificaciones, desde la comodidad de mi casa, sin necesidad de tener que ir a un centro de certificaciones de forma presencial. Es decir, pagas el examen y tienes un plazo de varias semanas para hacerlo, cuando te sientas confiado (o cuando te cansas de repasar y te lo quieres quitar ya de encima…). El inconveniente para los examinadores con estos exámenes tipo test es que si tienes buena memoria puedes recordar las preguntas y contribuir a generar los famosos «dumps», con todo un negocio alrededor de ellos…claro que lo mismo ocurre si los tests son presenciales.
Reconozco que no hay una asignatura que no haya aprobado, en la que no tuviera una «chuleta» en el bolsillo, para mi el confeccionar la chuleta, era la mejor forma de aprender, de fijarte en el grano y separarlo de la paja y estructurar un discurso.
Muchas veces el hecho de confeccionar una chuleta, era suficiente para dominar el tema, pero el llevarla al examen me daba seguridad en mismo.
El método de evaluar por exámenes, a mi me parece decimonónico, pero es el que impera, Yo podía poner nota a todo mi equipo de programación sin necesidad de ponerlos una prueba, algo así debería poder hacer un profesor.
Se que es difícil y con riesgo de ser poco objetivo, pero hay mucha gente que en el examen se estresa y rinden menos de lo esperado. ¿Es justo, ponerle la nota a una persona en ese estado?
Jamas he tenido un profesor que me pusiera una pregunta de tipo abierto, para que elucubre sobre ella. Quizá por que corregir ese tipo de problemas es imposible cundo un profesor tiene 300 alumnos.
Mis pregutas eran del tipo resuelve este problema , o Contesta al tema Reino visigodo de Toledo
Lo mejor eran los exámenes de «»llévate todos los apuntes que quieras y la calculadora de la Nasa también», que luego eran los más difíciles de todos. Supongo que el equivalente ahora sería «Google todo lo que quieras que lo mismo te va a dar».
Yo a esos no llegué. Soy de la generación del «Calendario Juliano», No nos dejaban llevar calculadora a los exámenes. había que hacerlos con regla de cálculo
Así es, era (supongo que siguen siendo) los más «difíciles», sobre todo porque tienes que desarrollar una idea, exponer una solución en base a las herramientas que durante la formación hayas ido adquiriendo, y esto en medio de una «infoxicación» no sería de mucha ayuda.
Hace poco, cuando me tocaban mis clases virtuales siempre me hacía preguntas, ¿Cómo hará el profesor para comprobar que el estudiante no sé copio en el examen virtual? ¿Qué hará al respecto de las copias? ¿Cómo manejara esto? ¿Qué recursos utilizará? ¿Habrá recursos? En unos años atrás, no mucho, internet comenzaba a filtrar mucha información, en Google y páginas como por ejemplo: «Wikipedia» por no ir tan lejos, siempre había atajos, me acuerdo que antes que comenzará este confinamiento, encontraba trabajos de los profesores (en esta época) en algunas páginas, profesor de esos que les vale madre enseñar miran lo primero que ven, creen que son listos por dejarte un PDF de 20 Hojas, talleres que dan miedo, pero a la final todo es un lleva y trae de páginas con la misma información. Internet es la SALVACIÓN de muchos exámenes. SPAM: ¡Profe Julio SOS ÍDOLO!, mátame esa. «Te sentías como si tuvieras La Deepweb Modo Estudiante encendida». Sí, lo encuentras todo. Ahora que comenzó este parón, los profesores que aún les da un poco duro la tecnología tal vez no sobrevivan por mucho a menos que cambien su entorno y evolucionen más a los problemas, recursos y el tipo de herramienta que tienen a su favor para dar más que una clase, dejar una tarea, calificar… Hacerlo con amor, que se note. Se ha visto en algunos casos estudiantes «saboteando al profesor», por el otro lado están los profesores modernos, los que hacen sus clases sin inconvenientes, que de hecho, yo que no se nada sobre la Maestría, este blog me viene muy bien ya que me enseña un poco sobre los recursos, ideas, dinámicas y muchas cosas más para jugar de una forma más flexible con los estudiantes, haciendo clases interesantes, este blog una joyita, esos profesores así +10.
Por otro lado me puse en la tarea de formularme las preguntas y hacer la idea que yo soy el Profesor no muy moderno, pero que ha aprendido un poco sobre el tema, el que en su tiempo de estudiante «Encontraba todo en Wikipedia» el que se sabía miles de trucos maestro para aprobar de forma virtual, y demás, alguien ágil en la recopilación de documentos o tareas, ¿Ahora como profesor? que los estudiantes cada vez evolucionan más y buscan la filtración de tareas y talleres en recopilación de información disponible 24/7 solo a un click. ¿Qué haría al respecto si tuviera estudiantes a cargo con ese potencial? ¿Con esos que llevan años luz?
(estoy hablando como si tratará con estudiantes de Colegio, no universidades esas habilidades de crack, dotes de Dans aún no, algo bajo, sencillo, Profesor de Escuela Publica), ¿Cómo haría si no contará con recursos suficientes aún? ¿Cómo si no conociera de programas y tuviera que utilizar un poco de mi imaginación al 6to día? Después hice una teoría algo primitiva, para jugar un poco y crear más, exponer ideas nuevas, solo con el uso de imaginación.
1) Tengo 60 años, Soy profesor en «Filosofía», la tecnología me da del ¡c#ñ?!
Manejo un grupo de 35 estudiantes, la mayoría siendo 12 el menor rango de edad y 17 mayor rango de edad. Será mi primer examen virtual, ya van 6 días de la Cuarentena en mi país, y aún siguen las estás modalidades virtuales. Entonces les digo a mis estudiantes que les enviaré un PDF al foro Estudiantil, solo deberán abrir el documento sacar una hoja de bloc y ESCRIBIR las respuestas, solamente son 10 preguntas sencillas, tipo ABC, respuesta libre y teóricas. El único requisito es: Una cámara enfocando a una distancia de 15 centímetros alejado del teclado y solo enfocado en la hoja y pantalla (pregunta de libre respuesta), con una duración de 1HR, algo breve.
luego… Les digo que comiencen el examen pero antes; recuerden chicos cada cierto tiempo pondré un pitido corto, mostrando en mi cámara un breve código de verificación, serán más de 6 códigos en menos de 30mnts minutos, por ejemplo, algunos codigos: «F5F5CÑAÑ» «F6HÑPÑ» «HAÑRÑ» «JKÑOÑ» «JÑBAÑ «10KÑDOÑ» etcétera. – Sigo: Pueden comenzar, les recuerdo que si tienen dudas aquí estaré, no está permitido apagar la cámara ni el sonido. Las personas que completen los 6 Códigos de forma correcta se ganarán un puntaje extra del 30% servirá como comodín.(Solamente deberán copiar, mientras suene el pitido, eligiré alazar algún sospechoso o personas en grupos que me digan al mismo tiempo el código, y haré que me mencioné lo más rápido que pueda el código y continúe el examen, máximo durará el código en la pantalla 50sg, no faltará el que le tome captura pantalla jaja)
Con esto busco un poco más de Atención, falsos videos editados,que sea un poco más competitiva de forma sana el examen, y un poco más de control de estudiantes.
Dirán de pronto que habrá contras como: retraso de examen pero no, ya que copiar y decir durará al menos como máximo : 1minuto que equivale a ganancia : 30% de nota alta.
«Chicos recuerden que deben copiar los códigos y luego decirlos, ya que a lo último tendrá un mensaje»
Tú qué me lees, sí deseas saber el mensaje está entre las «Ñ×Ñ» (arriba) :).
Pero claro Enrique me lleva cien años luz con ese Smowl. Mi forma primitiva tal vez ayude en unos días, rentable a corto plazo o no. Todo surgió mientras leía esto.
Sin más, esta entrada está
«Aprobada», gracias por tu iluminación Enrique, y a ti lector por leer casi 4890 letras.
SALU2.
Siempre me admira la capacidad creativa de los argentinos (lo digo por el sos) para chamuyar
No en la acepción de » la conversación que le hace un hombre a una mujer para llevarla a la cama» si no en la de » conversación insustancial que hacen las personas para llenar huecos de silencio».
Y digo yo que si en la red está potencialmente toda la información que se necesita para cualquier cosa, incluidas las mejores clases sobre cualquier materia, ¿no se reducirá finalmente el asunto a formarse en el criterio de buscar información, analizarla, asociarla, modificarla, interpretarla, comprenderla, etc.?.
Y si encima las evaluaciones y examenes se pueden hacer online y puede que hasta las corrija una IA, ni te cuento.
Predigo que van a emerger universidades online mas sofisticadas,(y obviamente tasas mucho mas baratas), que van a formar gente a la que van a valorar de verdad las empresas, nada que ver con cursos CCC que en la practica nadie valora.
Por que al final lo que se va a valorar es el conocimiento y la habilidad para gestionarlo , no el titulo.
La empresa te dirá: demuéstrame lo que sabes hacer, no donde lo has aprendido ni como lo has aprendido.
Salvo para 20 cosas que legalmente es imprescindible el título, Oposiciones, ejercer medicina, defender pleitos, firmar determinados proyectos técnicos,…. ninguna empresa te pregunta que títulos tienes, lo mas que te pregunta es si eres titulado, sino que sabes hacer. Ejemplo. EDans un titulado en Biología, que enseña Tecnología, Si fuera Aparejador
sería totalmente igual.
Tengo una titulación oficial, nunca saqué el diploma, que lo acredita, ni en ninguna de las múltiples empresas que he trabajado, me han pedido que lo demostrara.,
En todas me han preguntado cosas como, ¿Qué sabes de tal asunto?. Y siempre ese asunto no entró en mi formación de Parvulario a la Universidad, (Vender, Logística, Informática, Consultoría, direccion de trabajo en equipo, conocer la gestión de Empresas, Banca, Seguros, Operadoras, Fabricación en serie,…)
La enseñanza, ( del Bachillerato a la Universidad), vive de espaldas al mundo del Trabajo, por eso, todos tenemos que hacer después o un oficio o un Master para saber de que va la vaina.
Me hace mucha gracia esa manía de algunos seres humanos de quejarse porque un programa les graba masturbándose mientras al mismo tiempo hacen un examen virtual… ya solo faltan los abogados especialistas en montar denuncias por acoso «en pleno examen».
Y desde luego que los exámenes, como las oposiciones son un muy mal método para seleccionar personal, pero por lo de ahora ni el Jobs ni el Musk consiguieron descubrir uno mejor. Más justo. Al menos en situación social democrática.
Quizás con algoritmos más perfeccionados, se consiga superar la adicción del ser humano a corromperse, en situaciones de seleccionar personal.
¿Realmente valdrá la pena vigilar a los estudiantes par que no copien información que posiblemente venga de una fuente que en un par de años va a cambiar?, o despejar el cálculo de una fórmula que la computadora hace en segundos, creo que valdría la pena replantearse la utilidad de ese tipo de pruebas y por qué no el estudiante puede tener información externa, que si en la vida real tienes todo eso disponible y más.