Una pareja de Portland afirma con gran escándalo a una televisión local que su dispositivo Amazon Echo grabó una conversación privada entre ellos y envió la grabación a un contacto, que inmediatamente les alertó de la circunstancia, y pretende haber descubierto la supuesta evidencia de que este tipo de dispositivos nos espían y graban nuestras conversaciones de manera habitual.
Las explicaciones de Amazon al respecto son perfectamente razonables, y comprobables por prácticamente cualquiera que lleve un cierto tiempo utilizando dispositivos activados mediante la voz: una palabra en una conversación de fondo que sonaba parecida a «Alexa» provocó la activación de Echo, que escuchó la siguiente conversación como una solicitud de «enviar mensaje». En ese momento, Alexa dijo en voz alta «¿A quién?», y por la razón que sea, la conversación de fondo se interpretó como un nombre en la lista de contactos de los clientes. Alexa preguntó en voz alta: «[nombre de contacto], ¿no?», e interpretó la conversación de fondo como «correcto».
Una cadena de eventos altamente improbable, pero que obviamente, puede suceder, y que resulta aún más creíble cuando el resultado es tan absurdo como el que ha sido. No, el error en la tecnología no prueba que el dispositivo nos espíe… prueba únicamente que la tecnología, como todas, puede tener errores. La compañía tendrá ahora que trabajar en formas de convertir esta posibilidad en aún menos frecuente, pero eso es todo, y montar con ello una teoría de la conspiración resulta, como mínimo, entre arriesgado y extravagante. Como bien decía Guillermo de Occam, la explicación más sencilla suele ser la más probable: pensar en un error o cadena de errores en la interpretación de un comando de voz es mucho más sencillo y razonable que imaginarse una conspiración mundial y una estrategia basada en espiar a millones de ciudadanos de medio mundo, para supuestamente procesar todo lo que dicen, y utilizarlo para vaya usted a sabe qué, imaginando además que nadie va a descubrirlo jamás y no tendrá nunca ningún tipo de consecuencias.
Hablamos de una tecnología relativamente nueva: asistentes que reaccionan a una palabra determinada, o wake-up-word: «Alexa» en el caso de Amazon, «Oye Siri» en el de Apple, «OK Google» en el de Google, «Hey Cortana» en el de Microsoft… Pensar que esta tecnología va a funcionar a la perfección, considerando lo impredecible e impreciso que es el lenguaje humano, es completamente absurdo: ¿cuántas veces tenemos que pedir a nuestro interlocutor en una conversación normal que nos repita lo que ha dicho? Todos, a estas alturas, tenemos anécdotas en las que nuestro asistente de voz se ha despertado sin motivo aparente: a mí me ha pasado ya en público, estando en el escenario en un par de conferencias, que de repente, mi reloj o mi smartphone se pongan a hablar porque han interpretado que he dicho «oye Siri»… últimamente, hasta juego con ello en algunas presentaciones, y eso que hablamos, seguramente, del más torpe y limitado de todos los asistentes de voz disponibles en este momento. Ayer, durante una reunión en mi despacho, Siri se despertó e interpretó como una orden de búsqueda lo último que la otra persona, no yo, había dicho, imagino que porque algo que dije yo la despertó, pero lo siguiente que escuchó fue pronunciado por la otra persona (en efecto, si despiertas a tu Siri, otra persona puede proceder a darle órdenes o hacerle preguntas, aunque no sea tu voz). De nuevo: una tecnología en sus fases iniciales, con sus fallos ocasionales, que dada además la naturaleza de esa tecnología, nunca podrán ser totalmente evitados. La tecnología puede avanzar mucho… pero no hace milagros.
Toda nueva tecnología conlleva problemas, errores, limitaciones y oportunidades para malintencionados. Recientemente se ha descubierto la posibilidad de hackear asistentes de voz mediante comandos enviados en frecuencias inaudibles para el oído humano, pero que son captadas por los potentes micrófonos de los asistentes y pueden ser utilizadas para ejecutar comandos. ¿Invalida esto su propuesta de valor? Obviamente no, lo que hace es obligar a sus desarrolladores a crear protecciones para ese tipo de ataques, posiblemente limitando la validez de los rangos de frecuencias utilizados o mediante el recurso a algún otro tipo de mecanismo. De nuevo: una nueva tecnología siempre está expuesta a problemas de este tipo, probarla conlleva algunos riesgos, y hay cosas que no son evidentes hasta que alguien prueba que son posibles. ¿Es esto un problema preocupante? Podría llegar a serlo. A partir del anuncio de su descubrimiento, los proveedores se dividirán en buenos, malos o regulares en función de la idoneidad y velocidad de su respuesta al problema. Esto es todo.
Quien quiera pensar que este tipo de asistentes son la excusa para que una serie de empresas tecnológicas escuchen todas nuestras conversaciones, las procesen y sepan todo sobre nosotros, ya sabe lo que tiene que hacer: evitar ese tipo de dispositivos, renunciar a sus posibles ventajas, y con el tiempo, posiblemente irse a vivir a una cabaña aislada en lo alto de una montaña, preferentemente evitando la tentación de enviar artefactos explosivos a otros seres humanos. Utilizar esta tecnología no es obligatorio para nadie, y quien lo hace, lo hará por una combinación de curiosidad y propuesta de valor: porque la idea de poder pedir a un asistente de voz que te ponga música, te encienda o apague las luces, te pida un transporte, te compre algo, te diga la predicción del tiempo, te cuente las noticias o mil posibilidades más es algo que le parece atractivo. No imprescindible, sin duda, que son muchos años viviendo sin ello, sino simplemente atractivo. A partir de ahí, están los sentimientos de cada uno, la relación de confianza o desconfianza que tenga con las empresas que fabrican estos dispositivos, la capacidad que tenga para entender la tecnología que tienen detrás o para imaginarse cuestiones más relacionadas con la magia, o la propuesta de valor que sus posibilidades representen lo que haga que una persona se decida o no a utilizar esa tecnología en su smartphone, en su smartwatch o en el salón de su casa. Pero si quieres ser interpretado como mínimamente serio en estas cuestiones, evita la conspiranoia injustificada y piensa más bien en la navaja de Occam.
This post is also available in English in my Medium page, “Voice assistants, espionage and Occam’s razor»
La verdad es que siempre me ha parecido que, ante determinadas acciones, los dispositivos basados en comandos de voz, deberían pedir una especie de «codigo de consentimiento». Una secuencia numérica o una palabra especial e inconfundible en ese contexto, que evite precisamente malos entendidos cuando se trata de enviar un mensaje o realizar una compra por ejemplo.
De hecho creo que utilizar una misma palabra de activación, idéntica para todo el mundo, es un error y es lo que ha permitido las ya famosas activaciones masivas provocadas por anuncios publicitarios.
¿Tan difícil sería poder personalizar la palabra o frase de activación?
En el caso de Echo, ya se puede, aunque aún no da muchas posibilidades. Puedes usar Alexa, Echo, Amazon o Computer…
Lo que está claro es que yo y mucha gente no le podremos poner Alexa a una hija y Echo a un perro a partir de ahora.
Off-topic:
NTSB News Release: Preliminary Report Released for Crash Involving Pedestrian, Uber Technologies, Inc., Test Vehicle
Link correcto:
https://www.ntsb.gov/news/press-releases/Pages/NR20180524.aspx
Sí, un pelín off-topic, pero gracias por la info. A destacar:
– Contrariamente a lo que algunos dijeron y repitieron el coche de Uber no iba por encima del límite de velocidad.
– El lugar donde cruzó la peatona no estaba directamente iluminado.
– Como era de esperar, el lídar detectó a la peatona (y el radar también).
– 1,3 segundos antes del impacto el sistema de autoconducción determinó que era necesario activar el frenado de emergencia… pero las maniobras de frenado estaban desactivadas (¿¿einnn??).
– La peatona fue detectada 6 segundos antes del impacto, pero su identificacion y la predicción de su trayectoria fue variando.
– La peatona dio positivo en metanfetamina y marihuana. Esto, en conjunción con el hecho anterior, sugiere que el comportamiento de la peatona tal vez fue errático en los segundos previos al choque (esta suposición es mía, no de la NTSB).
Aunque está claro que la culpa fue de la peatona, son malas noticias para Uber. A esa velocidad el coche recorrió unos 25 metros sin frenar pese a que el sistema de autoconducción ya había determinado que era necesario activar el frenado de emergencia.
¿Como? La tipa va colocada y por eso es su culpa? La maquina tiene que respetar al peatón vaya como vaya, igual que un conductor humano.
Anda que…
Si un dispositivo tiene que estar alerta 24/7/365 por si se pronuncia su nombre y muy probablemente, la única forma de procesar el ruido que recibe para saber si han pronunciado su nombre es hacerlo en «la nube» hay que suponer que cualquier cosa que digamos en casa va a ser enviada a la nube. Otra cosa es que tal cantidad de información, probablemente confusa y sin sentido se guarda, o simplemente se descarta rápidamente cuando se comprueba que no es el nombre clave.
En mi opinión de forma general se debe descartar pues 24/7/365 horas de información de cientos de miles de viviendas, precisarían tal cantidad de espacio de almacenamiento que no podría pasar desapercibidas del publico/prensa especializada/autoridades y por otra parte el coste de tal operación supera con mucho el valor de lo guardado. Por tanto yo descarto que nadie se proponga grabar TODO lo que se dice en la casa.
Pero otra cosa es que igual que la máquina responde a un determinado nombre, pueda responder a un conjunto de palabras clave, como pueden ser comprar, pedir, invertir, necesitar, etc y que esos trozos de conversación si se grabe y se procese.
También es posible que por un determinado motivo, lo que se hable en una determinado lugar si sea de interés para alguien, supongamos que puede ser de interés para una autoridad/ un detective privado / la competencia, etc … ¿Es muy difícil interceptar el micrófono, legal o ilegalemnte y con complicidad, o no, de la empresa que instala el servicio? — Yo pienso que no debe ser tan difícil
¿Es conspiranoico lo que, no afirmo que se haga, sino que es posible y probable que se puede hacer? — Yo creo que no, al menos se que se ha utilizado la triangulación del móvil para averiguar por donde ha andado una persona, evidentemente Telefónica no guarda individualizada la andanza de todos los teléfonos móviles, pero me consta que lo ha hecho sobre los de algunos. Pues esto es parecido.
Ten en cuenta que hay cosas que se pueden procesar en el propio dispositivo, sin necesidad de enviarlas a la nube. Un simple Raspberry Pi puede tener capacidades de reconocimiento de voz que hace muy poco tiempo nos parecían ciencia-ficción, y vale veintiocho euros…
Donde se procese el ruido no cambia el razonamiento. Si lo hace en casa puede buscar solo una palabra clave, o un conjunto de ellas y puede solo retransmitir una frase respondiendo a una palabra clave, o las 24 horas del día si se lo mandan.
Digo que no soy conspiranoico, pero veo tan fácil poderte espiar si te colocan en casa un micrófono, como si te colocan un smartphone en el bolsillo, ni más ni menos, o es que el teléfono no tiene micrófono y cámara. que se pueden activar a distancia,
Pues eso, que ya llevamos siempre un micro encima: el móvil.
El funcionamiento de Alexa y otros asistentes es como sigue:
– El aparato (móvil, Echo, etc) no envía ningún audio a la nube hasta que detecta una determinada palabra o expresión clave (Alexa, Ok Google, etc).
– Una vez detectada la palabra clave, el audio empieza a enviarse a la nube y es procesado ahí. La IA en la nube determina cuándo ha acabado el diálogo, y se vuelve a la situación inicial, a la espera de que el aparato vuelva a detectar la palabra clave.
Actualmente casi ningún móvil y ningún altavoz inteligente estilo Echo tiene hard especializado en la ejecución de redes neuronales, de ahí que el procesado del audio (salvo la palabra clave) se haga en la nube. En pocos años todos los aparatos sí tendrán ese hard, y el audio será procesado siempre en el aparato correspondiente.
A la nube solo irá lo que tenga que ir, en forma de texto (como cuando tecleas una búsqueda en Google).
A la nube solo irá lo que tenga que ir, en forma de texto (como cuando tecleas una búsqueda en Google).
¿Es dogma de fe o es algo demostrable?- ¿Quien sabe lo que esos aparatos suben a la nube y quién sabe lo que son capaces de subir si se les ordena?.
Volvemos a lo mismo. Los móviles también tienen micro… y cámara (2 en realidad), y gps, etc.
Un Echo solo tiene micro, pero despierta el temor paranoide en mucha gente que lleva muchos años llevando siempre encima su móvil. Es irracional.
¡Cierto!-Los móviles siempre llevan camara y sonido, (y gps) y los utilizan para espiarte, Claro que no masivamente, pero si puntualmente, legal o ilegalmente.
https://confilegal.com/20170812-el-telefono-movil-la-clave-para-resolver-muchos-crimenes/
http://www.lasexta.com/noticias/nacional/salen-a-la-luz-las-conversaciones-privadas-del-rey-juan-carlos-que-confirmarian-su-relacion-con-marta-gaya-nunca-he-sido-tan-feliz_2017031558c927370cf264516cb4881c.html
Pues con Alexa lo mismo,
Vuelvo a repetir que no soy conspiranoico, pero que es dar mas facilidades, y que.los que si suelen ser conspiranoicos son los Gobiernos, (algunos obsesivaente como el Chino, y otros con mas moderación, como el Inglés pero todos lo son), y sobre todo lo son las «policías paralelas» de todos los países y también muchos particulares, como los grandes CEOS y los políticos, que suelen llevar dossieres de un montón de personas. que consideran adversarios o competidores.
Pero sobre todo espían las empresas de marketing, que han pasado de la publicidad estadistica, (tal programa de TV tiene tanta audiencia) , a la contextual. ( busca información de Burgos, voy a decirle que hoteles puede ir) , a la publicidad personalizada. (la novia de Manolo cumple años el martes, voy a indicarle un perfume)..
No veo que se den muchas facilidades adicionales. Lo que llevas siempre encima cuando estás fuera de casa es el móvil, en casa también es frecuente tenerlo cerca, y además en el hogar hay un móvil por cada persona mayor de 10-12 años, e incluso solo con wifi (sin sim) a edades más cortas.
Eso sin contar las smartTVs (que en muchos hogares también hay más de una) con micro y otros aparatos que también lo tienen (portátiles y PCs domésticos de sobremesa, tablets, cámaras de vídeo o incluso de fotos que también graban vídeo, etc.)
Ninguno de estos aparatos despertó jamás una paranoia colectiva. Pero llegan los altavoces inteligentes como el Echo, y a algunos les parece que eso es diferente.
Los fabricantes no van a enviar a la nube el audio que no sea necesario (para preservar la privacidad) pero las agencias de espionaje ciertamente pueden hacer esto con los asistentes de voz como hicieron con los routers:
Latest(*) Snowden leak reveals the NSA intercepted and bugged Cisco routers
* descubierto en 2014 lo que ya se hacía en 2010
No veo que se den muchas facilidades adicionales.
Evidentemente es una cuestióon de apreciación personal, a ti no te lo parece y a mi si. Instalar un micrófono en el salón es lo que han hecho tradicionalmente los espías,-
Gorki:
Antes los espías necesitaban instalar los micros porque no los había en el hogar. Ahora los hay a porrillo, en toda clase de aparatos conectados a Internet.
Sigue siendo posible elegir entre comprar una tele con micro (y reconocimiento de voz) o una sin micro. Tendríais que estar haciendo campaña para no comprar las primeras. «¡Atención! ¡Compra solo teles sin micro!»
En lugar de eso, asistís impasibles a la implantación de las teles con micro, posiblemente incluso vosotros mismos habéis comprado una, al tiempo que proclamáis el grave riesgo de comprar un Echo o un Home.
No es una cuestión de apreciación personal. Es simplemente que te pongas a contar cuántos aparatos con micro y conexión a Internet tienes ya en tu salón. ¿Son ya media docena?
Salvo que hayas hecho una auditoría del sistema de Echo y otros me tomo tu comentario más bien como que así es como suponemos que funcionan porque nos lo han dicho ellos.
Krigan está en lo cierto. Apple ha documentado con bastante detalle en un «paper» de su Machine Learning Journal lo que se procesa en local (el trigger «Hey Siri») y lo que se procesa en la nube:
Hey Siri: An On-device DNN-powered Voice Trigger for Apple’s Personal Assistant
Bueno, grabar y/o retransmitir conversaciones de otras personas sin su conocimiento ni consentimiento, sin orden judicial, es un delito castigado con pena de cárcel. Estás suponiendo que a los directivos de Amazon, Google, Apple, y MS les dio lo mismo la posibilidad de ir a la cárcel.
Ahora bien, si el argumento legal no te convence, resulta que es fácil comprobar si estos cacharros transmiten el audio siempre o solo tras decir la palabra clave, precisamente porque son aparatos conectados a tu red, y puedes ver el volumen de tráfico de la misma en todo momento.
En efecto, hay gente que comprueba estas cosas. He aquí los resultados que obtuvo alguien:
https://www.iot-tests.org/2017/06/careless-whisper-does-amazon-echo-send-data-in-silent-mode/
Resultado: si no dices la palabra clave, no se transmite ningún audio.
Lo de «sin su conocimiento ni consentimiento» lo tienen ya cubierto con la gente que acepta todos los acuerdos de licencia de manera sistematica.
Acerswap:
No en este caso. Ellos públicamente dicen que solo se envía audio a la nube si se detecta la palabra clave. No hay conocimiento ni consentimiento si están mintiendo.
Tu ingenuidad es supertierna (y muy peligrosa si hay muchos que piensen como tú, que los hay)
Todo lo que nos han desvelado Snowden y otras personas tambien era ilegal hacerlo … ¿y has visto que a alguien le detuviera la posibilidad de ir a la carcel?
A mí, como lo de tener a alguien escuchando lo que digo en mi casa las 24 horas no me gusta, seguire el consejo de Enrique y no tendré un aparato de éstos. Y esto yo que soy un mindundi sin interes, si fuera alguna persona mínimamente importante como un famoso, un empresario o un político para qué contarte … lo que daran los que guardan durante años videos tuyos visitando, por ejemplo, la trastienda del Eroski por tener acceso a esto.
¿Ingenuidad? ¿Yo? Esta sí que es buena.
Las agencias de espionaje están por encima de la ley, como demostró precisamente el caso Snowden, que nadie fue a la cárcel, y ni se abrió una investigación siquiera.
El único perseguido fue el propio Snowden, con mucha saña además, que hasta detuvieron un avión presidencial por la simple sospecha de que Snowden pudiera viajar en él. Ni con un asesino en serie se habrían tomado esas molestias.
Por lo demás yo lo único que hago es describir el comportamiento de estos aparatos, y lo describo correctamente, como puede comprobar cualquiera que tenga uno y examine el volumen del tráfico en su router wifi.
No sé yo si Enrique aconsejó tal cosa, pero desde luego eres libre de no comprar uno. Ahora bien, digo yo que también dejarás de tener móvil, ¿no?
También tienen micro, el espionaje a través de los móviles particulares aparecía reflejado en los papeles de Snowden, y en los últimos años incluso tienen asistente por voz, con el micro activado y siempre escuchando a ver si dices «Ok, Google» o «Hey, Siri».
Lo que encuentro más fascinante es que mencioné los móviles desde mi primer mensaje. Ceguera selectiva lo llaman.
Si yo fuera a espiarte usando tu teléfono, no haría al teléfono enviar los datos justo cuando se recogen, sino cuando haya otro envío de datos «legal» y solicitado por ti. Luego lo de mirar el volumen de tráfico no demuestra nada. Puedo esconder un archivo en tu sistema y enviarlo cuando detecte que tu solicitas tráfico «legal».
Y aún podrías responderme que si al enviar un «guasap» ves por ejemplo, 4 Mb de transferencia seguro que te mosquearías. Podría contestar que recuerdes que yo soy Amazon, Google, Apple o MS, y que he diseñado el SO de tu teléfono. Puedo afinar eso tanto como me ayude a ocultarlo. Podría ocultar 1 KB de mis datos entre 10 de los tuyos. Mi archivo no lo verías y el sistema te daría información falsa de tu espacio de almacenamiento libre para que no veas que lo uso.
Esto es algo que se me ocurre en esta discusión sobre la paranoia. Imagina cuanto podrían afinar ellos realmente si pretenden espiarnos.
Ser paranoico en extremo no es bueno, pero un grado de duda no sólo es bueno cuando las cosas no son transparentes, sino que es aconsejable y parte de la naturaleza humana como instinto de protección.
Jose Miguel:
Incluso en un móvil tu método plantearía ciertos problemas, pero a fin de cuentas es cierto que enviamos cosas con cierta frecuencia con el móvil.
Pero, ¿en un Echo? Imagina que el cacharro ha grabado 2 horas de conversación (por ejemplo, que he estado viendo una peli). Después le pido a Alexa cualquier cosa. Por ejemplo, que apague las luces. Eso son tal vez 4 segundos de mi voz. Si el Echo, en esos 4 segundos, transmitiese no solo mi petición sino también las 2 horas previas de conversación, claro que se iba a notar en el tráfico.
Permite que te corrija. De las 24/7/365 horas, ¿cuantas horas estás en casa? Y de esas horas ¿cuanto tiempo hay alguien hablando? Supongo que no hay nadie hablando las 24 horas del dia, es necesario dormir, y cuando estás leyendo, por ejemplo, no es habitual que hables.
¿Cuanto espacio de almacenamiento se gastaría? ¿El equivalente a dos horas? ¿Y si tenemos en cuenta que un microfono de estos solo actua en mono y no en estereo? ¿Y la compresion? El volumen de datos es infinitamente menor de lo que aventuras.
A mi el caso éste de la pareja de Portland me parece simplemente un cúmulo de casualidades desafortunadas. Si Amazon, Google o quien sea quiere espiarnos no nos contesta el dispositivo dejando claro que nos está escuchando sin haber pronunciado la palabra clave. Además si te compras un Echo me parece de tontos suponer que no lo haga. Es que esta cosa se activa por voz, luego está a la escucha. Otra cosa es que lo que oiga se guarde o se procese de alguna manera que no sea para identificar la palabra «Alexa».
Por ello es importante que mejoren el análisis de voz, porque mi android también me salta cada dos por tres en mitad de conversaciones o simplemente con el ruido de la tele.
Con respecto al tema de lo paranoicos, entiendo que lo seamos un poco habida cuenta los antecedentes de éstas compañías (caso Facebook sin ir más lejos y la comparecencia insultante del pelirrojo en Bruselas). Esta gente no es lo yo que llamo gente de fiar.
Lo del GDPR está muy bien, pero éstas compañías, que son precisamente a las que se quiere controlar se lo van a pasar por el forro, salvo que la ley imponga auditorías de sus sistemas de entrada de datos y procesamiento. Total, que a quien van a joder es a la pequeña empresa que no vende ni se beneficia de los datos de los usarios.
Ser un poco paranoico con las cosas que no son transparentes es lo más normal del mundo.
En mi android, tengo definido como «casa», el domicilio de mis padres…
Sabado 26/5 entre mi mujer y yo:
Ella – Que haremos hoy?
Yo – Deberiamos ir a casa de mis padres un ratito
Automaticamete en la pantalla del movil:
«16 minutos para ir a «casa». Trafico fluido»
Casualidad? Al verlo le enseño el movil a mi mujer y le hago «silencio» con el dedo en las boca. Esperamos 3 minutos callados y repetimos la conversacion…
De nuevo, la misma etiqueta en notificaciones…
Conspiranoico?
ps.- Yo no uso asistentes.
Todos sabemos que el «progreso» es siempre bueno . No implica riesgos ni cambios contraproducentes . Aquellos que duden de esto son unabombers en potencia a los que habría que poner a buen recaudo . Por supuesto los espionajes sistemáticos de la NSA y los escándalos de manipulación de votantes mediatante el big data y la IA son pura fantasía . En todo caso son pequeños riesgos que las enormes ventajas de la conectividad compensa y que nuestro sistema de mercado solucionará .
Hmmmm, la interpretación «conspiranoica» quizá no sea la más adecuada, «pero que la brujas existen no me cabe duda». De los «errores», aunque estos sean involuntarios se saca provecho. En los últimos tiempos hemos presenciado una cadena de «errores» que terminaron en actividades no tan «santas». Además, categorizar algo como un «error» no descarta su uso posterior en un sentido no «deseado». La mayoría de las «vulnerabilidades» descubiertas no son más que «errores», pero sus consecuencias son ciertas y dolorosas.