Algunos bancos norteamericanos afirman estar teniendo problemas con sus algoritmos de machine learning para funciones con trascendencia de cara al cliente, tales como los que se encargan de tomar decisiones de riesgo en la concesión de créditos: a medida que la complejidad de los modelos empleados aumenta, la interpretabilidad de esos modelos disminuye.
El resultado es que los bancos se encuentran con modelos muy eficientes, que posiblemente mejoran de manera tangible los ratios previos de morosidad o los porcentajes de créditos impagados, pero que son básicamente una caja negra, un modelo de difícil explicación susceptible de generar problemas de diversa naturaleza. Como comenta en el artículo Hari Gopalkrishnan, directivo de tecnología en Bank of America,
«en el negocio bancario no nos gusta la falta de transparencia y de las cajas negras, donde la respuesta es simplemente ‘sí’ o ‘no’. Necesitamos entender cómo se toma la decisión, para poder respaldarla y demostrar que no estamos desfavoreciendo a nadie.»
Este problema, que habíamos comentado en una entrada de hace algo más de un año que escribí a partir de una serie de conversaciones con mis amigos de BigML, compañía en la que colaboro como asesor estratégico, es algo con lo que es muy posible que muchas compañías se encuentren a medida que progresan en sus desarrollos de machine learning. Existe una cierta tendencia a avanzar tratando de utilizar los modelos más sofisticados a nuestro alcance, sin tener en cuenta que a medida que se incrementa la complejidad de los modelos y la cantidad de datos utilizados, tiende a incrementarse también la dificultad para su interpretación.
En fases iniciales o en el prototipado rápido de proyectos de machine learning, en los que se busca obtener una representación del problema razonablemente buena aunque no esté completa ni perfectamente ajustada, se tiende a recurrir a modelos como la regresión logística o los árboles de decisión, que ofrecen una interpretabilidad razonable con una complejidad escasa y con períodos de entrenamiento no excesivamente largos. A medida que avanzamos hacia las fases intermedias del proyecto, en las que buscamos ya aplicaciones con resultados más optimizados y probados, se suele evolucionar hacia modelos más complejos y con mejor representación como los basados en decision forests, que cuando vamos alcanzando las fases finales en las que las prestaciones del algoritmo ya resultan críticas, pueden evolucionar hacia metodologías como los boosted trees y las deepnets o deep learning. El atractivo de esa progresión resulta evidente dado que tiende a mejorar la representación, el ajuste y la performance del modelo, pero la contrapartida también es evidente: esas ganancias tienen lugar a costa de mayores tiempos de entrenamiento y, sobre todo, de una interpretabilidad cada vez menor. Cuando el modelo ya alcanza un cierto grado de complejidad, las posibilidades de poder correlacionar un resultado con sus variables de entrada se reducen sensiblemente, la interpretación de la causalidad se hace más difícil, y poder demostrar que esa decisión no se ha tomado en función de un criterio potencialmente discriminatorio se vuelve una fuente de posibles problemas que, dada la legislación existente expresada en leyes como la Equal Credit Opportunity Act, que impiden la discriminación basada en variables como raza, religión, origen, sexo, estado civil o edad, pueden llegar a generar responsabilidades legales.
El valor del machine learning no está en plantear modelos cada vez más complejos, sino en hacerlo más fácil de usar. Los negocios son procesos complejos, aunque llevemos desde la época de la revolución industrial pretendiendo tratarlos como conjuntos de fenómenos con reglas simples. El problema de la caja negra no es en absoluto trivial, precisa de mecanismos que añadan transparencia al proceso y que intenten llegar a explicaciones sobre las predicciones realizadas por los modelos, y supone una restricción que las compañías deben tener en cuenta a la hora de escalar en sus iniciativas de machine learning. Un proceso largo y complejo, en el que un 90% del esfuerzo se invierte en procesos como la definición de objetivos, el manejo y transformación de los datos y la ingeniería funcional, y tan solo el 10% final corresponde a lo que tradicionalmente consideramos como el resultado: las predicciones y la medición del impacto.
El problema del machine learning a día de hoy no es que no funcione, sino que las compañías tienen dificultades para utilizarlo. Proyectos largos, complejos, pero que vale la pena plantearse porque van a marcar la diferencia entre compañías capaces de utilizar modelos predictivos y las que no lo son y se limitan a tomas de decisiones basadas en cuestiones arbitrarias, en la intuición o en reglas poco científicas, y que progresivamente van a ir pasando de plantearse como servicio, a hacerlo como commodity o incluso como utility… si te has preparado para ello.
This post is also available in English in my Medium page, “Algorithms and black boxes»
El problema de la caja negra no es trivial en absoluto, una manera de intentar entender como se comporta el algoritmo es con datos simulados. Aún así solo se puede uno hacer una idea general porque el algoritmo tiene en cuenta tanto las variables como las correlaciones de distintos órdenes entre ellas.
Esto solamente es un problema si realmente necesitas dar explicaciones a algún cliente.
Si quieres que una ‘inteligencia’ superior tome decisiones por ti, olvídate de comprender las razones de sus decisiones, es superior a ti. Si utilizas métodos para hacer comprensibles las decisiones, lo único que estás haciendo es limitar su inteligencia a la tuya, con lo cual no obtendrás resultados tan buenos.
Dejé mis reflexiones en la entrada anterior sobre el tema:
https://www.enriquedans.com/2017/04/entendiendo-conceptos-en-machine-learning.html#comment-435147
No es como tal una «inteligencia superior». La inteligencia de las máquinas tardará muchas décadas en superar la de los humanos, si es que llega a hacerlo. Lo que sí son es procesos estadísticos, analíticos y numéricos más complejos de lo que el cerebro de las personas lleva a cabo, y por tanto, llegan a soluciones que al cerebro humano le resulta difícil seguir, porque prueban posibilidades de interacción matemática que simplemente no se llevan a cabo. Algunos modelos alcanzan una complejidad que no es fácilmente abarcable, pero eso no quiere decir que «sea más inteligente» o «superior», sino que su capacidad para el cálculo es más elevada – que no es poco, pero no implica, como tal, «mayor inteligencia» o «superioridad». Aquí tienes una entrevista reciente con Francisco Martín sobre ese mismo tema, titulada «La inteligencia artificial no superará a la humana en cientos de años«.
Volvemos al problema de definir la inteligencia, pero en áreas concretas (narrow AI) está muy claro que la inteligencia artificial es superior a la humana.
Pregúntales a los diseñadores de AlphaGo el motivo de cada uno de los movimientos de la máquina: no pueden explicarlo en términos humanos. Lo mismo les está ocurriendo ahora a los bancos: han montado una IA que procesa un montón de información y toma muy buenas decisiones pero no hay forma de dar una explicación de los resultados humanamente comprensible porque supera de largo nuestra capacidad de procesar esa información.
En cuanto a la entrevista con Francisco Martín, me parece una opinión más, tienes expertos para todos los gustos, Ray Kurzweil sin ir más lejos predice la superinteligencia para antes de mediados de siglo. Muchos también predijeron hace no mucho que al Go las máquinas no ganarian a los humanos en décadas…
Vale, la máquina nos gana al Go desde hace poco, pero al ajedrez hace más de 2 décadas que también nos gana, y en ese juego no fue usando algoritmos de IA, ni hubo ningún problema en comprender el funcionamiento de la máquina.
Es que antes no se daba ningún aprendizaje, era aplicar fuerza bruta a un procedimiento diseñado por humanos. Toda la información que se utilizaba era la que nosotros creíamos que era relevante y se procesaba de una forma que reflejaba nuestra manera de pensar. Era la implementación de nuestros conocimientos pero con fuerza bruta.
Las técnicas de IA permiten ahora que la máquina realmente aprenda por sí misma, sin los sesgos y limitaciones humanas más allá de la estructura de la propia red neuronal.
Correlaciones entre los datos de entrada y salida incomprensibles para los humanos quedan reflejadas en los pesos de la red neuronal, la información de entrada relevante se queda, toda la irrelevante se pierde o simplemente se queda con un peso residual. Aprende precisamente por saber descartar lo irrelevante y comprimir lo relevante. Compresión es comprensión.
Asier:
De acuerdo en que antes no había aprendizaje y ahora sí, eso es una diferencia importante. Ahora bien, en algo tan reciente como es la IA (después de acabado su famoso y largo «invierno») el hecho de que ahora no comprendamos por qué los pesos acaban teniendo los valores que tienen tras el entrenamiento no significa que nunca lleguemos a comprenderlo en el futuro.
Desconfío mucho de los argumentos de «superioridad», incluso si la inteligencia (artificial) es muy especializada, mucho mejor que nosotros en una tarea concreta. El hecho de que nos gane por goleada al Go no significa nada, por eso puse el ejemplo del ajedrez.
Por supuesto, lo contrario también es cierto. Es decir, lo mismo podría ocurrir que nunca llegásemos a comprender esto de los pesos.
Krigan, a mí sí me parece muy significativo que nos ganen al Go o al póker, juegos de mesa donde o bien las posibilidades son inabarcables o donde la información es incompleta. Ser bueno en este tipo de situaciones siempre se ha relacionado con ser inteligente (o tener cierto tipo de inteligencia al menos).
Y la cosa está avanzando de una manera vertiginosa, basta ver los coches autónomos o la demostración de Google Duplex donde directamente da el pego como humano en ciertas situaciones.
En la red neuronal no es que no comprendamos «por qué los pesos acaban teniendo los valores que tienen» (podemos trazarlo) sino que esos pesos no tienen ningún significado humanamente comprensible e interpretable. Es como si fueran estadísticos que no conocemos, como darle una media o una mediana a una persona que no sabe nada de estadística.
Asier:
Jugar bien al ajedrez también se ha relacionado siempre con la inteligencia, y también en el ajedrez las posibilidades son tan grandes que son inabarcables. Totalmente de acuerdo en que la IA está avanzando a velocidad vertiginosa.
En cuanto a los pesos, una cosa es que ahora mismo no los comprendamos, y otra es que no sean humanamente comprensibles, que no los vayamos a comprender ni ahora ni nunca. Creo que estamos de acuerdo en todo menos en esto.
El fin del invierno de la IA se produjo hacía el 2009. Antes de eso las redes neuronales no eran más que un juguete para frikis académicos, sin ninguna aplicación práctica digna de mención.
Ahora la situación es radicalmente diferente, se están usando ya para infinidad de usos prácticos, y muchos más que hay en camino. Pero no comprendemos esos puñeteros pesos, lo cual tiene sus implicaciones.
La cuestión es: han pasado solo 9 años desde el 2009, los investigadores han estado centrados sobre todo en desarrollar ese océano de aplicaciones prácticas, ¿y ya tiramos la toalla y declaramos que nos es imposible comprender esos pesos?
Infinidad de problemas científicos tardaron mucho más de 9 años en ser resueltos. Es nuevo y es incomprensible. ¿No será que es incomprensible porque es nuevo?
Para aclarar un poco más las cosas; no hay procesos “más complejos de lo que el cerebro de las personas lleva a cabo” sino que la por la naturaleza de la redes neuronales y el Machine Learning y de economía computacional, no existe una trazabilidad del proceso, pero solo sucede porque no se desea aumentar la carga computacional con una depuración constante de la ejecución de esa red neuronal.
No se producen cálculos excesivamente complejos, ni ofuscados, ni son producto de una caja negra auténtica. Sucede que es un proceso iterativo en el que se descarta gran cantidad del trabajo realizado, que pasa a convertirse en ‘basura computacional’.
Por esa razón, al no existir una depuración en tiempo de ejecución y para evitar aumentar la carga de trabajo, se produce esa ‘opacidad deliberada‘.
Es similar a un proceso estocástico, es decir, se genera de forma aleatoria hasta que alcanza un estado determinado.
No existe una necesidad de una gran capacidad de cálculo, como se puede comprobar en la implementación de algoritmos de este tipo en teléfonos móviles o Raspberry Pi, en múltiples aplicaciones de los mismos.
Sí se está exigiendo en EE.UU. que los algoritmos utilizados, incluso por instituciones públicas, no presenten ningún sesgo discriminatorio que vulnere derechos fundamentales.
_
No es por nada, pero me parece que no lo has entendido. Una red neuronal es perfectamente trazable, y el seguir la evolución de los pesos cuando la red neuronal está siendo entrenada, o mirar cuáles son esos pesos cuando el entrenamiento ha concluido, no plantea ningún problema de carga computacional.
El problema es muy diferente. El problema es que no se sabe por qué unos pesos y no otros producen buenos resultados para una tarea dada.
En consecuencia, no se puede garantizar que una determinada red neuronal no esté, por ejemplo, discriminando en la concesión de créditos por razón de raza o religión, ni se tiene la seguridad de que los resultados sean los correctos en cada caso, incluso si los resultados son en conjunto estadísticamente muy buenos.
Y eso de que no se necesita una gran capacidad de cálculo… es solo cierto si hablamos de una red neuronal muy sencillita, con pocas capas, pocas neuronas por capa, y pocas conexiones entre las neuronas de una capa y la siguiente.
Reconocer «Ok Google» no requiere mucha capacidad de cálculo, pero entender lo que el humano dice a continuación, que pueden ser cosas muy variadas, no está al alcance de los móviles actuales ni mucho menos de la Raspberry Pi. El audio es transmitido a la nube y es procesado allí por chips realmente potentes.
La buena noticia es que casi todos los cálculos consisten en una única instrucción (MAC: multiplicar y acumular). Por tanto, con hard especializado que sea capaz de ejecutar en paralelo miles de instrucciones MAC por ciclo, sí se puede tener esa potencia de cálculo en un móvil, y de hecho en pocos años todos los móviles tendrán ese hard especializado (un puñado de modelos de última generación ya lo tienen).
Sí, verás Krigan, es que no me dejan responder los comentarios, así que me parece estupendo que tengas una opinión tan elaborada, pero no puedo, ni quiero darte conversación por ocio.
¿No te dejan responder los comentarios? Pues respondiste a Asier y ahora estás respondiendo al mío.
Por lo demás, eres libre de responder o no, como prefieras.
Venga va… Tú eres una inteligencia artificial. Te pillé. ¿Me equivoco?
Cuando yo estaba en eso no había IA y puede que esto haya cambiado anesto tenia una aplicacion que se llamaba Red B, Cualquier negocio participado por Baneto, (esto suponia directa o indirectamente quizá un 25% de las SA. y muchisimas SL) tenían que volcar en la Red B , culaquier pago aplazado de sus clientes, De compras a plazos como un coche, o una nevera, a cosa compradas con terjeta de Credito, prestamos, hipotecas etc etc, se volcaba a la Red B, a ello se suma el pago de todo tipo de recibos de la comunidad de vecinaos al pago de la luz,
Se buscaba con ello, detectar los cúmulo de riesgo, es decir la suma de todos los créditos y pagos aplazados que Banesto directa o indirectamente tenía que asumir si un ciudadano por la razón que fuera, dejaba de pagar,. unido a las primas de seguros que Banesto tendrá que pagar por deceso de un cliente,con el objetivo de reasegurar todo aquello que sobrepasara un derterminado limite.
Adicionalmente se contaba con un detallado historial de los pagos de sus obligaciones de los clientes, Pues bien en cuanto a la deteccion de cúmulos funcionaba perfectamente, pero en cambio los historiales de pagos no decían nada seguro, que alguien hubiera pagado religiosamente toda su vida, no indicaba en absoluto que lo fuera a hacer de hoy para adelante, habia casos de extranjeros que decidian repatriarse y los últimos meses no pagaban absolutamernte nada, y casos en los que de repente les cambiaba la fortuna, o se morían y dejaban de pagar y por contra, el que alguien no pagara regularmente tampoco pasaba nada, pues hay un elevado número de personas, que se administran más que mal y un mes no pagan. pero al siguiente se ponen al corriente. incluso pagando las penalizaciones que se le impongan por números rojos.,
Así que ese historial, no era más que un elemento mas de juicio, para que el director de la sucursal, que era quien conocía de cerca a sus clientes, diera o negara los créditos.
Mi experiencia en el tema, es que es muy fácil obtener un gran número de datos ciertos, y conseguir de ellos fiables datos estadísticos,n(tipo van a devolverme el 96% de las hipotecas. Lo que resulta muy difícil es extraer de ellos una conclusión aplicable para un caso concreto. ( Manolo Fernandez me devolverá la hipoteca), pues sobre un caso aislado hay tal cantidad imponderables que es imposible asegurar nada,
No se si se quedará sin trabajo, o heredará de sus suegros, se divorciará, o seguirá la familia unida, si continuar su vida plácidamente, o se trasladará a un sitio ignoto del extranjero, o si vivirá lo suficiente, si se morirá. o si a pesar de todo sus hijos saldadarán sus deudas.,
Las farmacéuticas no se rompen tanto la cabeza para dar explicaciones sobre si un fármaco funciona. No tengo que entender los procesos químicos del medicamento para que un médico (factor consenso) me lo recete.
Es una cuestión de madurez. Me quedo con lo que dices al final: con esa madurez se alcanzará el estadio de commodity.
Ja ja ja, con lo facil y elemental que se ha vuelto esto, unas pocas empresas que son las que surten a todo el mundo, cada vez menos en ropa, informatica, automocion, electronica alimentacion, muchisimas marcas antiguas y que salen todos los dias nuevas … pero detras pocas empresas reales que se cuentan con los dedos de las manos….., unos cuantos billonarios y una clase social generalizada , mayoria esclava necesaria siempre, tirando a media-baja, tanto en Europa como EEUU, Japon, China y los que vayan asomando … como que va a ser dificil dar un credito para una vivienda, a un simple techo para vivir a unos cuantos ladrillos formando una especie de habitaculo….. generalmente en la gran mayoria de los casos a nivel global a un autoesclavizado por vida para pagar la mayoria de su precario sueldo que es lo que interesa a los tres billonarios ….
Nunca llegarás a entender que hoy a hay muchos menos pobres que antes. El que a ti te vaya peor, o quiere decir nada.
«Los avances logrados en la reducción de la pobreza han sido notables en las últimas décadas. El mundo cumplió la meta del primer objetivo de desarrollo del milenio (ODM) de disminuir a la mitad para 2015 la tasa de pobreza registrada en 1990, lográndolo en 2010, cinco años antes del plazo previsto.
http://www.bancomundial.org/es/topic/poverty/overview
Hombre, tampoco ha dicho en ningún momento que haya más pobreza.
Clase social generalizada media-baja no es pobreza, es eso, clase media baja, con sueldo precario.
Esa disminución de la pobreza ha hecho que la clase baja aumente en número. La disminución del poder adquisitivo de las clases medias han hecho que esa clase media sea más baja. Conclusión: los ricos más ricos y los pringaos cada vez somos más.
Y sí, es una muy buena noticia que la pobreza disminuya, pero es mala noticia que las clases medias se estén empobreciendo.
Y no veas lo mucho que he odiado el estar hablando de «clases», pero es para entendernos mejor.
Aquí entra en juego la hipocresía de lo políticamente correcto. Y si resulta que los negros, musulmanes o demás basura son generadores de cartera basura, pues la IA lo hallará fácilmente.
No, la culpa es de personas como tú. Vosotros sois los que hacéis necesarias las leyes contra la discriminación.
La expresión «…o demás basura» que implícitamente aplicas a los 2 grupos que menciones en la misma frase, es motivo suficiente para dejar este mensaje como reporte al moderador.
Por otra parte, la gran mayoría de pufos como Banco Popular, Rumasa, Bankia…, Lehman Brothers, …, así como impagos e incumplimientos de todo tipo provienen de gestiones hechas por personas distintas a las que tú aludes como «basura» en tu frase, y te quedas con un pequeñísimo porcentaje del problema, ¿los 3 bancos españoles que he mencionado los han tumbado ejecutivos del Daesh infiltrados?
Ten en cuenta que en los grupos de personas que tú mencionas hay 2 tipos: Los que están podridos de dinero y su raza o religión es irrelevante, y los que no tienen ese poder adquisitivo, en caso de duda, ya el trabajador bancario va a buscar la forma de descartar sin aplicaciones informáticas, con todas las trabas posibles, al igual que a un blanco-católico-nacional parado e insolvente.
Es con el blanco-católico-nacional cuando surgen las dudas y dónde es útil la IA, hay mucha falsa clase media, que viven aparentando lo que no pueden ser, y que va dejando estafas, deudas, créditos impagados, retrasos en los pagos, refinanciaciones, negocios trampa, ropita de marca, móviles premium y coches caros a estrenar con trabajos y sueldos precarios…
Si lo hubieses dicho de otra forma se te podría llegar la razón, pero vaya discurso racista te has marcado llamando a los negros y musulmanes «basura».
Voy a hacer un poco de «rephrasing» de eso y dejar mis dudas.
Si por la razón que sea resulta que la IA descubre que una etnia, raza o religión es más proclive a dejar impagos ¿eso se consideraría discriminación? Yo entiendo que la IA no estaría discriminando por sexo, religión o raza porque sea racista por ejemplo sino por pura estadística.
Por ejemplo: IA detecta que las personas entre 30 y 40 años con más de 3 hijos y que viven en el barrio X no pagan sus préstamos. Entonces es de suponer que si va al banco un hombre de 35 años, con 3 hijos con una casa en el barrio X la IA va a decir que ese préstamo que ha ido a pedir es de riesgo. ¿Sería discriminación?
En realidad, cualquier forma de separar individuos en base a ciertos criterios para no permitir el acceso a algo sería discriminación… por lo tanto cualquier persona podría sentirse discriminada por mil razones.
Para que la IA discrimine por sexo, religión, o raza, primero es necesario meterle esos datos. Ahí está el problema. ¿Se los metemos o no se los metemos? A los bancarios les decimos (por ley, por culpa de personas como Ernesto Blanco) que no han de tener en cuenta el color de la piel del que tienen delante pidiendo un préstamo.
Si a la IA le metemos los datos de raza, dado que no comprendemos qué significa o hace cada peso de la red neuronal, no sabemos si la red acaba teniendo un comportamiento racista.
La estadística no lo es todo. Pongamos que una red neuronal acaba denegando los préstamos a todo aquel que tenga un gato. ¿Es porque los dueños de gatos son verdaderamente más morosos? ¿O es porque la IA detectó una correlación no causal?
Un ejemplo de correlación no causal es el hecho (totalmente cierto) de que cuantas más pelis hace Nicolas Cage más gente muere ahogada en piscinas USA. Resulta que el Universo está lleno de correlaciones no causales.
Lo bueno de que los bancos empiecen a utilizar de manera masiva El machine learning, IA y otros algoritmos es que ya no se les podrá echar la culpa a los humanos cuando se produzca una nueva hecatombe bancaria…Algo bueno tenía que tener.
Los tecnologoadictos suelen olvidar que la naturaleza es, en cierto modo, pura tecnología (de procesos). Y tarda enormes cantidades de tiempo en realizar pasos evolutivos de consideración.
Los políticos dictadores (y los fanáticos financieros) suelen olvidar que el movimiento de las masas humanas (y con ellas del ecosistema terrestre) impide tener muy prefijados los pasos sucesivos.
Nada impide llegar al caos, aunque sea temporalmente, si con eso se cumplen mejor determinadas leyes «naturales» (a saber que son). No llega con ser grandes matemáticos, físico cuánticos o informáticos (ni siquiera Dan Brown) para vaticinar un futuro humano, algorítmico o simbiótico… y menos aún fanáticos dictadores o profetas. Siempre (por ahora, históricamente) el exceso de ego suele llevar por mal camino de progreso global.
Por el presente post, le comunico que ha dejado de tener un comentarista por permitir y no censurar en su internet comentarios racistas supremacistas, salvo rectificación suya pública. Espero que publique esta pequeña nota y no censure está crítica totalemente educada y cortés
No, no censuro comentarios por opinión, salvo que insulten a personas concretas. Me puede parecer (y me parece) repugnante, pero es una muestra de lo que algunas personas – desgraciadamente – piensan, y por tanto, aporta algo a la discusión. No podemos comportarnos como si ese tipo de ideas no existiesen, lo siento, me parece una estupidez. Me parece mucho más productivo exponerlos, rebatirlos y tener en cuenta que existen. No excluyo opiniones salvo que sean insultantes hacia personas concretas, no censuro ideas de ningún tipo por repugnantes que me parezcan, y no quemo libros traten de lo que traten. Si por eso vas a dejar de comentar, lo siento, te echaré de menos, pero es mi forma de tratar ese tipo de temas y actitudes.
Vd. está de acuerdo que la opinión del comentarista «ERNESTO BLANCO» es catalogable de regugnante a la vez que de racista. Pero no se puede censurar «por que aporta algo a la discusión» y a la vez le parece «una estupidez comportarse como si estas actitudes no existieran»
El citado individuo afirma que «Y si resulta que los negros, musulmanes o demás basura son generadores de…»
A que le parece un insulto, pues a mi más, y no es cuestión de oir esas voces a ver que dicen, sus argumentos racistas y facistoides (la del tal Blanco) no van a aportar más que fango a su blog, por lo que no es cuestión de ser tolerantes con los intolerantes, sino que se busquen un medio acorde a su ideología, porque de lo contrario el medio se convierte en altavoz de ellos. Los delitos de odio si que deben de limitar la libertad de expresión y no que si por ejemplo critican al señor Enrique Dans por su competencia en temas técnicos.