Este robot del MIT puede predecir con precisión tu carrera usando rayos X. Los científicos no tienen idea de cómo funciona.

La inteligencia artificial tiene un problema de racismo. No busque más allá de la bots que hacen diatribas racistaso el tecnología de reconocimiento facial que se niega a ver a los negrosoro bots de recursos humanos discriminatorios que no contratarán personas de color. Es un problema pernicioso que plaga el mundo de las redes neuronales y el aprendizaje automático que no solo fortalece los prejuicios existentes y el pensamiento racista, sino que también empeora los efectos del comportamiento racista hacia las comunidades de color en todas partes.

Y cuando se combina con el existente racismo en el mundo medicopuede ser una receta para el desastre.

Eso es lo que preocupa de un nuevo estudio publicado en La lanceta la semana pasada por un equipo de investigadores del MIT y la Escuela de Medicina de Harvard, que creó una IA que podía identificar con precisión la raza autoinformada de un paciente basándose únicamente en imágenes médicas como rayos X. Como si eso no fuera lo suficientemente espeluznante, los investigadores detrás del modelo no sé cómo está llegando a sus conclusiones.

El equipo descubrió que el modelo podía identificar correctamente la raza con una precisión de aproximadamente el 90 por ciento, una hazaña que es prácticamente imposible de realizar para un médico humano al mirar las mismas imágenes.

Marzyeh Ghassemi, profesor asistente en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT y coautor del artículo, le dijo a The Daily Beast en un correo electrónico que el proyecto se creó inicialmente en un esfuerzo por descubrir por qué un modelo de IA era más probable. para mujeres y minorías subdiagnosticadas. “Queríamos establecer cuánto de este sesgo podría eliminarse de los modelos, lo que nos llevó a preguntarnos cuánta información sobre la raza autoinformada del paciente podría detectarse a partir de estas imágenes”, dijo.

Para hacer eso, crearon un modelo de aprendizaje profundo entrenado para ver radiografías, tomografías computarizadas y mamografías de pacientes que autoinformaron su raza como asiática, negra o blanca. Si bien las imágenes no contenían menciones de la raza del paciente, el equipo descubrió que el modelo podía identificar correctamente la raza con una precisión de aproximadamente el 90 por ciento, una hazaña que es prácticamente imposible de realizar para un médico humano al mirar las mismas imágenes.

Por supuesto, esto plantea una serie de problemas éticos grandes y peludos con algunas implicaciones aterradoras. Por un lado, una investigación como esta podría dar munición a los llamados realistas raciales y otros teóricos de la conspiración que trafican con pseudociencia que pretende que existe una diferencia médica inherente en diferentes grupos raciales, aunque eso es, por supuesto, BS completo y absoluto.

También está el hecho de que un modelo como este puede ser increíblemente dañino si se implementa a escala en hospitales y otras prácticas. La industria médica continúa lidiando con una historia increíblemente sombría de racismo medico y la mala praxis resultante. Esto ha moldeado irrevocablemente la forma en que las comunidades de color interactúan (o no interactúan) con el sistema de atención médica. Si se introdujera una IA que de alguna manera pueda detectar la raza de una persona basándose en una simple radiografía, esto podría deteriorar aún más esa relación ya tensa.

Sin embargo, para su crédito, este no es el objetivo de los autores del estudio. De hecho, están buscando fortalecer las barreras de seguridad para ayudar a proteger a las comunidades afectadas de manera desproporcionada por prácticas como el racismo médico, particularmente cuando se trata de hospitales y proveedores médicos que usan redes neuronales.

“La razón por la que decidimos publicar este artículo es llamar la atención sobre la importancia de evaluar, auditar y regular la IA médica”, dijo a The Daily Beast Leo Anthony Celi, científico investigador principal del MIT y coautor del artículo. “La FDA no exige que el rendimiento del modelo en entornos no médicos se informe por subgrupos, y la IA comercial a menudo tampoco informa el rendimiento de los subgrupos”.

Sin embargo, todavía está el enorme elefante de aprendizaje profundo en la habitación: los investigadores aún no tienen idea de cómo la IA determina la raza del paciente a partir de una radiografía. La naturaleza opaca del modelo es desconcertante, pero no poco común cuando se trata de IA. De hecho, los científicos se han esforzado por comprender algunos de los algoritmos de aprendizaje automático más avanzados en el mundo, y el modelo del MIT no es una excepción. Sin embargo, este se destaca aún más por las sombrías implicaciones de cómo se puede usar y armar para dañar a las personas de color.

En el corazón del misterio está discriminación por poder, un término que describe un problema básico con los grandes modelos de IA que pueden entrenarse involuntariamente para identificar la raza mediante el uso de un proxy que no sea la raza de una persona. En el pasado, por ejemplo, hemos visto algoritmos de préstamos hipotecarios que rechazan de manera desproporcionada a los solicitantes negros y marrones usando su código postal. Debido a que Estados Unidos está tan segregado, el código postal se correlacionará muy fuertemente con la raza.

De manera desconcertante, aunque los autores del estudio observaron ciertos indicadores que el modelo podría estar usando para determinar la raza de los pacientes, como la densidad ósea, no pudieron encontrar el que estaba usando.

“No hubo correlaciones estadísticas obvias a las que los humanos pudieran recurrir”, dijo a The Daily Beast Brett Karlan, un postdoctorado que investiga la ciencia cognitiva, la ética y la IA en la Universidad de Pittsburgh y que no participó en el estudio. “Era solo una característica de la propia red opaca, y eso es realmente aterrador”.

Según Karlan, la razón por la que da miedo es simple: merecemos saber cómo la IA, especialmente cuando se usa para controlar nuestra salud física, llega a sus conclusiones. Sin esa explicación, no sabemos si nos está poniendo en riesgo de daño a través de un comportamiento racista, sexista o sesgado. “Le gustaría saber que un algoritmo que sugiere un resultado de diagnóstico específico para usted o que toma un tipo específico de tratamiento médico lo estaba tratando como miembro de una categoría racial”, explicó Karlan. “Podrías preguntarle a tu médico por qué te estás sometiendo a un tipo específico de tratamiento, pero es posible que no puedas preguntarle a tu red neuronal”.

Si bien la razón por la cual la IA es capaz de llegar a sus conclusiones sigue siendo un gran signo de interrogación, los investigadores detrás del artículo creen que la melanina de los pacientes, el pigmento que le da a las personas negras y morenas su color de piel, podría ser cómo.

Le gustaría saber que un algoritmo que sugiere un resultado de diagnóstico específico para usted o que toma un tipo específico de tratamiento médico lo estaba tratando como miembro de una categoría racial.

Brett Karlan, Universidad de Pittsburgh

“Presumimos que los niveles de melanina en la piel humana modifican patrones muy leves en todas las partes del espectro de frecuencia durante las imágenes médicas”, dijo Ghassemi. “Esta hipótesis no se puede verificar sin que las imágenes del tono de la piel de los pacientes coincidan con sus radiografías de tórax, a las que no tuvimos acceso para este estudio”.

Agregó que se sabe que dispositivos médicos similares están mal calibrados para pieles más oscuras y que su trabajo “puede verse como un resultado adicional en esta dirección”. Por lo tanto, podría tratarse simplemente de que la IA detecte diferencias muy sutiles entre las imágenes de rayos X que el ojo humano no puede discernir. En otras palabras, simplemente crearon un detector de melanina glorificado. Si ese es el caso, es un proxy que podemos señalar como la causa detrás de los sorprendentes hallazgos. Sin embargo, se necesita más investigación antes de poder llegar a una conclusión firme, si es que alguna vez se llega a ella.

Por ahora, el equipo planea revelar hallazgos similares en otro estudio donde descubrieron que una IA podía identificar la raza de los pacientes en función de las notas clínicas en las que se había eliminado la raza. “Al igual que con el ejemplo de imágenes médicas, descubrimos que los expertos humanos no pueden predecir con precisión la raza del paciente a partir de las mismas notas clínicas redactadas”, dijo Ghassemi.

Al igual que con la IA de imágenes médicas, está claro que la discriminación por representación puede y seguirá siendo un problema generalizado dentro de la medicina. Y es uno que, a diferencia de una radiografía, no siempre podemos ver tan fácilmente.

.

Leave a Comment

Your email address will not be published.