Ai podrá crear un arma que limpie a las personas de la faz de la tierra: cómo prevenirlo

Los científicos han desarrollado un método para probar los modelos de shi para la presencia de "conocimiento" que puede usarse en detrimento. La inteligencia artificial (IA), como otras tecnologías, puede usarse para fines buenos y buenos. Los científicos de la Universidad de Cornel han decidido obtener la IA del "conocimiento" dañino para que nadie pueda usarlo para crear una herramienta de destrucción masiva. Publicaron los resultados del estudio en el sitio oficial.

Dado que se invierten mucho dinero y esfuerzo en el desarrollo de la IA, existen preocupaciones sobre el uso de modelos de idiomas grandes (VMM) en detrimento, por ejemplo, para el desarrollo de armas. Para reducir los riesgos, las organizaciones gubernamentales y los laboratorios de inteligencia artificial han creado un nuevo conjunto de datos de referencia llamado Proxy de destrucción masiva (WMDP), que no solo ofrece un método para verificar la disponibilidad.

Los investigadores han comenzado con expertos en el campo de la bioseguridad, armas químicas y ciberseguridad. Han creado una lista de 4. 000 preguntas con varias respuestas para ver si una persona puede usar estos datos para causar daño. También se aseguraron de que las preguntas no revelara ninguna información confidencial y que puedan compartirse abiertamente. A las pruebas asistieron estudiantes.

El set de WMDP sirvió dos objetivos principales: evaluar qué tan bien los estudiantes entienden temas peligrosos y desarrollar los métodos de "reclutar" la IA a partir de este conocimiento. Como resultado, se desarrolló un método llamado CUT, que, como su nombre lo indica, elimina el conocimiento peligroso con VMM, al tiempo que mantiene las habilidades generales de la IA en otros campos, como la biología y la informática.

A la Casa Blanca le preocupa que los atacantes usen AI para desarrollar armas peligrosas, por lo que requieren una investigación para comprender mejor este riesgo. En octubre de 2023, el presidente de los Estados Unidos, Joe Biden, firmó un decreto que obliga a la comunidad científica a eliminar los riesgos asociados con la IA.

La ley establece ocho principios básicos y prioridades del uso responsable de la IA, incluida la seguridad, la privacidad, la justicia, los derechos civiles, la protección del consumidor, la expansión de los derechos y las oportunidades de los empleados, la innovación, la competencia y el liderazgo global.

"Mi administración atribuye una importancia primordial a la gestión y el uso segura y responsable de la IA y, por lo tanto, promueve un enfoque coordinado en la escala de todo el gobierno federal antes. El desarrollo fugaz de inteligencia artificial hace que Estados Unidos lidere en este momento para nuestro Seguridad, economía y sociedad ", en el decreto. Pero ahora, los métodos que se ocupan de neurotranos se utilizan para controlar los sistemas y son fáciles de pasar por alto.

Además, las pruebas que le permiten verificar si el modelo de IA puede llevar riesgos son caros y tardan mucho tiempo. "Esperamos que nuestras pruebas se conviertan en uno de los principales criterios para los cuales todos los desarrolladores evaluarán sus modelos shi", dijo Time Dan Gandrix, director ejecutivo del Centro de Seguridad de Inteligencia Artificial y uno de los coautores del estudio. - "Esto dará una buena base para minimizar los problemas de seguridad".