OpenAI está formando un nuevo equipo dirigido por Ilya Sutskever, su científico jefe y uno de los cofundadores de la empresa, para desarrollar maneras de dirigir y controlar sistemas de IA superinteligentes.
Jan Leike, líder del equipo de alineación de OpenAI, e Ilya Sutskever predicen que dentro de una década podría llegar una IA con una inteligencia superior a la de los humanos. Esta IA no será necesariamente benévola, por lo que será necesario investigar formas de controlarla y restringirla, señalan.
«Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta. Nuestras técnicas actuales para alinear la IA, como el aprendizaje reforzado a partir de la retroalimentación humana, dependen de la capacidad de los humanos para supervisar la IA. Pero los humanos no podrán supervisar de forma fiable sistemas de IA mucho más inteligentes que nosotros”, declaran los miembros de OpenAI.
El nuevo equipo tendrá acceso al 20% de la computación que la compañía ha asegurado hasta la fecha. Junto con científicos e ingenieros de la división de alineación anterior de OpenAI, así como con investigadores de otras organizaciones de la empresa tendrá como objetivo resolver los desafíos técnicos centrales del control de la IA superinteligente durante los próximos cuatro años.
El objetivo es entrenar sistemas de IA utilizando la retroalimentación humana, entrenar a la IA para ayudar a evaluar otros sistemas de IA y, en última instancia, construir una IA que pueda realizar investigaciones de alineación. La hipótesis de OpenAI es que la IA puede lograr una alineación más rápida y mejor que los humanos.
Reconoce, eso sí, que ningún método es infalible y admiten que el uso de la IA para la evaluación tiene el potencial de aumentar las inconsistencias, los sesgos o las vulnerabilidades en esa IA.
