The Independent Sentinel #32
Modelos liberados, un agente generalista y el Gran Filtro
¡Hola!
Soy Javier Fuentes, de Akoios. Bienvenido a esta nueva edición The Independent Sentinel, la newsletter en la que hablamos de Inteligencia Artificial y Ciencia de Datos comentando novedades, avances e historias sobre estas apasionantes temáticas.
Si quieres suscribirte para recibir cada edición en tu bandeja de entrada, puedes hacerlo aquí:
Hoy hablamos de gigantescos modelos de lenguaje, de máquinas con amplias capacidades y de una frontera que aún no sabemos si hemos cruzado.
¡Despegamos! 🚀
🎼 Quieres banda sonora? ¡Dale al Play!
1. Ciencia de Datos
🗳 La democratización del NLP
Aún hoy sigo sorprendiéndome del rendimiento y capacidades de los modelos de generación de lenguaje que hemos visto en los últimos años y no puedo más que tener altas expectativas con todo lo que está por llegar.
Este optimismo por el futuro de los modelos NLP viene refrendado por noticias como la que te comparto hoy.
Durante el mes de Mayo, Meta anunció que liberaba de manera abierta uno de los modelos de lenguaje que habían desarrollado. En concreto, se trata del OPT-175B (Open Pretrained Transfomer), un modelo de lenguaje de una magnitud similar a GPT-3 que consta de 175 billones de parámetros.
Este hecho es relevante ya que es la primera vez que se libera un modelo de este tamaño y el código necesario para entrenarlo y usarlo. El objetivo de de Meta es fomentar la investigación y entendimiento de estos modelos, así como la exploración de nuevas posibilidades de uso desde el ámbito académico. Es por ello que el modelo ha sido liberado con una licencia no-comercial que evita su uso para fines empresariales.
Por otra parte, iniciativas como estas están facilitando la democratización de estos modelos, tarea nada sencilla ya que, debido al inmenso coste de entrenamiento de estos modelos, sólo algunas grandes compañías han estado en disposición de crearlos y analizarlos.
Si estás interesado, puedes solicitar acceso aquí:
Veremos qué nos depara el acceso abierto a estas herramientas de nueva generación, por el momento, y como comentaba al comienzo, no puedo más que ser optimista respecto a los avances que nos aguardan.
🗞 Breaking News: Justo antes de publicar la newsletter, Meta ha anunciado que libera un nuevo modelo, esta vez, un modelo de traducción entre más de 200 idiomas:
🤹🏻♀️ Una máquina muy capaz
Una de las revelaciones recientes más importantes en nuestro campo, ha sido el hecho de que los avances en modelos de lenguaje como los que acabamos de ver nos pueden servir para trabajar en otros ámbitos bien distintos.
Este es el caso de Gato, un agente generalista creado por DeepMind que puede operar en diversos ámbitos usando un enfoque similar al usado en los modelos de lenguaje.
Gato es un modelo multimodal y multitarea creado con la intención de acercarnos a modelos más generalistas (ya sabes, acercarnos un pasito más a la AGI: Inteligencia Artificial General).
Entre las distintas tareas que Gato es capaz de acometer tenemos las siguientes:
Jugar a videojuegos
Nombrar imágenes
Chatear
Apilar bloques con un brazo robótico
Gato ha sido entrenado con datos muy diversos y correspondientes a estas distintas tareas. Toda esta información ha sido serializada en una secuencia de tokens y procesada en una arquitectura Transformer, tal y como se haría en un modelo de lenguaje.
La parte más interesante de todo esto es que un mismo modelo es capaz de ejecutar todas estas acciones sin necesidad de un re-entrenamiento.
Visto lo visto, parece que solo acabamos de empezar a ser conscientes del impacto de los Transformers en el progreso de la IA.
2. Historias 📔
👨🏼🏫 Un tipo peculiar
Enrico Fermi era una persona especial. En 1938, le otorgaron el Premio Nobel por la identificación de nuevos elementos radioactivos, trabajo que daría las claves para desbloquear los misterios de la fisión nuclear.
Aprovechando un viaje a Dinamarca para ver a Niels Bohr tras recibir el premio, Fermi burló los férreos controles de Mussolini y zarpó rumbo a Estados Unidos: Su destino era la Universidad de Columbia.
Además de ser un brillante científico, Fermi era un extraordinario profesor. Cuentan las historias que, a aquellos alumnos que querían trabajar con él, les sometía a preguntas-examen que muchos consideraban irresolubles. Preguntas como ¿cuántos afinadores de pianos hay en Chicago? o ¿cuántos vagones de tren hay en Estados Unidos?
Tan famosas llegaron a ser estas preguntas que, en su honor, pasaron a llamarse “Problemas de Fermi”: problemas abiertos que requieren hacer diversas estimaciones usando suposiciones y en los que, idealmente, los errores se van compensado en cada cálculo.
Es muy posible que, si has hecho una entrevista para alguna gran consultora o empresa tecnológica, te hayan realizado una pregunta de este tipo ya que, más allá de lo acertado de la estimación, dan idea de los mecanismos de razonamiento de un candidato.
Sus sobrehumanas capacidades para la estimación, quedaron patentes en las pruebas del Proyecto Manhattan en el que también participó. Se cuenta que fue capaz de estimar la potencia del Trinity Test sin más que midiendo la distancia en el suelo de unos trozos de papel que tenía en la mano y que fueron desplazados por la onda expansiva de la prueba.
Estimar bien muchas veces radica en hacerse las preguntas correctas, y justamente de preguntas es de lo que te quería hablar hoy.
🪐 ¿Dónde está todo el mundo?
En 1950, durante una comida con sus compañeros de trabajo, Fermi comentó que existía una posibilidad razonable de que otras civilizaciones sofisticadas poblasen nuestras galaxia y que, si esto fuese así, conllevaría profundas implicaciones para la humanidad.
Fermi se dio cuenta de que, si existían otras civilizaciones con capacidad de evolución tecnológica, sería eventualmente posible que se hiciesen con el control de una galaxia en decenas o millones de años.
Esto llevó a Fermi a plantearse la famosa pregunta que da lugar a la Paradoja de Fermi:
¿Dónde está todo el mundo? Si se supone que pueden existir otras civilizaciones avanzadas, ¿cómo es posible que todavía no se hayan puesto en contacto o que no hayamos sabido todavía de ninguna?
Mi admirado Tim Urban, en este maravilloso artículo, hizo unas estimaciones al más puro estilo Fermi sobre esta paradoja para ilustrar el más que probable hecho de que existan otras civilizaciones :
En una noche estrellada podemos observar unas 2500 estrellas, lo que supone una cien-millónesima parte de las estrellas de nuestra galaxia. En igual número al número de estrellas en nuestra galaxia, tenemos otras galaxias en el universo observable, lo que arroja una cifra de entre 10^22 y 10^24 estrellas. La probabilidad de que estas estrellas sean parecidas al sol es de entre un 5% y un 20% y, a su vez, la probabilidad de que alrededor orbite un planeta con condiciones similares a la tierra es de un 20%.
Esto arroja una cifra estremecedora: En el universo podría haber 100 billones de billones de planetas parecidos a la tierra o, por decirlo de otra manera, 100 planetas por cada grano de arena que existe en la tierra 🤯.
🧑🏻🚀 La evolución de las civilizaciones
En 1964, el astrónomo ruso Nikolai Kardashev ideó un método para medir y comparar el grado de evolución tecnológica de una civilización. La Escala de Kardashev clasifica a las civilizaciones en tres grupos dependiendo de la cantidad de la energía que son capaces de aprovechar:
Civilizaciones Tipo I: Aquellas capaces de aprovechar la energía que llega al planeta proveniente de su estrella principal.
Civilizaciones Tipo II: Aquellas capaces de aprovechar la energía de su estrella mediante una esfera de Dyson.
Civilizaciones Tipo III: Civilizaciones capaces de aprovechar energía a escala galáctica.
Ahora mismo la humanidad se encuentra en camino al Tipo I y hay estimaciones de que se podría alcanzar el Tipo II en unos pocos cientos de años y el Tipo III en unos pocos miles, pero claro, esto son solo estimaciones que ni el propio Fermi podría lanzar con certeza.
En este contexto, teniendo en cuenta la inmensidad del Universo y el potencial de un posible civilización Tipo II o Tipo III. ¿Cómo es posible que no nos hayamos encontrado?
Hay muchas posibles explicaciones para esto y las hay para todos los gustos:
Han existido o existirán otras civilizaciones, pero no coincidiremos en el tiempo.
Estamos demasiado alejadas las unas de las otras como para poder entrar en contacto.
Somos incapaces de detectar las posibles señales de otras civilizaciones por falta de tecnología.
Somos parte de una simulación.
Otras civilizaciones más avanzadas existen y nos están monitorizando y estudiando sin intervenir, la llamada “Hipótesis del Zoo”.
La teoría del Bosque Oscuro descrita por el escritor chino Liu Cixin y desarrollada en su “Trilogía de los tres cuerpos” en la que viene a decir que todas las civilizaciones estamos ocultas en un “gran bosque” intentando sobrevivir como si fuésemos cazadores. Esto nos llevaría a intentar aniquilar a otras formas de vida antes de que ellas hagan lo propio con nosotros 😰
Por otra parte, lo que podría ocurrir es que realmente no existen civilizaciones de Tipos II y III y esa es la razón de no habernos topado aún con otros seres. ¿Es esto una buena o una mala noticia?
🪐 El Gran Filtro
El Gran Filtro es una teoría desarrollada por Robin Hanson en 1996 que daría respuesta a la Paradoja de Fermi. Hanson listó una serie de 9 pasos que representan el camino evolutivo de una civilización:
La idea del Gran Filtro es que, al menos una de estas transiciones hacia convertirnos en una Civilización Tipo III, debe ser altamente improbable o casi imposible de superar.
Esto se puede ver en este gráfico preparado a partir del trabajo de Tim Urban:
La pregunta clave ahora es la siguiente, ¿qué es y dónde se encuentra ese Gran Filtro?
Tenemos tres opciones:
We’re rare, we’re first of we’re fucked
Tim Urban
Opción 1: We’re rare
Esto implicaría que ya hemos pasado el gran filtro y que estamos en camino de convertirnos en una civilización tipo III. En algún momento entre los pasos 1 y 8 hubo una transición casi imposible de producirse y que, milagrosamente, nos ocurrió.
Opción 2: We’re first
Somos la primera civilización que ha avanzado y, por primera vez, la vida ha podido evolucionar de manera continuada son ninguna catástrofe cósmica (dinosaurios, no nos olvidamos de vosotros 😪)
Opción 3: We’re fucked
Esta opción implicaría que estamos aún por llegar al Gran Filtro y que, muy probablemente, no lo superemos y nos veamos abocados a la extinción.
La inquietante conclusión del Gran Filtro es que, en algún punto, la vida se encuentra con una barrera, algo que no puede superar, un evento desastroso del que no se puede escapar y que acaba con todo.
Esta es la razón por la que el filósofo Nick Bostrom, de la Universidad de Oxford, piensa que, por ejemplo, sería mala noticia encontrar vida en Marte. Este hecho aparentemente positivo, eliminaría muchas posibilidades de que el Gran Filtro se encontrase ya detrás de nosotros.
🪐 ¿Y si el Gran Filtro fuese la Inteligencia Artificial?
Como no podría ser de otra manera, la historia de hoy desemboca en esta última pregunta.
¿Qué ocurriría si una civilización fuese capaz de crear vida e inteligencia artificial? ¿Sería el siguiente paso evolutivo?¿Dispondría de tecnología auto-replicante capaz de explorar el espacio sin las limitaciones humanas? ¿Sería capaz de aprender hasta límites inaprehensibles por las propias personas que la han creado?
Llevando esta idea un poco más allá, ¿podría ser la propia singularidad tecnológica el Gran Filtro? Si llegamos a la singularidad, seguramente ya no tenga sentido hablar del filtro porque lo habremos superado y ya estemos encaminados hacia convertirnos en una civilización de Tipo III, suponiendo, claro está, que los humanos sigamos por aquí en ese contexto.
Quién sabe, tal vez la civilización Tipo III no seamos nosotros sino nuestra creación: Una Super Inteligencia Artificial (ASI) que nos sobreviva.
Mientras tanto, y mientras vemos si logramos llegar a crear una ASI, este silencio que observamos en el Universo no podemos sino considerarlo como una extraordinaria noticia.
¡Gracias como siempre por leer hasta aquí!
¿Te ha gustado esta edición de The Independent Sentinel? ¡Compártela con aquellos nerds a los que creas que les puede interesar!
Si tienes comentarios o quieres iniciar una conversación, recuerda que puedes hacerlo aquí.
Si te has perdido alguna edición de la newsletter o quieres volver a leerlas, puedes acceder a todas aquí.
👉 ¿Quieres conocer nuestra tecnología Titan? No te pierdas nuestra serie de tutoriales publicados en Medium.
👉 Si te interesa, puedes solicitar un acceso gratuito para probar Titan aquí https://lnkd.in/gPz-2mJ