Hace un momento se lanzó oficialmente el Gemini 4 Carbon, y Hakimi recuperó el primer puesto a nivel mundial
¿Ha vuelto finalmente Géminis a la vida?
Mientras la atención mundial está centrada en el primer MacBook Pro con pantalla táctil de Apple, Google DeepMind acaba de anunciar oficialmente el lanzamiento de su nuevo modelo insignia, el Gemini 4 Carbon.
Según datos oficiales, el Gemini 4 Carbon obtuvo 59 puntos en la última clasificación del Índice de Inteligencia Artificial de Análisis v5.0, superando Claude Opus 5.5 y al GPT-6 Astra para convertirse en el mejor modelo de gran tamaño del mundo.
Lo que resulta aún más impresionante es que el Gemini 4 Carbon ha sido capaz de gestionar tareas de ingeniería complejas durante varios días consecutivos, encontrando, verificando y corrigiendo de forma autónoma vulnerabilidades de seguridad del software, y estableciendo nuevos récords en múltiples pruebas de referencia de ciberseguridad.
Sin embargo, un modelo tan potente aún no está disponible para los usuarios comunes: Google ha decidido priorizar su disponibilidad para un pequeño número de profesionales de la ciberseguridad, y todavía no hay un calendario claro sobre cuándo otros usuarios podrán experimentarlo.
Tras haber recuperado el primer puesto en el ranking mundial, Géminis está ahora superando sus límites.
Al repasar la competición de modelos a gran escala de este año, el ritmo de actualizaciones de Google muestra claramente indicios de que "aprende de sus errores y se esfuerza por mejorar".
Anteriormente, tras el lanzamiento de la serie Gemini Flash 3.5 a 3.8, Google tardó en cumplir con las expectativas para una nueva generación de modelos Pro insignia. Por otro lado, Anthropic y OpenAI siguen ampliando los límites de la tecnología, y los modelos nacionales también se están poniendo al día. Google necesita urgentemente un producto sólido para demostrar su fortaleza una vez más.
El Gemini 4 Argon finalmente hizo su debut hace apenas dos semanas.
El argón, cuyo nombre significa "argón", es un gas inerte estable que se utiliza habitualmente para la protección ambiental en la soldadura y la fabricación de semiconductores. Si bien el argón ha experimentado mejoras significativas en la calidad de la escritura y la expresión, aún se encuentra por detrás de los modelos de gama alta en cuanto a rendimiento general.
Ahora, Google ha presentado el carbono. Como elemento esencial en la formación de la vida y los compuestos orgánicos, el carbono puede formar tanto grafito blando como diamante duro.
: https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/Lo que realmente llamó la atención sobre el Gemini 4 Carbon fue la serie de resultados de rendimiento publicados sobre el mismo.
El 27 de octubre, la organización independiente de evaluación de modelos Artificial Analysis actualizó su Índice de Inteligencia a la versión 5.0. Este índice integral abarca cuatro áreas principales: trabajo intelectual, programación, ciencia y razonamiento general, cada una con un peso del 25 %. El 60 % de la ponderación de la evaluación utiliza datos de prueba propios o respuestas ocultas, lo que aumenta aún más la dificultad de la prueba.
Cuando se publicó la nueva clasificación ayer, Claude Opus 5.5 ocupó el primer lugar con 58 puntos, seguido de cerca por el GPT-6 Astra con 57 puntos, y el GPT-6.1 Sol en tercer lugar con 55 puntos. El Gemini 4 Carbon, sin embargo, obtuvo 59 puntos, 9 puntos más que el Argon y 1 punto por delante del líder anterior, Claude Opus 5.5.
No solo en Análisis Artificial, sino que las últimas clasificaciones de Arena.ai también muestran que Gemini 4 Carbon (Alto) encabezó la lista en Text Arena, ocupó el segundo lugar en Agent Arena y el cuarto en Code Arena WebDev.
Desliza hacia la izquierda para ver más contenido.
Con el nuevo modelo alcanzando la cima, Google ha comenzado a promocionar activamente Gemini internamente. Shunyu Yao, un investigador chino que anteriormente trabajó en Anthropic y se unió a Google DeepMind, también respalda la serie Gemini.
Además de la clasificación general, el Gemini 4 Carbon también mostró cambios significativos en su rendimiento en tareas de ingeniería del mundo real.
En el pasado, un modelo complejo podía programarse en minutos, pero con la ingeniería de software a gran escala, los problemas son mucho más complejos. Un fallo oculto en cientos de archivos puede requerir que los desarrolladores revisen repetidamente las dependencias, localicen la anomalía, modifiquen el código y realicen múltiples rondas de pruebas antes de poder resolverlo.
Para la IA, además de las habilidades de programación, otro desafío es si puede mantener un objetivo coherente durante la ejecución de tareas a largo plazo y seguir intentándolo después de un fracaso.
Google afirma que el Gemini 4 Carbon ha podido funcionar de forma continua durante días, resolviendo problemas de ingeniería complejos en grandes bases de código y sistemas subyacentes. Incluso cuando encuentra obstáculos, puede seguir buscando otras soluciones y, en última instancia, localizar y corregir algunos defectos de software ocultos.
En el ámbito del desarrollo web, el Gemini 4 Carbon mejoró su puntuación Elo en WebDev Arena en 89 puntos, alcanzando los 1769 puntos y situándose en cuarta posición.
En comparación con los asistentes de programación fácilmente disponibles en el pasado, Google espera que el Gemini 4 Carbon pueda convertirse en un agente verdaderamente autónomo capaz de realizar tareas de ingeniería complejas.
La IA comienza a encontrar, explotar y corregir vulnerabilidades de forma autónoma.
Si la programación a largo plazo demuestra las capacidades de ingeniería del Gemini 4 Carbon, entonces la ciberseguridad es quizás el aspecto más destacable de esta actualización de Google.
El trabajo tradicional en seguridad de software implica varios pasos: primero, encontrar vulnerabilidades en una gran cantidad de código; luego, determinar si las vulnerabilidades pueden ser explotadas; y finalmente, escribir soluciones para abordar los problemas y verificar la efectividad de las modificaciones.
Las capacidades mejoradas del Gemini 4 Carbon cubren perfectamente todo este proceso.
En la prueba SEC-bench Pro, el Gemini 4 Carbon obtuvo una puntuación del 88,2 %, que examina principalmente la capacidad del modelo para descubrir de forma autónoma vulnerabilidades complejas en software real.
En la prueba de ExploitGym, Gemini 4 Carbon logró una tasa de éxito del 54,8%, que se centra en si la vulnerabilidad puede ser explotada realmente para verificar el riesgo.
En la prueba CWE-bench de Collinear, el Gemini 4 Carbon obtuvo una puntuación del 71,0 %, lo que demuestra su capacidad para generar correcciones de código efectivas para los problemas identificados.
Según los resultados de Google, el Gemini 4 Carbon logró un rendimiento líder en las tres pruebas, y estos resultados se obtuvieron sin activar las restricciones de seguridad.
Las pruebas internas de Google también arrojaron resultados similares.
En la generación de código seguro, la tasa de éxito de Gemini 4 Carbon es más del doble que la de Argon; el equipo de Chrome descubrió que genera parches de seguridad de alta calidad más de diez veces mejores que un modelo de vanguardia de otro laboratorio, pero no reveló la comparación. La plataforma de seguridad en la nube de Google, Wiz, también observó que Carbon obtuvo resultados líderes en las pruebas de penetración de aplicaciones web.
Desde el descubrimiento de vulnerabilidades y la verificación de riesgos hasta la implementación de soluciones, la IA está dominando gradualmente todo el flujo de trabajo de los expertos en ciberseguridad. Sin embargo, estas mismas capacidades, que pueden utilizarse para reparar sistemas, también pueden ser explotadas por atacantes. Por ello, Google se ha centrado en mejorar la fiabilidad de Carbon al realizar tareas de forma autónoma.
En las pruebas de Terminal-Bench 4.0, la tasa de trampas exitosas de Carbon se redujo al 0,0%, y la tasa de intentos de trampa fue de solo el 0,4%, mientras que la precisión en las tareas mejoró. En un entorno de programación real, las alertas de inconsistencia de comportamiento de alta gravedad disminuyeron en casi un 80%, las afirmaciones sin evidencia de respaldo disminuyeron aproximadamente a la mitad, y los casos de acciones no autorizadas y finalización incompleta de tareas disminuyeron en un 26% y un 29%, respectivamente.
Otro avance proviene de la protección contra la inyección precoz.
Los atacantes pueden inyectar instrucciones maliciosas en páginas web o documentos para inducir a la IA a desviarse de su tarea original. En la prueba de inyección indirecta de señales de Gray Swan, Carbon redujo aún más la tasa de éxito del ataque, pasando del 0,7 % de Argon al 0,0 %, resistiendo todos los intentos de ataque incluidos en esta prueba.
Por supuesto, un índice de éxito cero en las pruebas no significa que se puedan prevenir todos los ataques en el mundo real. Algunos usuarios de Hacker News creen que reducir la tendencia de la IA a usar trucos al realizar tareas podría ser un avance significativo para mejorar la practicidad de los modelos de vanguardia.
Al fin y al cabo, cuando la IA comience a gestionar de forma autónoma tareas de ingeniería complejas, la gente no solo deberá preocuparse por si podrá completar el trabajo, sino también por si se extralimitará en sus funciones, falsificará resultados o incluso actuará por su cuenta al encontrarse con obstáculos.
La tendencia de marketing más novedosa en el mundo de la IA son las actuaciones sin atrezzo.
Sin embargo, la controversia que más llamó la atención tras el lanzamiento del Gemini 4 Carbon tuvo poco que ver con las capacidades del modelo.
Según el calendario oficial, el Gemini 4 Carbon se entregará inicialmente a un grupo selecto de profesionales de la ciberseguridad esta semana, y posteriormente se extenderá gradualmente a socios de confianza a través del programa Fairwind. Google también participa en un programa de pruebas previas al lanzamiento, organizado voluntariamente por el gobierno estadounidense. Por el momento, no hay una fecha prevista para su disponibilidad para desarrolladores y usuarios comunes.
En cuanto a los precios, Gemini 4 Carbon adoptará el modelo de precios inicial de Argon, con un costo de $2 por millón de tokens de entrada y $10 por millón de tokens de salida, con un descuento del 95 % en las entradas almacenadas en caché. Tras el período promocional, el precio estándar se ajustará a $4 para las entradas y $20 para las salidas.
Cabe mencionar que cuando se informó a Hacker News sobre el nuevo modelo de Google, la sección de comentarios se animó rápidamente.
Muchos internautas expresaron su creciente descontento con la práctica de Google de anunciar nuevos modelos con antelación pero retrasar su lanzamiento; otros dijeron que les daba pereza hacer clic en los enlaces de lanzamiento de modelos de Google porque siempre se encontraban con que el producto era temporalmente inutilizable.
No está claro cuándo empezó, pero las empresas de IA parecen haberse vuelto cada vez más expertas en una forma peculiar de lanzar sus productos.
Lo que originalmente era un modelo estrella, listo para su uso inmediato tras su pulido, ahora se presenta como un producto demasiado poderoso y potencialmente capaz de destruir el mundo. Se emiten comunicados de prensa periódicamente para captar la atención de todos, pero al final, nunca se utilizan.
Este método de lanzar "actuaciones sin atrezzo" ha desviado por completo Anthropic su camino.
En definitiva, la competencia por el título de la IA número uno del mundo se asemeja cada vez más a una estrategia de marketing. En una era donde los modelos se actualizan casi a diario, lanzar nuevos es más fácil, pero convencer a los usuarios de sus capacidades resulta cada vez más difícil.
Al fin y al cabo, las pruebas de referencia nos pueden indicar el rendimiento de un modelo en los exámenes, pero aún está por ver si se puede aplicar a entornos de trabajo reales y generar valor sostenido una vez que los usuarios lo utilicen realmente.
Para Géminis, quizás más importante que volver a proclamarse como número uno del mundo sea poner este producto, el número uno del mundo, a disposición de más personas lo antes posible.