Introducción

¿Crees que GROK3 será el "punto final" de los modelos previamente capacitados?

Elon Musk y el equipo de XAI lanzaron oficialmente la última versión de Grok, Grok3, durante una transmisión en vivo. Antes de este evento, una cantidad significativa de información relacionada, junto con la exageración promocional de Musk 24/7, elevó las expectativas globales de GROK3 a niveles sin precedentes. Hace solo una semana, Musk declaró con confianza durante una transmisión en vivo mientras comentaba sobre Deepseek R1, "Xai está a punto de lanzar un mejor modelo de IA". Según los informes, los datos presentados en vivo, GROK3 ha superado a todos los modelos principales actuales en puntos de referencia para matemáticas, ciencias y programación, con Musk incluso afirmando que GROK3 se utilizará para tareas computacionales relacionadas con las misiones de Marte de SpaceX, prediciendo "ruptores en el nivel de premio Nobel en tres años". Sin embargo, estas son actualmente solo las afirmaciones de Musk. Después del lanzamiento, probé la última versión beta de GROK3 y planteé la pregunta clásica de trucos para modelos grandes: "¿Cuál es más grande, 9.11 o 9.9?" Lamentablemente, sin clasificadores o marcas, el llamado GROK3 más inteligente todavía no pudo responder a esta pregunta correctamente. GROK3 no pudo identificar con precisión el significado de la pregunta.

Esta prueba rápidamente llamó la atención considerable de muchos amigos, y casualmente, varias pruebas similares en el extranjero han demostrado que Grok3 lucha con preguntas básicas de física/matemáticas como "¿Qué pelota cae primero desde la torre inclinada de Pisa?" Por lo tanto, ha sido etiquetado con humor como "un genio que no está dispuesto a responder preguntas simples".

Grok3 es bueno, pero no es mejor que R1 u O1-Pro.

GROK3 experimentó "fallas" en muchas pruebas de conocimiento común en la práctica. Durante el evento de lanzamiento de XAI, Musk demostró usar GROK3 para analizar las clases de personajes y los efectos de la ruta del juego del Exilio 2, que decía jugar a menudo, pero la mayoría de las respuestas proporcionadas por GROK3 eran incorrectas. Musk durante la transmisión en vivo no notó este problema obvio.

Este error no solo proporcionó evidencia adicional para que los internautas en el extranjero se burlaran de Musk por "encontrar un sustituto" en los juegos, sino que también plantearon preocupaciones significativas con respecto a la confiabilidad de GROK3 en aplicaciones prácticas. Para tal "genio", independientemente de sus capacidades reales, su confiabilidad en escenarios de aplicación extremadamente complejos, como las tareas de exploración de Mars, sigue en duda.

Actualmente, muchos evaluadores que recibieron acceso a GROK3 hace semanas, y aquellos que acaban de probar las capacidades del modelo durante unas horas ayer, todos apuntan a una conclusión común: "Grok3 es bueno, pero no es mejor que R1 o O1-Pro".

Una perspectiva crítica sobre "interrumpir nvidia"

En el PPT presentado oficialmente durante el lanzamiento, se demostró que Grok3 estaba "muy por delante" en el Chatbot Arena, pero estas técnicas gráficas de uso inteligente: el eje vertical en la tabla de clasificación solo enumeró los resultados en el rango de puntaje de 1400-1300, lo que hace que la diferencia original del 1% en los resultados de las pruebas parezca excepcionalmente significativo en esta presentación.

En los resultados reales de puntuación del modelo, GROK3 está solo 1-2% por delante de Deepseek R1 y GPT-4.0, que corresponde a las experiencias de muchos usuarios en pruebas prácticas que encontraron "sin diferencia notable". GROK3 solo excede a sus sucesores en un 1%-2%.

Aunque GROK3 ha obtenido un puntaje más alto que todos los modelos probados públicamente actualmente, muchos no toman esto en serio: después de todo, Xai ha sido criticado previamente por "manipulación de puntaje" en la era de Grok2. A medida que la tabla de clasificación penalizó el estilo de longitud de la respuesta, los puntajes disminuyeron en gran medida, lo que llevó a los expertos de la industria a criticar a menudo el fenómeno de la "alta puntuación pero baja capacidad".

Ya sea a través de la "manipulación" de la tabla de clasificación o los trucos de diseño en las ilustraciones, revelan la obsesión de Xai y Musk con la noción de "liderar el paquete" en las capacidades del modelo. Musk pagó un alto precio por estos márgenes: durante el lanzamiento, se jactó de usar 200,000 GPU H100 (reclamando "más de 100,000" durante la transmisión en vivo) y alcanzar un tiempo de entrenamiento total de 200 millones de horas. Esto llevó a algunos a creer que representa otra bendición significativa para la industria de la GPU y considerar el impacto de Deepseek en el sector como "tonto". En particular, algunos creen que el poder computacional será el futuro de la capacitación modelo.

Sin embargo, algunos internautas compararon el consumo de 2000 GPU H800 durante dos meses para producir Deepseek V3, calculando que el consumo de energía de entrenamiento real de GROK3 es 263 veces mayor que el de V3. La brecha entre Deepseek V3, que anotó 1402 puntos, y Grok3 es de poco menos de 100 puntos. Tras el lanzamiento de estos datos, muchos se dieron cuenta rápidamente de que detrás del título de Grok3 como el "más fuerte del mundo" se encuentra un claro efecto de utilidad marginal: la lógica de modelos más grandes que generan un rendimiento más fuerte ha comenzado a mostrar rendimientos decrecientes.

Incluso con "alta puntuación pero baja capacidad", Grok2 tenía grandes cantidades de datos de primera parte de alta calidad de la plataforma X (Twitter) para admitir el uso. Sin embargo, en la capacitación de GROK3, Xai encontró naturalmente el "techo" que OpenAi actualmente enfrenta: la falta de datos de capacitación premium expone rápidamente la utilidad marginal de las capacidades del modelo.

Es probable que los desarrolladores de Grok3 y Musk sean los primeros en comprender e identificar estos hechos profundamente, por lo que Musk ha mencionado continuamente en las redes sociales que la versión que los usuarios están experimentando ahora es "todavía solo la versión beta" y que "la versión completa se lanzará en los próximos meses". Musk ha asumido el papel del gerente de productos de GROK3, lo que sugiere que los usuarios proporcionan comentarios sobre varios temas encontrados en la sección de comentarios.

Sin embargo, en un día, la actuación de GROK3 sin duda dio alarmas para aquellos que esperan confiar en el "músculo computacional masivo" para entrenar modelos grandes más fuertes: basado en la información de Microsoft disponible en público, el GPT-4 de OpenAI tiene un tamaño de parámetro de 1.8 billones de parámetros, más de diez veces el de GPT-3. Los rumores sugieren que el tamaño del parámetro de GPT-4.5 podría ser aún mayor.

A medida que los tamaños de parámetros del modelo se disparan, los costos de capacitación también se disparan. Con la presencia de Grok3, contendientes como GPT-4.5 y otros que desean continuar "quemando dinero" para lograr un mejor rendimiento del modelo a través del tamaño de los parámetros deben considerar el techo que ahora está claramente a la vista y contemplar cómo superarlo. En este momento, Ilya Sutskever, ex científico jefe de OpenAI, había declarado previamente en diciembre pasado: "El entrenamiento previo con el que estamos familiarizados llegará a su fin", que ha resurgido en las discusiones, lo que provocó esfuerzos para encontrar el camino real para capacitar a los grandes modelos.

El punto de vista de Ilya ha sonado la alarma en la industria. Antimamente previó el inminente agotamiento de los nuevos datos accesibles, lo que lleva a una situación en la que el rendimiento no puede continuar mejorando a través de la adquisición de datos, comparándolo con el agotamiento de los combustibles fósiles. Indicó que "al igual que el contenido generado por el petróleo, generado por humanos en Internet es un recurso limitado". En las predicciones de Sutskever, la próxima generación de modelos, después del entrenamiento, poseerá "verdadera autonomía" y capacidades de razonamiento "similares al cerebro humano".

A diferencia de los modelos previamente capacitados de hoy que dependen principalmente de la coincidencia de contenido (según el contenido del modelo previamente aprendido), los sistemas de IA futuros podrán aprender y establecer metodologías para resolver problemas de una manera similar al "pensamiento" del cerebro humano. Un humano puede lograr el dominio fundamental en un tema con solo literatura profesional básica, mientras que un modelo grande de IA requiere millones de puntos de datos para lograr solo la eficacia de nivel de entrada más básica. Incluso cuando la redacción se cambia ligeramente, estas preguntas fundamentales pueden no entenderse correctamente, lo que ilustra que el modelo no ha mejorado genuinamente en inteligencia: las preguntas básicas pero insoluble mencionadas al comienzo del artículo representan un claro ejemplo de este fenómeno.

Conclusión

Sin embargo, más allá de la fuerza bruta, si Grok3 realmente logra revelar a la industria que "los modelos previamente capacitados se acercan a su fin", conllevaría implicaciones significativas para el campo.

Quizás después del frenesí que rodea a Grok3 disminuye gradualmente, presenciaremos más casos como el ejemplo de Fei-Fei Li de "ajustar modelos de alto rendimiento en un conjunto de datos específico por solo $ 50", descubriendo en última instancia el verdadero camino hacia AGI.