Al pulsar el botón de copiar en el mundo real, Hesai ha creado una "cámara espacial con IA"
Al planificar la renovación de una casa antigua, muchas personas siempre quieren imaginar cómo se vería con una distribución diferente. ¿Cambiar el sofá de pared, girar la mesa del comedor o colocar el escritorio junto a la ventana haría que la habitación fuera más cómoda?
Pero trasladar estos muebles no solo es laborioso, sino que, después de todo ese esfuerzo, puede que descubras que la ubicación original era en realidad más adecuada.
Es conveniente que la IA genere primero una representación gráfica, pero las proporciones espaciales y el tamaño de los muebles en dicha representación pueden no coincidir con los de su propia casa.
Llegado este punto, algunas personas podrían pensar: "Si pudiéramos escanear nuestra casa ya amueblada e introducirla en un ordenador, mover el sofá y ajustar la mesa del comedor en el mundo virtual, ver el efecto desde diferentes ángulos y hacerlo nosotros mismos solo si estamos satisfechos, nos ahorraríamos muchos problemas".
Esto es lo que Hesai quiere hacer: crear una copia editable del mundo real.
El 14 de octubre, la compañía, conocida por su tecnología LiDAR para automóviles, lanzó el motor de datos Kosmo 3D World, que incluye la cámara espacial portátil con IA Kosmo One para la adquisición de datos y la plataforma en la nube Kosmo World para la reconstrucción, edición y gestión de activos 3D.
El objetivo del cofundador y director de tecnología de Hesai, Xiang Shaoqing, es:
"Simplifica el modelado espacial como si fuera una fotografía."
Hesai también comenzará a expandir su alcance, pasando de ser un proveedor líder profundamente arraigado en la industria automotriz al campo de la inteligencia incorporada.
Crea un clon editable de tu habitación.
En pocas palabras, el Kosmo One es un DJI Pocket que parece una versión más grande del original, equipado con un sensor LiDAR.
Integra tecnología LiDAR y cámara: el LiDAR mide la forma, la distancia y la posición de los objetos, mientras que el sistema de imagen CMOS registra el color, la textura, la luz y las sombras. Ambas informaciones se combinan para reconstruir el espacio real.
Hesai ha llevado la precisión geométrica del LiDAR al nivel milimétrico, lo que le permite identificar con claridad mallas con una separación de aproximadamente 5 mm en una raqueta de tenis. Esta capacidad para reproducir estructuras tan finas está directamente relacionada con la precisión de detalle de la réplica espacial 3D.
El componente de imagen utiliza un sensor CMOS de una pulgada, que admite captura de hasta 8K, y la resolución máxima del archivo exportado final es de 6K.
Sin embargo, el objetivo de este sensor CMOS es diferente al de una cámara convencional. Xiang Shaoqing puso el ejemplo de un suelo. El mismo suelo, al ser fotografiado desde diferentes alturas y posiciones, puede aparecer con distintos colores tras ser procesado por la cámara mediante el balance de blancos, la exposición y otros ajustes.
El "tono" y la "estilización" de los que suele hablar la industria del vídeo son cosas que Kosmo intenta evitar a toda costa.
Para Kosmo, la clave reside en preservar los colores y la iluminación originales de la escena y reducir las diferencias de procesamiento entre las distintas cámaras y en los diferentes momentos de adquisición, de modo que se puedan combinar múltiples perspectivas para formar una escena 3D coherente.
Por lo tanto, Kosmo ajustó específicamente su sistema de procesamiento de imágenes ISP para la reconstrucción 3D, con el fin de garantizar la coherencia de la imagen entre las diferentes cámaras y a lo largo del tiempo.
Durante la adquisición de datos, el lidar, el sistema de imágenes y la IMU de alta precisión se sincronizan a nivel de microsegundos, lo que permite que la imagen corresponda a la posición y orientación actuales del dispositivo, proporcionando una referencia espacial precisa para la reconstrucción de la habitación.
Según datos publicados por Hesai, en un entorno interior típico, el Kosmo One puede escanear un espacio de aproximadamente 100 metros cuadrados en unos 15 minutos. Además, el Kosmo One admite escaneo instantáneo, guía inteligente y reanudación del escaneo con un solo clic; incluso si el escaneo se pausa a la mitad, se puede reanudar desde otra ubicación.
Una vez finalizada la recopilación de datos, llegó el turno de Kosmo World para subir al escenario.
Kosmo World es responsable principalmente de dos cosas:
- Transformar los datos recopilados en un espacio inteligente que la IA pueda comprender, con el que pueda interactuar y al que pueda entrenar.
- Mediante la segmentación semántica basada en IA, los objetos de una escena se identifican y extraen como objetos 3D editables de forma independiente.
Gracias a su alta precisión, Kosmo es capaz de hacer muchas cosas que resultan difíciles para la IA general actual.
Hesai realizó una comparación in situ utilizando el GPT-6 Astra. Primero tomaron 20 fotografías de la misma habitación desde diferentes ángulos y luego utilizaron el modelo para reconstruir el entorno.
En la escena generada por GPT-6 Astra, surgieron problemas relacionados con la posición y la forma incorrectas del sofá, así como discrepancias en los materiales y la iluminación. Sin datos de alta precisión, GPT-6 Astra tiene dificultades para recrear completamente la escena real.
Incluso cuando los datos 3DGS recopilados por Kosmo se transfieren a GPT-6 Astra, las relaciones posicionales de los objetos mejoran, pero detalles como la forma de la silla y el material de las flores siguen siendo imprecisos.
Xiang Shaoqing comparó el modelo de propósito general en constante evolución con un "cerebro", mientras que Kosmo One se encarga de proporcionar "ojos" más precisos. A medida que el modelo se vuelve cada vez más inteligente, también requiere información espacial real y confiable como entrada.
Kosmo combina la adquisición de datos de alta precisión con la reconstrucción mediante IA, lo que permite que los "ojos" y el "cerebro" trabajen mejor en conjunto. Los avances en los modelos generales también pueden seguir mejorando las capacidades de reconstrucción y generación de Kosmo World.
Además, en Kosmo World, la IA seguirá procesando los objetos de la escena.
Durante la demostración en la rueda de prensa, el sistema pudo identificar el sofá mediante comandos de voz, segmentarlo y extraerlo de la escena completa. Tras mover el sofá, se reveló la alfombra que antes estaba oculta, y la IA completó la textura basándose en la información del entorno para reconstruir un mundo completo.
De "Estabilizador de mano" a "Láser de mano"
Si las cámaras de mano con estabilizador han cambiado la forma en que muchas personas documentan sus vidas, entonces Kosmo, con sus datos espaciales adicionales, también podría cambiar la forma en que muchas personas trabajan.
Como mínimo, cambió la forma en que trabaja Pixar.
RenderMan, un motor de renderizado de nivel industrial de Pixar, es la herramienta de renderizado que se encuentra detrás de una serie de grandes éxitos mundiales como Toy Story, The Mandalorian y Jurassic Park.
Dylan Sisson, director creativo de RenderMan, escaneó las icónicas lámparas y las coloridas esculturas esféricas de la plaza del campus de Pixar e las incorporó a Kosmo.
El escaneo conserva la apariencia de la escena, y la posición, el tamaño y la transparencia de los datos se pueden ajustar posteriormente en el software para determinar con mayor precisión el estilo de la imagen.
Esto significa que las escenas capturadas se pueden utilizar repetidamente en diferentes etapas de producción, lo que permite a los profesionales iterar rápidamente dentro de las escenas virtuales creadas por Kosmo y probar diferentes formas de expresión.
El espacio escaneado también puede servir como campo de entrenamiento para robots. Los desarrolladores pueden cambiar la ubicación de los objetos y el ángulo de visión en un entorno de simulación para entrenar y probar el robot repetidamente.
Según Hesai, el robot inteligente Sharpa, que incorpora tecnología Kosmo, utilizó esta plataforma para recrear una tienda DQ, crear un entorno de entrenamiento y completar el despliegue combinando hardware y modelos robóticos, logrando una tasa de éxito del 99 %.
El futuro de las cámaras espaciales depende en gran medida de si los datos que recopilan pueden integrarse en recursos 3D directamente utilizables, y de si estos recursos pueden integrarse en diferentes programas informáticos y reutilizarse repetidamente en diferentes escenarios.
Li Yifan, director ejecutivo de Hesai, cree que se espera que el mercado de la inteligencia espacial, incluidas las cámaras espaciales, supere al mercado de LiDAR a largo plazo.
Las cámaras espaciales pasarán a formar parte de la vida cotidiana.
Desde los "vídeos espaciales" en iPhone hasta las capacidades de modelado del GPT-6 Astra y las cámaras espaciales, no es difícil ver que el mundo virtual se está volviendo cada vez más "tridimensional".
En la rueda de prensa, Li Yifan expresó su esperanza de que Hesai pudiera desempeñar el papel de infraestructura, complementando los robots con capacidades de percepción, datos espaciales y movimiento, para que más empresas puedan construir sus propios robots sobre esta base.
De hecho, la industria de los vehículos inteligentes en la que Hesai opera originalmente y la inteligencia incorporada son dos caras de la misma moneda. Un automóvil que puede comprender su entorno, decidir acciones de conducción y aplicarlas a la realidad mediante la dirección y el frenado ya posee las características de la inteligencia incorporada.
El hecho de que Hesai proporcione tecnología LiDAR para automóviles significa que ya ha estado involucrado en el aspecto de percepción del vehículo.
Además, Hesai también proporciona módulos de potencia que permiten el movimiento de los robots. Según datos publicados por Hesai, a finales del segundo trimestre de 2026 se habían entregado más de 10 000 de estos módulos, y la gama de productos se está ampliando, pasando de módulos de mano diestra a módulos de articulación de cuerpo completo.
Desde radares y cámaras hasta articulaciones robóticas, Hesai está utilizando la experiencia acumulada por su empresa de LiDAR para abordar los desafíos de ingeniería en sus productos.
Sin embargo, por ahora, Kosmo está dirigido principalmente a usuarios profesionales con tareas específicas. Para convertirse en un dispositivo de uso cotidiano que cualquier persona pueda utilizar libremente, necesita un hardware más portátil y una experiencia más cómoda, desde la adquisición y el procesamiento de datos hasta su aplicación.
La mala noticia es que Hesai aún no ha anunciado el precio de venta al público de Kosmo, y a corto plazo, es posible que no puedas usarlo para escanear y remodelar tu habitación.
La buena noticia es que Kosmo seguirá evolucionando y los dispositivos de adquisición espacial tendrán la oportunidad de integrarse en la vida cotidiana de formas que van más allá de los dispositivos portátiles, gracias a la colaboración entre Hesai y sus socios.
Al final de la rueda de prensa, Hesai también dejó un "Una cosa más":
Anunció una colaboración con una importante empresa nacional de drones. El breve vídeo mostrado en el evento mostraba la perspectiva de escaneo elevándose en el aire, ampliando el alcance de la recopilación de datos a edificios exteriores y espacios más grandes.
La inteligencia espacial ha llegado, sin duda, a un punto en el que debe despegar.