Enrichissement de l’offre LLM de Vertex AI #
La nouvelle addition notable est Gemini 1.5 Pro, capable de gérer jusqu’à un million de tokens dans une fenêtre contextuelle. Les premiers échos des entreprises indiquent que cette capacité pourrait éliminer le besoin d’affiner les modèles ou d’employer le RAG (Retrieval Augmented Generation) pour ajuster les réponses du modèle.
De plus, Gemini 1.5 Pro peut traiter les flux audio, y compris la parole et le son des vidéos. Selon Google, cette capacité donne aux utilisateurs la possibilité d’effectuer une analyse multimodale et de recueillir des informations sur le texte, les images, les vidéos et le son. Par ailleurs, le modèle Pro supporte la transcription, qui peut être utilisée pour rechercher du contenu audio et vidéo.
Introduction de Codegemma et évolution d’Imagen 2 #
Le LLM Imagen 2, un autre produit du catalogue de Google Cloud, a également été amélioré. Il dispose maintenant de fonctionnalités d’édition de photos, ainsi que la possibilité de créer des vidéos de 4 secondes ou des « images en direct » à partir de prompts textuels. Par ailleurs, CodeGemma, un modèle léger de la famille propriétaire Gemma, fait partie des dernières mises à jour LLM de Vertex AI.
Google compte faciliter l’obtention de réponses plus précises de leurs modèles de base en permettant aux équipes d’utiliser des LLM dans Google Search et leurs propres données via Vertex AI. Selon Google, ancrer les modèles dans Google Search peut significativement améliorer la précision des réponses.
Amélioration des capacités MLops dans Vertex AI #
Dans le but d’aider les entreprises dans leurs tâches d’apprentissage machine, Google Cloud a étendu les capacités MLops de Vertex AI. Une des fonctionnalités améliorées, Prompt Management, aide les équipes à expérimenter des prompts, à les migrer et à les suivre ainsi que leurs paramètres. Prompt Management offre également une bibliothèque de prompts utilisés par les équipes, y compris les versions, l’option de restauration des anciens prompts et les suggestions générées par l’IA pour améliorer les performances des requêtes.
Quand Ophélie Meunier remet Yann Barthès à sa place : tensions et révélations surprenantes en direct
De plus, Google Cloud a étendu la résidence des données stockées au repos pour les API Gemini, Imagen et Embeddings de Vertex AI à 11 nouveaux pays, dont l’Australie, le Brésil, la Finlande, Hong Kong, l’Inde, Israël, l’Italie, la Pologne, l’Espagne, la Suisse et Taïwan.
Lancement de Vertex AI Agent Builder #
Dans le but de rivaliser avec Microsoft et AWS, Google Cloud a lancé Vertex AI Agent Builder, une offre basée sur l’IA générative. Cette offre, une combinaison de Vertex AI Search et du portefeuille de produits Conversation de la firme, propose une gamme d’outils pour construire plus rapidement des chatbots soutenus par les LLM Gemini. Grâce à des composants prédéfinis, la plateforme facilite la création, la maintenance et la gestion d’implémentations plus complexes.
Les développeurs peuvent rapidement effectuer des vérifications sur les entrées grâce aux API RAG intégrées dans l’offre. Pour des implémentations plus complexes, Agent Builder propose également une recherche vectorielle pour construire des systèmes RAG basés sur des embeddings personnalisés. Les développeurs ont aussi la possibilité de mouliner les résultats du modèle dans Google Search afin d’améliorer encore les réponses.
- Extensions Vertex AI : modules réutilisables préconstruits pour connecter un LLM à une API ou un outil spécifique.
- Fonctions Vertex AI : aident les développeurs à décrire un ensemble de fonctions ou d’API et à faire en sorte que Gemini sélectionne intelligemment la bonne API ou fonction à appeler, ainsi que les paramètres API appropriés.
- Connecteurs de données : permettent d’ingérer des données provenant d’entreprises et d’applications tierces comme ServiceNow, Hadoop et Salesforce.
En plus de toutes ces mises à jour, Google a intégré Gemini à son offre de business intelligence, Looker. Cette intégration donne à la plateforme des capacités d’analyse conversationnelle, de génération de rapports et de formules, LookML et d’assistance à la visualisation, ainsi que de génération automatisée de diapositives Google. Plusieurs autres mises à jour ont été apportées à la suite d’offres d’analyse de données, notamment le lancement d’une version gérée d’Apache Kafka pour BigQuery et l’interrogation continue pour le même service.
