Bing améliore sa recherche d’images

Bing rend son moteur de recherche d’images plus précis grâce à une meilleure compréhension des relations entre les requêtes des utilisateurs, les images et les pages Web.

En outre, Bing apporte également une correspondance multi-granularité à la recherche d’images avec de nouvelles techniques de correspondance de vecteur, de correspondance d’attributs et de meilleure correspondance représentative.

Being explique comment ces améliorations vont améliorer la recherche d’images:

«… Bing Image Search a utilisé de nombreuses techniques d’apprentissage en profondeur pour cartographier à la fois les requêtes et les documents dans un espace sémantique, ce qui a grandement amélioré la qualité de nos recherches. Cependant, il existe encore de nombreux cas difficiles dans lesquels les utilisateurs recherchent des objets avec un contexte ou des attributs spécifiques (par exemple: homme blond avec une moustache, Formation referencement naturel Lille tenues de danse pour les filles avec une rose) qui ne peuvent pas être satisfaits par la pile de recherche actuelle. Cela nous a incités à développer d’autres améliorations.  »

En savoir plus sur la correspondance multi-granularité de Bing.

À l’aide de l’exemple susmentionné de «tenues de danse pour filles avec une rose», Bing illustre comment sa nouvelle correspondance de vecteur pour les travaux de recherche d’images:

«Avec les progrès récents, nous avons incorporé la technologie BERT / Transformer en exploitant 1) des connaissances pré-formées pour mieux interpréter les informations textuelles… 2) un mécanisme d’attention permettant d’intégrer l’image et la page Web à la conscience mutuelle, de sorte que le document intégré résume bien la les zones saillantes de l’image et les points clés de la page Web.  »

Correspondance d’attribut
La correspondance d’attributs utilise un ensemble de techniques pour extraire un ensemble d’attributs d’objet à la fois du document de requête et du document source et utiliser ces attributs pour la correspondance. En utilisant l’exemple de requête «Photos de personnes âgées nageant», Bing montre comment elle applique les détecteurs d’attributs pour extraire des descriptions de l’apparence et du comportement de la personne.

«Bien que la page Web ne dispose pas d’informations textuelles suffisantes pour cette image, nous sommes maintenant en mesure de détecter certains attributs similaires à partir du contenu de l’image et du texte qui l’entoure. Désormais, la requête et le document peuvent être considérés comme une « correspondance précise », car ils partagent les mêmes attributs.  »

Requête de la meilleure représentante (BRQ)
Bing a enrichi les métadonnées des images avec les informations relatives aux requêtes les plus représentatives. La requête la mieux représentante pour une image donnée est une requête pour laquelle l’image serait un bon résultat.

Les BRQ ressemblent aux requêtes des utilisateurs, ce qui signifie qu’elles peuvent être associées naturellement et facilement aux requêtes entrantes. Il s’agit généralement d’un résumé des principaux sujets de la page Web et du contenu principal de l’image.

Selon Bing, générer un ensemble plus riche de fichiers BRQ pour les images permettra d’obtenir de meilleurs résultats de recherche.