Comment choisir un outil de veille stratégique ? La collecte et surveillance

57% des décideurs dans les fonctions technologies, data et analyse ont déclaré que leurs entreprises mettent en œuvre et développent des technologies de veille stratégique et market intelligence (1). 

La veille stratégique et la market intelligence et ses déclinaisons (veille concurrentielle, veille brevets, veille commerciale, veille technologique, veille réglementaire, veille tendances, veille sécurité, veille marché...) couvrent de très nombreux domaines et répondent à de multiples enjeux dans l’entreprise : 

• Stratégie (concurrents, tendance, innovation...)
• Marketing (lancement de produit, connaissance du consommateur, étude de marché, réputation...)
• Vente (suivi des clients et prospects, business development...)
• Juridiques (réglementations et normes, contrefaçons, lobbying...)
• R&D (Brevets, Etudes, innovations, essais cliniques…)
• Production (Fournisseurs, process, emplois)
• Risques (politique, activisme..)

Dans ces conditions, les entreprises privilégient les solutions logicielles de veille stratégique offrant une large gamme de fonctionnalités, pouvant répondre à cette variété de besoins et offrant un déploiement aisé dans une organisation au niveau local et international. 

La veille stratégique et ses outils : Une réponse à de nombreux enjeux 

Comment choisir un logiciel de veille ? Selon quels critères ?

Le concept de logiciel de veille abordé ici concerne des solutions permettant de simplifier et d’automatiser tout ou partie des tâches du veilleur souvent organisées selon les 5 grandes étapes de la veille, qu’il soit spécialiste ou non. Les bénéfices attendus sont notamment un gain de temps, une réduction des tâches fastidieuses et répétitives, une augmentation du temps consacré aux tâches à plus haute valeur ajoutée comme l’analyse, un spectre de sources surveillées plus étendue, un volume accru d’information analysées, qualifiées et catégorisées, un partage et une diffusion plus ciblées, un enrichissement et collaboration sur les informations et données optimisés.

Nous allons parcourir les fonctionnalités nécessaires et indispensables, en suivant les 5 grandes étapes du cycle de la veille :  La collecte, l’analyse, la capitalisation, le partage et la collaboration, la valorisation de la veille et des livrables.

Cette semaine, nous allons nous intéresser à la première phase, la collecte. On parlera ici de la collecte au sens large : recherche “one shot" à l’aide d’un moteur de recherche, veille (surveillance) sur des sources permettant de générer des alertes selon les changements de contenu ou l’apparition de mots clés. 

Le cycle de la veille géré par une solution de veille et market intelligence

1. La collecte de sources 

Le cœur d'une plate-forme de veille réside dans son aptitude à capturer, organiser et partager des données pertinentes. La performance de la solution de veille dépend en grande partie du socle constitué par la capacité de collecter des données, et en amont du sourcing (la recherche, collecte, capitalisation et qualification de sources pertinentes pour la veille). 

Un outil de veille devra donc allier un sourcing pertinent, et des technologies de collecte et recherche puissantes.

La collecte devra s'appuyer sur 6 piliers afin d’être efficace :

• Une alimentation en sources vérifiées et qualifiés et une mise à jour permanente par des consultants spécialisés, familiers de la recherche d’information et de la veille sectorielle. Au cours de cette étape, une liste des sources à surveiller sera établie et constituera le point de départ mais aussi les fondations du dispositif de veille.
• La possibilité par l’utilisateur final d’ajouter lui-même en quelques clics les sources spécialisées de son choix.
• Des technologies éprouvées de collecte aliant scraping, crawling, API, connecteurs aux bases de données tierces, collecteurs de data clients.
• L’apport de l’Intelligence Artificielle et du Machine Learning pour apprendre à reconnaître et extraire des informations sur des sites sans RSS ni API.
• La capacité à gérer tous les alphabets (latin, cyrillique, abjad arabe, idéogrammes...) et à gérer et convertir tous les types de formats (RSS, XML, HTML, PDF, Office...).
• Des technologies de recherche instantanée sur un corpus de sources qualifiées, alliées à des technologies de surveillance de sources diversifiées, web ou terrain.

La solution de veille doit donc proposer des technologies et connecteurs afin de gérer le crawling, l’accès à des bases de données, la transformation des données hétérogènes et non structurées en informations stratégiques (fichiers Office, langues, information non structurées).

Veille : Les 6 piliers d'une phase de collecte performante

2. La nécessaire diversité des sources

La Competitive intelligence repose souvent sur la confrontation des informations afin de mettre en perspective plusieurs points de vue. En outre, certaines informations et data ne sont pas disponibles sur le web visible, ni même sur l’internet. C’est pourquoi il faut maximiser le nombre de types de sources à collecter et analyser.

Une solution de veille et market intelligence puissante doit intégrer, en plus des sources classiques du web d'autres types de sources complémentaires ou exclusives dans leur contenu. Il convient donc de pouvoir rechercher et collecter : 

• Le web invisible-profond (contenu mal ou pas indexé par les moteurs de recherche de type Google)
• Le dark web (Internet clandestin ou sombre seulement accessible via des logiciels, des configurations ou des autorisations spécifiques)
• Les réseaux sociaux occidentaux et asiatiques :   au-delà des poids lourds (Instagram, Facebook, Twitter, Reddit..), il faut aussi intégrer des réseaux majeurs sur certains marchés comme Naver, QQ, Weibo, WeChat..
• Les blogs, forums et sites d’avis consommateurs généralistes et spécialisés (TripAdvisor, Yelp, Glassdoor…)
• Les bases de données et fournisseurs de contenu (Factiva, Lexis Nexis, Thomson Reuters, Web of Science, Google Scholar, Patbase..)
• Les données clients (enquêtes, notes, documents internes)
• Les données issues de la veille terrain/salons/conférences
• Les newsletters
• Les sites de presse et d’actualités
• Les flux RSS
• Les données issues du crawling et scraping
• Les données via les APIs
• Les résultats de moteurs de recherche...

Veille : Savoir collecter au sein d'une grande diversité de sources

3. La gestion de source complexes, notamment grâce à l’Intelligence Artificielle

La solution de veille doit permettre de collecter l’information présente sur des sources dites “complexes”. Collecter et surveiller des flux RSS, c’est facile. Collecter des donnés hétérogènes sur un site derrière une authentification, c’est plus compliqué.

Il faut donc pouvoir gérer :

• Les sites derrière authentification (dans la mesure où les identifiants sont fournis)
• Les sites et contenus derrières un formulaire (comme un formulaire de recherche)
• Les sites avec des données éparses non structurées (nécessitant un template d’extraction)
• Les zones précises d’une page web à surveiller
• Les données hétérogènes (plusieurs langues, plusieurs formats)
• Les sites d’actualités, corporate ou blogs sans flux RSS
• Les sites sans API

Le logiciel doit notamment pouvoir s’appuyer sur :

• l’Intelligence Artificielle et le Machine Learning pour reconnaître la structure d’une page web, d’actualités, d’une page de résultats afin d’automatiser la collecte.
• Du scraping web avancé (web crawler, extraction de section de pages, gestion des sessions web, anonymisation).
• Du crawling web large (RSS, sites web entiers, sites d’actualités).
• Des APIs avancée en  lecture / écriture pour la connexion aux bases de données internes.

Veille : Savoir gérer des sources complexes

4. Les sources prêtes à l’emploi

Les technologies de collecte éprouvées doivent être complétées par une collection de sources qualifiées, vérifiées et pertinentes. La recherche de sources est un processus particulièrement chronophage au sein du cycle de veille. Aussi, votre outil doit pouvoir fournir un catalogue de sources sélectionnés par des spécialistes, maintenues et sélectionnables par critères (format, langue, pays, secteurs etc…).

5. Les moteurs de recherche et de surveillance

Veille et recherche d’information au sens strict sont 2 démarches différentes. Dans le 1er cas, on met en surveillance des sources afin de recevoir des alertes dès lors qu’un changement quel qu’il soit intervient ou que des expressions clés apparaissent ou encore qu’un seuil d’information est dépassé.

La recherche d’information (à l’aide d’un moteur de recherche) consiste en une requête, pour obtenir des informations ou trouver une source 

Les 2 démarches se complète parfaitement et doivent être facilité et “outillées” par votre solution de veille. Elle doit proposer notamment  :

• Une interface de requêtes simplifiées avec aide à la rédaction, suggestions de termes et aperçu des résultats
• Une interface expert pour les spécialistes de l’information voulant gérer les opérateurs booléens, les parenthèses, troncatures…
• Un apport d’une IA (machine learning) pour suggérer des requêtes et perfectionner la désambiguïsation
  • Une présentation organisée des résultats des recherches par type d’évenements via l’IA et les filtres sémantiques (ex: informations affichées instantanément selon les thèmes r&d, produits, contrats, partenariats, innovation, marque employeur, recrutements, gouvernance, feedback clients etc….).
    
    
    

Voilà les critères à prendre en compte pour la 1ère phase du cycle de veille,  concernant le sourcing et la collecte.

Nous aborderons l'analyse, la capitalisation, le partage, collaboration et la valorisation dans de prochains billets.