Début septembre et conclusion

Test de la prédiction dans Biwee

Dès mon retour  de vacances, j’ai entamé une phase de test de performances de la prédiction que j’ai construit dans Biwee. Pour ce faire, j’ai été chercher des données réelles de prédiction quantitative (régression) sur des sites comme UCI. J’ai ensuite pu réaliser quelques prédictions et analyser leurs performances directement au sein de Biwee avec un tableau de bord. Ces tableaux de bord m’ont permis d’afficher pour un jeu de données et sa prédiction des graphiques (permettant de comparer les valeurs connues et leur prédiction) mais aussi de calculer des indices de performance comme le MAE (Mean Absolute Error de la prédiction) et enfin de mettre des couleurs et des pourcentages me permettant de savoir à quel point ma prédiction est précise.

Amélioration de la prédiction

Grâce à cette phase de test, j’ai pu identifier les points à améliorer dans mon modèle prédictif de régression.

J’ai tout d’abord commencé par ajouter des modules sur mon modèle d’Azure Machine Learning me permettant d’avoir quelques statistiques essentielles sur le jeu de données (Valeurs manquantes, moyennes ...).
J’ai également ajouté un module python utilisant les librairies scikit learn et matplotlib réalisant une prédiction très rapide et affichant des « Learning Curves »  me permettant de savoir si mon modèle « overfit » ou « underfit » le jeu de données.

J’ai ensuite créé une partie de « Feature engineering » au début de mon modèle qui nettoie les données manquantes, mais aussi transforme les dates en nouvelles données  intéressantes (année, mois, jour de la semaine…) et enfin transforme les données catégoriques de texte inexploitables par un algorithme en valeurs qualitatives numériques. J’ai réalisé cela avec des modules Azure ML et Python.

Enfin, j’ai tenté d’améliorer mes algorithmes avec des modèles ensemblistes avec du « voting » ou « stacking ».

Point prédiction et Intégration web

Enfin, j’ai listé les fonctionnalités que propose actuellement ma prédiction et j’ai énuméré toutes les choses qu’il faut changer ou améliorer afin de pouvoir faire un point avec la direction sur la suite.

Pour finir, dans les semaines qui suivent et qui vont précéder la rentrée, je vais réaliser de l’intégration de pages web avec Drupal sur le site weenove.fr pour le pôle marketing.

Conclusion

En conclusion, ces 3 mois de stage au sein de Weenove m’ont permis de mettre en pratique mes compétences théorique en Machine Learning, mais aussi d’en acquérir de nouvelles, en Machine Learning (Azure Machine Learning, Feature Engineering…), mais également dans d’autres domaines (Talend, Crawling web, Drupal, R&D en autonomie). Ce stage m’a également permis de gérer des projets à responsabilité et en autonomie.

Je suis vraiment satisfait de ce stage qui a pleinement répondu à mes attentes concernant le Machine Learning et la réalisation d’un projet d’analyse prédictive.

Pour finir, j’enchaîne dès la rentrée sur un stage alterné chez Weenove.