Description:
Analyse de données interactive : la rencontre de ES|QL, Arrow et Pandas
Par Sylvain Wallez, Principal Software Engineer, Elastic
L'introduction de ES|QL dans Elasticsearch facilite la recherche et l'analyse de grands jeux de données.
ES|QL présente ses résultats sous forme tabulaire en JSON, CSV et aussi au format Apache Arrow, un format de dataframe compact permettant des échanges sans désérialisation, qui est nativement supporté par la librairie Python Pandas.
Cette intégration ouvre de nouvelles perspectives pour l'exploration des données avec les outils habituels des data analysts, et l'intégration facile des pipelines d'aggrégation dans les applications.
Après un bref aperçu de ES|QL, nous ferons une exploration interactive d'un jeu de données avec ES|QL, Arrow et Pandas dans un notebook Jupyter. Et un petit benchmark vous montrera l'efficacité du format Arrow comparé à JSON !
Sylvain is software architect and developer since the last century, member of the Apache Software Foundation. He writes code for machines of all sizes, from tiny micro-controllers to large server farms.
Working at Elastic for 7 years, currently as tech lead of the SDK/client libraries team after having been a tech lead in the Cloud team.
Share this link via
Or copy link