Azure Data Explorer의 데이터를 Python Pandas Dataframe과 CSV로 변환

Azure Data Explorer의 데이터를 Python Pandas Dataframe과 CSV로 변환

Python에서 ADX 연결을 위해 Kusto 쿼리 준비

ADX 테이블 생성 쿼리

Python “azure-kusto-data” 패키지 설치

ADX 인증 방식들을 통한 인증

인터렉티브 로그인(Interactive login)

Service Principal을 이용한 로그인

Python으로 Kusto 쿼리 수행

Kusto 쿼리 결과를 Pandas Dataframe으로 변환

Dataframe을 CSV로 저장

성능 및 속도 리뷰

ADX의 100만건 데이터 쿼리 후 클라이언트로 가져와 메모리로 로드하는 시간

100만건 kusto query result를 dataframe으로 변환하는 시간

100만건의 Dataframe을 CSV로 저장하는 시간

참고링크

--

--

--

SQLER community leader — www.sqler.com

Love podcasts or audiobooks? Learn on the go with our new app.

Recommended from Medium

The wicked problem of scalability in Cloud computing and How to defeat?

Integrate Gitlab with Google Cloud workload identity federation

SSL Pinning bypass on Android using JadX

Download In ?PDF Engineering with Excel (5th Edition) Read *book %ePub

Rescued by my Custom SFDX Plug-In

Aerial view of laptop and mouse on dark colored desk

Why did we choose Rust over Golang or C/C++ to develop TiKV?

Journal 135 — Unity App Development, Interactive Map Info Cards with Scriptable Objects

Deep Dive into Apollo GraphQL Http Server

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
Dae Woo Kim

Dae Woo Kim

SQLER community leader — www.sqler.com

More from Medium

The easiest way to parallelize pandase

Compare identical data files from different sources

Create Data frame using API

image.png

Pandas borrows a core concept from SQL and these 3 emoji tell you exactly how to use it