화요일, 4월 23, 2024
Home자동화LG화학 DX 그 중심에는 '시민애널리스트'가 있다

LG화학 DX 그 중심에는 ‘시민애널리스트’가 있다


“우리의 데이터 분석 플랫폼을 더 많은 사람들이 이용할 수 있게 함으로써 데이터의 가치를 더 많이 누릴 수 있기를 바랍니다.”

LG화학 DX를 담당하는 AI추진팀 김낙회장은 지난 5일 본지와의 인터뷰에서 이렇게 말했다. 김낙회 담당은 지난 5일 그랜드 인터컨티넨탈 서울 파르나스에서 스노우플레이크 코리아가 진행한 ‘데이터 클라우드 월드 투어’에서 ‘CDS 플랫폼을 만들기 위한 여정의 눈송이’라는 주제로 고객 사례 발표 세션을 진행했다.

‘지속가능성을 선도하는 과학기업’을 표방하는 LG화학은 디지털 트랜스포메이션(DX) 기술을 핵심 미래 경쟁력으로 여기고, 전 임직원이 DX 관련 업무와 인공지능(AI) 및 인공지능(AI)을 수행한다는 목표를 세웠다. 기계 학습. . 이에 우리는 사용자가 데이터 분석에 있어 전문적인 역량 없이도 다양한 데이터의 가치를 탐색하고 초보적인 수준의 AI 시스템 개발이 가능하도록 ‘시민 데이터 과학자(Citizen Data Scientist, CDS) 분석 플랫폼’을 만들었습니다.

김낙회 LG화학 DX 과장, AI추진팀장

김낙회는 사내 데이터를 수집해 분석 가능한 데이터세트를 만들고, CDS 분석 플랫폼을 개발·운영하는 데이터 엔지니어링 업무를 담당하고 있다.

LG화학의 CDS 분석 플랫폼은 노코드(No-Code)를 지향한다. 이는 데이터 분석을 스스로 하고 싶지만 컴퓨터 언어를 모르는 비즈니스 부서 구성원을 수용하기 위한 것입니다. 데이터 사이언티스트는 회사의 전문 지식을 모두 알지 못하기 때문에 해당 분야의 전문가인 현장 관리자는 다른 사람에게 의존하지 않고 자신의 전문 지식을 바탕으로 분석을 수행할 수 있습니다.

김낙회 책임은 “CDS 분석 플랫폼은 전문 데이터 사이언티스트는 물론 현장 엔지니어, 인사관리자들의 데이터 직접 분석 요구에 부응하기 위해 만들어졌다”고 말했다. 이어 “분석을 위해서는 데이터를 찾거나 프로그래밍 언어를 배워야 한다. “어려움이 많기 때문에 누구나 AI/ML, DX 작업을 분석하고 수행할 수 있는 플랫폼을 만들고 싶었습니다.”라고 설명했습니다.

그는 “회사 내에서 데이터 분석 역량은 초급, 중급, 고급으로 나눠져 있다. 초보자는 AI나 머신러닝에 대해 아무것도 모르지만, 약간의 데이터 교육을 통해 지식을 얻으면 자신의 데이터를 CDS 플랫폼에 업로드해 분석할 수 있습니다.” 기존 데이터 웨어하우스(DW)가 사내 데이터를 수집하는 저장 개념인 반면, CDS 분석 플랫폼은 데이터를 Snowflake에 저장하고 DataIku로 분석합니다. Python과 같은 코딩을 몰라도 UI 기반으로 데이터 조인 등의 작업을 수행할 수 있습니다. “그는 말했다.

CDS 분석 플랫폼의 주요 요소는 Snowflake 및 Dataiku로 구축되었습니다. 제조 시설의 현장 데이터는 Snowflake에 수집되어 저장되며 Dataiku는 분석 환경으로 사용됩니다. 사용자가 Dataiku에서 분석 작업을 수행하면 Snowflake는 데이터를 이동하거나 복제하지 않고 해당 위치에서 이를 계산하고 결과를 Dataiku에 공개합니다.

CDS 분석 플랫폼의 주요 사용 사례는 품질 예측입니다. 각 공장의 실시간 데이터를 분석해 품질을 예측하는 작업이다. MES, PIS, QMS 등의 데이터를 수집하여 분석할 수 있는 데이터 형식으로 변환합니다. 최종 사용자는 Dataiku에서 직접 원하는 데이터 파이프라인을 구성할 수 있습니다. 데이터 유형과 사용자 요구 사항에 따라 프로세스 데이터는 거의 실시간으로 유지되며 1분 또는 30초마다 수집됩니다.

김 과장은 “클라우드에 있는 데이터 레이크에서 일괄적으로 데이터를 가져오거나, 실제 DB에서 실시간 데이터를 가져와서 가져온 데이터를 스노우플레이크에 저장한다”며 “데이터는 다양한 곳에 저장된다”고 말했다. Dataiku에 필요한 테이블. 그는 “조인, 피벗, ETL 등의 파이프라인을 생성하고, 최종적으로 분석가나 사용자가 사용할 수 있는 ‘L1 데이터’를 데이터이쿠의 피처 스토어에 등록한다”고 아키텍처를 설명했다.

이어 “사용자들은 피처스토어에서 찾아 사용할 수 있다”며 “직접 엑셀 파일을 업로드해 분석할 수 있다”고 덧붙였다.

그는 먼저 Dataiku를 선택한 후 Snowflake를 도입하기로 결정했다고 말했습니다. 그는 Dataiku가 여러 메뉴에 Snowflake 커넥터를 제공하고 쿼리 가속화 서비스 옵션을 제공하는 등 많은 기능을 가지고 있다고 말했습니다.

그는 “특히 Snowflake가 Dataiku에서 처리해야 할 작업을 처리하고 결과만 받는 푸시다운 기능이 마음에 들어서 거의 모든 데이터를 Snowflake에 저장하고 사용할 계획”이라고 말했습니다. SaaS 계정을 만든 후에는 연결이 어렵습니다.” “그리고 특정 기능에 대해서는 참고할 만한 한국어 문서가 많아서 소개하기도 쉬웠어요.”

현재 CDS 분석 플랫폼은 사전 오픈 상태입니다. 이달 내 정식 오픈을 목표로 일부 신청자와 DX 기관에서 실험적으로 활용하고 있다. 짧은 시간이었지만 실제 사용자 경험을 바탕으로 빠른 속도와 편의성으로 좋은 평가를 받았다고 한다. Dataiku는 AI/ML API를 제공하고 있으며 ChatGPT는 API에 쉽게 연결할 수 있으므로 사용을 고려하고 있습니다.

그는 앞으로 스노우플레이크에 기대되는 작품 중 하나로 ‘스노우 파크’를 꼽았다.

관련 기사

그는 “파이썬 코드를 실행하려면 데이터이쿠에서 클러스터를 실행해야 하는데, 리소스를 생성해야 하고 스노우플레이크에서 데이터를 가져와야 하기 때문에 인프라 비용이 발생한다”고 말했다. 이어 “스노우파크는 데이터를 제자리에 보관해 두고 스노우플레이크에서 활용한다. “회전이 가능하기 때문에 속도와 비용 측면에서 이점이 있을 것으로 기대하고 있으며, 스노우파크 컨테이너 서비스도 기대하고 있습니다.”

이어 “스노우플레이크는 고객이 원하는 것을 충실히 듣고, 고객이 갈 수 있는 길을 만들어 주려고 노력하는 모습을 느꼈다. 미래 기술을 갖춘 LLM 회사를 인수하고 엔비디아와 협력하는 등 미래 전망이 좋은 회사라고 생각합니다.”

RELATED ARTICLES

LEAVE A REPLY

Please enter your comment!
Please enter your name here

- Advertisment -
Google search engine

Most Popular

Recent Comments