Vikram Koka 걸려 넘어졌다 아파치 공기 흐름 2019 년 말, 그는 사물 인터넷 업계에서 일하고 있으며 소프트웨어를 사용하여 센서 데이터를 조정하는 솔루션을 찾고있었습니다. 공기 흐름은 완벽하게 맞는 것처럼 보였지만 Koka는 오픈 소스 프로젝트의 정체 상태. 따라서이 죽어가는 소프트웨어에 대한 두 번째 삶을 숨 쉬는 여정을 시작했습니다.
공기 흐름은 의식이었다 에어 비앤비. 회사는 시스템을 만들었습니다 데이터 관련 워크 플로를 자동화하고 관리합니다데이터웨어 하우스의 데이터 세트 청소 및 구성 및 호스트 및 게스트 참여에 대한 메트릭 계산과 같은. 2015 년 AirBnB는 소프트웨어를 오픈 소스로 출시했습니다. 그런 다음 4 년 후 공기 흐름은 a로 전환했습니다 최상위 프로젝트 에서 아파치 소프트웨어 재단오픈 소스 소프트웨어의 주요 개발자이자 청지기.
그러나 한때 번성하는 프로젝트는 평평한 다운로드와 버전 업데이트가 부족하여 정체되었습니다. 일부 관리자는 다른 노력에 중점을두고 리더십이 나뉘어졌습니다.
그러나 Koka는 소프트웨어의 잠재력을 믿었습니다. 정적 구성 파일과 달리 공기 흐름은 “코드로 구성”의 원리를 따릅니다. 워크 플로는 다음으로 표시됩니다 지시 된 acyclic 그래프 작업 중 – 지향적 인 가장자리와 루프가없는 그래프. 개발자는이 작업을 파이썬 프로그래밍 언어작업을 더 잘 정의하는 데 도움이되는 라이브러리 및 기타 종속성을 가져올 수 있습니다. 음악 지휘자와 유사하게 공기 흐름은 작업의 심포니를 오케스트레이션하고 워크 플로의 스케줄링, 실행 및 모니터링을 관리합니다.
이 유연성은 코카의 눈을 사로 잡는 것입니다. “저는 코드 우선 파이프 라인의 개념 (실제로 코드에 배치 될 수있는 피플린)의 개념에 사랑에 빠졌습니다.”라고 그는 말합니다. “프로그래밍 방식의 워크 플로의 전체 개념은 저에게 호소력이있었습니다.”
Koka는 공기 흐름 선을 오른쪽으로 일하기 시작했습니다. 수십 년의 데이터 경험을 가진 오픈 소스 기고자로서 소프트웨어 엔지니어링 공간, 그는 지역 사회의 사람들과 연결되어 신뢰성에 대한 버그를 고치고 다른 개선 사항을 제작했습니다. 1 년이 걸렸지 만 공기 흐름 2.0은 2020 년 12 월에 출시되었습니다.
공기 흐름의 성장과 커뮤니티 확장
그것은 프로젝트의 중요한 전환점이되었습니다. 그것에서 다운로드 Github 저장소 증가하고 더 많은 기업이 소프트웨어를 채택했습니다. 이 성장에 힘 입어 팀은 차세대 공기 흐름을 구상했습니다 : 모듈 식 아키텍처,보다 현대적인 사용자 인터페이스 및 “어디서나 실행”기능을 통해 구내에서 작동 할 수 있습니다. 구름또는에 가장자리 예정된 작업 외에도 장치 및 처리 및 임시 시나리오를 처리합니다. 이 팀은 지난 4 월 공기 흐름 3.0의 출시 로이 비전을 전달했습니다.
“공기 흐름 3에서 일할 때 ‘비행기를 날아가는 동안 비행기를 재건하는 것은 놀라운 일이었다. Jarek Potiuk공기 흐름에 가장 큰 기여자 중 한 명이며 현재 프로젝트 관리위원회 위원입니다. “우리는 공기 흐름 2를 실행하고 버그 수정을 제공하면서 소프트웨어를 많이 리팩터링하고 움직여야했습니다.”
Koka는 Github에서 한 달에 수백 ~ 천만 개의 다운로드를 보유한 Airflow의 두 번째 버전과 비교할 때“이제 우리는 한 달에 3 천 5 백만에서 4 천만 사이의 다운로드를 평균화하고 있습니다.” 이 프로젝트의 커뮤니티는 또한 전 세계의 모든 기술 수준의 3,000 명 이상의 개발자가 공기 흐름에 기여했습니다.
Jens Scheffler 그 커뮤니티의 적극적인 부분입니다. 디지털 테스트 자동화의 기술 아키텍트로서 보쉬그의 팀은 회사의 자동 운전 시스템에 대한 테스트를 조정하기 위해 소프트웨어를 사용하여 공기 흐름의 얼리 어답터 중 하나였습니다.
Scheffler는 공기 흐름 회원의 개방성과 응답 성에서 지침과 지원 요청에 영감을 받았기 때문에“커뮤니티에 무언가를 돌려주는 것, 코드의 공헌”을 고려했습니다. 그는 처음에는 몇 개의 패치를 제출 한 다음 팀뿐만 아니라 다른 공기 흐름 사용자에게도 도움이되는 기능에 대한 아이디어를 구현했습니다. Scheffler는 또한 공기 흐름을 사용하는 Bosch 내의 다른 부서를 발견했기 때문에 소규모 사내 커뮤니티를 구성하여“우리는 지식을 교환하고 연락을 유지할 수 있습니다.”
Airflow의 프로젝트 관리위원회 위원이자 데이터 운영 플랫폼의 최고 전략 책임자 인 Koka 천문학 자거대한 기고자 그룹을 관리하는 것은 어려운 일이지만, 그 네트워크를 육성하는 것은 소프트웨어를 개선하는 것만 큼 필수적입니다. 공기 흐름 팀은 더 큰 기능을 다루기 전에 문서를 시작으로 개발자가 점차적으로 기여할 수있는 시스템을 설립했습니다. 또한 신속하게 대응하고 건설적인 피드백을 제공 할 수있는 지적으로 만듭니다.
“지역 사회의 많은 사람들에게 [Airflow] 입양 된 아이입니다. Koka는“우리 중 어느 누구도 원래 제작자가 아니었지만 더 많은 사람들이 그것을 채택했다고 생각하기를 원합니다.”라고 Koka는 말합니다.“우리는 다른 조직, 다른 나라에서 다른 언어를 사용하고 있지만 여전히 특정 사명을 향해 모일 수 있습니다. 나는 그렇게 할 수있는 것을 좋아합니다.”
AI 및 기계 학습의 공기 흐름의 미래
공기 흐름 팀은 이미 미래의 기능을 계획하고 있습니다. 여기에는 Python 이외의 프로그래밍 언어로 작업을 작성하는 도구, 특정 체크 포인트에서 작업을 검토하고 승인 할 수있는 루프 기능 및 지원을 지원하는 도구가 포함됩니다. 인공 지능 (AI) 그리고 기계 학습 워크 플로. 에 따르면 공기 흐름의 2024 설문 조사소프트웨어는 기계 학습 운영 (MLOPS)에서 사용 사례가 증가하고 있으며 생성 AI.
“우리는 IT 업계에서 AI와 ML 워크로드가 가장 중요한 것들이 가장 중요한 순간이며, 훈련에서 추론, 추론, 그리고 모든 워크로드를 만들어야 할 필요가 있습니다. 에이전트 Potiuk는 가공-가공-신뢰할 수 있고, 확장 가능하며, 일반적으로 그들이 운행 할 수있는 암석 기반을 가지고있다”고 Potiuk는 말했다.