18 May 2016 apache, zeppelin, toplevel, graduation, spark, notebook, and visualization


The Apache Software Foundation Announces Apache® Zeppelin™ as a Top-Level Project

Original announcement can be found here. Congrats team!

Open Source Big Data analytics and visualization tool for distributed, interactive, and collaborative systems using Apache Flink, Apache Hadoop, Apache Spark, and more.

Forest Hill, MD –25 May 2016– The Apache Software Foundation (ASF), the all-volunteer developers, stewards, and incubators of more than 350 Open Source projects and initiatives, announced today that Apache® Zeppelin™ has graduated from the Apache Incubator to become a Top-Level Project (TLP), signifying that the project’s community and products have been well-governed under the ASF’s meritocratic process and principles.

Apache Zeppelin is a modern, web-based notebook that enables interactive data analytics. Notebooks help developers, data scientists, and related users to handle data efficiently without worrying about command lines and cluster details.

“The Zeppelin community is pleased to graduate from the Apache Incubator,” said Lee Moon Soo, Vice President of Apache Zeppelin. “With 118 worldwide contributors and widespread adoption in numerous commercial products, we are proud to officially be a part of the Apache Big Data ecosystem.”

Zeppelin’s collaborative data analytics and visualization capabilities makes data exploration, visualization, sharing, and collaboration easy over distributed, general-purpose data processing systems that use Apache Flink, Apache Hadoop, and Apache Spark, among other Big Data platforms.

Apache Zeppelin is: Multi-purpose –features data ingestion, exploration, analysis, visualization, and collaboration; Robust –supports 20+ more backend systems, including Apache Spark, Apache Flink, Apache Hive, Python, R, and any JDBC (Java Database Connectivity); Easy to deploy –built on top of modern Web technologies (provides built-in Apache Spark integration, eliminating the need to build a separate module, plugin, or library); Easy to use –with built-in visualizations and dynamic forms; Flexible –allows users to mix different languages, exchange data between backends, adjust the layout; Extensible –with pluggable architecture for interpreters, notebook storages, authentication, and visualizations (in progress); and Advanced –allows interaction between custom visualizations and cluster resources

“With Apache Zeppelin, a wide range of users can make beautiful data-driven, interactive, and collaborative documents with SQL, Scala, and more,” added Soo.

Apache Zeppelin is in use at an array of organizations and solutions, including Amazon Web Services, Hortonworks, JuJu, and Twitter, among others.

“Congratulations to Apache Zeppelin community on graduation,” said Tim Hall, Vice President of Product Management at Hortonworks. “Several members of our team have been working over the past year in the Zeppelin community to make it enterprise ready. We are excited to be associated with this community and look forward to helping our customers get the best insights out of their data with Apache Zeppelin.”

“Apache Zeppelin is becoming an important tool at Twitter for creating and sharing interactive data analytics and visualizations,” said Prasad Wagle, Technical Lead in the Data Platform team at Twitter. “Since it integrates seamlessly with all the popular data analytics engines, it is very easy to create and share reports and dashboards. With its extensible architecture and a vibrant Open Source community, I am looking forward to Apache Zeppelin advancing the state of the art in data analytics and visualization.”

“Apache Zeppelin is the major user-facing piece of Memcore’s in-memory data processing Cloud offering. Building a technology stack might be quite exciting engineering challenge, however, if users can’t visualize and work with the data conveniently, it is as good as not having the data at all. Apache Zeppelin enables efficient user acquisition by anyone trying to build new products or service offerings in the Big- and Fast- Data markets, making innovations, collaboration, and development easier for anyone,” said Dr. Konstantin Boudnik, Founder and CEO of Memcore.io. “I am very excited to see Apache Zeppelin graduating as an ASF Top Level Project. This shows that more people are joining the community, bringing the project to a new level, and adding more integration points with existing data analytics and transactional software systems. This directly benefits the community at-large.”

Apache Zeppelin originated in 2013 at NFLabs as Peloton, a commercial data analytics product. Since entering the Apache Incubator in December 2014, the project has had three releases, and twice participated in Google Summer of Code under the Apache umbrella.

“It was an honor to help with the incubation of Zeppelin,” said Ted Dunning, Vice President of the Apache Incubator. “I have been very impressed with the Zeppelin community and the software they have built. I see Apache Zeppelin being adopted all over the place where people need to apply a notebook style to a wide variety of kinds of computing.”

Catch Apache Zeppelin in action during Berlin Buzzwords, 7 June 2016 https://s.apache.org/mV8E

Availability and Oversight Apache Zeppelin software is released under the Apache License v2.0 and is overseen by a self-selected team of active contributors to the project. A Project Management Committee (PMC) guides the Project’s day-to-day operations, including community development and product releases. For downloads, documentation, and ways to become involved with Apache Zeppelin, visit http://zeppelin.apache.org/ and https://twitter.com/ApacheZeppelin

About the Apache Incubator The Apache Incubator is the entry path for projects and codebases wishing to become part of the efforts at The Apache Software Foundation. All code donations from external organizations and existing external projects wishing to join the ASF enter through the Incubator to: 1) ensure all donations are in accordance with the ASF legal standards; and 2) develop new communities that adhere to our guiding principles. Incubation is required of all newly accepted projects until a further review indicates that the infrastructure, communications, and decision making process have stabilized in a manner consistent with other successful ASF projects. While incubation status is not necessarily a reflection of the completeness or stability of the code, it does indicate that the project has yet to be fully endorsed by the ASF. For more information, visit http://incubator.apache.org/

About The Apache Software Foundation (ASF) Established in 1999, the all-volunteer Foundation oversees more than 350 leading Open Source projects, including Apache HTTP Server –the world’s most popular Web server software. Through the ASF’s meritocratic process known as “The Apache Way,” more than 550 individual Members and 5,300 Committers successfully collaborate to develop freely available enterprise-grade software, benefiting millions of users worldwide: thousands of software solutions are distributed under the Apache License; and the community actively participates in ASF mailing lists, mentoring initiatives, and ApacheCon, the Foundation’s official user conference, trainings, and expo. The ASF is a US 501(c)(3) charitable organization, funded by individual donations and corporate sponsors including Alibaba Cloud Computing, ARM, Bloomberg, Budget Direct, Cerner, Cloudera, Comcast, Confluent, Facebook, Google, Hortonworks, HP, Huawei, IBM, InMotion Hosting, iSigma, LeaseWeb, Microsoft, OPDi, PhoenixNAP, Pivotal, Private Internet Access, Produban, Red Hat, Serenata Flowers, WANdisco, and Yahoo. For more information, visit http://www.apache.org/ and https://twitter.com/TheASF

© The Apache Software Foundation. “Apache”, “Zeppelin”, “Apache Zeppelin”, “Ambari”, “Apache Ambari”, “Flink”, “Apache Flink”, “Hadoop”, “Apache Hadoop”, “Hive”, “Apache Hive”, “Spark”, “Apache Spark”, and “ApacheCon” are registered trademarks or trademarks of the Apache Software Foundation in the United States and/or other countries. All other brands and trademarks are the property of their respective owners.


제플린 프로젝트, 아파치재단 톱레벨 프로젝트로 승격

아파치 제플린은 오픈소스 데이터 분석 및 시각화 도구로, 아파치 스파크, 아파치 하둡, 아파치 타조 등 여러 기존의 분석 도구들을 연결하여 활용할 수 있다. 빅데이터 분석을 빠르고 인터랙티브하게 수행하며 쉽게 협업할 수 있는 것이 특징이다.

아파치 소프트웨어 재단은 오늘 아파치 제플린이 아파치 인큐베이터 프로그램(Apache Incubator)에서 졸업하여, 탑레벨 프로젝트 (Top-Level Project, TLP)로 승격되었음을 발표하였다. 이는 프로젝트의 개발자, 사용자 커뮤니티가 아파치의 원칙과 프로세스에 의해 잘 진행되고 있음을 공식적으로 인정하는 것이기도 하다.

아파치 제플린은 멋진 디자인을 가진 웹 기반의 노트북 도구이다. 제플린을 활용하면 개발자나, 데이터 사이언티스트들이 어려움 없이 데이터 분석을 빠르고 인터랙티브하게 수행할 수 있다.

아파치 제플린 프로젝트의 부의장인 이문수씨는 인터뷰에서 다음과 같이 이야기했다. “제플린 커뮤니티가 인큐베이터 프로그램을 졸업하게 되어 정말 기쁩니다. 전 세계적으로 118명의 컨트리뷰터들이 있고, 수많은 상용 데이터 분석 제품들에서도 제플린을 적용하고 있습니다. 공식적으로 아파치 빅데이터 생태계의 일부가 되어 정말 자랑스럽습니다.”

제플린을 강력한 데이터 분석 기능과 시각화 기능이 특징이다. 이를 활용하면 데이터 탐색, 시각화, 공유, 협업 등을 정말 손쉽게 수행할 수 있다. 또한 제플린은 아파치 스파크, 아파치 하둡, 아파치 타조, 아파치 플링크 등 다양한 빅데이터 플랫폼을 활용할 수 있어 활용도가 높다.

제플린의 특징: 다용도 - 데이터 습득, 탐색, 분석, 시각화, 협업 등을 수행할 수 있다. 호환성 - 아파치 스파크, 아파치 타조, 아파치 플링크, 아파치 하이브, 파이썬, R, JDBC 등 20개 이상의 플랫폼을 지원한다. 쉬운 적용 - 잘 다듬어진 웹 기반 기술로 만들어져 있다. (아파치 스파크를 기본 탑재하고 있어, 별도로 설치하지 않아도 됨) 쉬운 사용 - 시각화 도구와 입력 폼 등을 내장하고 있다. 유연함 - 사용자가 다양한 프로그래밍 언어를 조합하거나, 데이터를 주고받고, 레이아웃을 바꾸는 일 등이 가능하다. 확장성 - 언어 인터프리터와 노트북 저장공간, 인정, 시각화 등을 플로그인 가능하다. 고급 기능 - 커스텀한 시각화나 클러스터 리소스 등과 연계하는 작업 등이 가능하다.

“아파치 제플린을 사용하면, SQL이나, Scala 등을 활용하여 인터랙티브한 멋진 데이터 기반의 문서를 만들 수 있습니다.” 이문수씨는 덧붙였다.

아파치 제플린은 이미 AWS(아마존 웹 서비스), 호톤웍스같은 솔루션들이나, 트위터, VCNC(비트윈) 등 수많은 조직에서 활용되고 있다.

호튼웍스의 PM인 Tim Hall은 말했다. “제플린의 탑레벨 승격을 축하합니다! 우리 팀의 팀원들은 작년동안 제플린 커뮤니티에서 제플린을 엔터프라이즈에 활용할 수 있도록 작업을 해 왔습니다. 우리는 커뮤니티에서 활동하는것이 정말 신나고, 우리의 고객들이 아파치 제플린을 통해 좋은 분석 결과를 얻기를 기대합니다.”

트위터 데이터 플랫폼 팀의 기술 팀장인 Prasad Wagle은 이야기했다. “트위터에서, 아파치 제플린은 데이터 분석과 시각화 자료를 공유하는데에 점점 중요한 도구가 되고 있습니다. 거의 모든 데이터 분석 엔진과 잘 연동되기 때문에, 리포트와 대시보드를 만들고 공유하는 것이 정말 쉽습니다. 확장 가능한 구조와 활발한 오픈소스 커뮤니티 덕에, 아파치 제플린은 데이터 분석과 시각화의 새 지평을 열 것이라고 생각합니다.”

Memcore.io의 창립자 및 대표인 Konstantin Boudnik 박사는 말했다. “아파치 제플린은 Memcore 인메모리 클라우드 제품의 사용자 UI 에서 큰 비중을 차지하고 있습니다. 기술 스택을 만드는 것은 상당히 어려운 도전입니다. 하지만 사용자가 그들의 데이터를 손쉽게 시각화할 수 없으면, 데이터가 없는 것과 마찬가지입니다. 아파치 제플린은 새로운 빅데이터 제품을 만드는데에 정말 효율적입니다.” “제플린이 인큐베이터 프로그램을 졸업하고 탑레벨 프로젝트가 되는것을 보니 정말 기쁩니다. 더 많은 사람들이 커뮤니티에 찹여하고, 프로젝트를 새로운 단계로 끌어올릴 것입니다. 그리고 더 많은 데이터 분석 툴과 연동이 가능할 것입니다. 이는 분명히 커뮤니티에도 큰 이익입니다.”

아파치 제플린은 대한민국에 소재한 NFLabs에서 2013년부터 시작되었으며, 2014년 12월 아파치 인큐베이터 프로그램에 편입되었고, 아파치 관리하에 3번의 릴리즈를 하였고, Google Summer of Code 프로그램에 2회 참여하였다.

아파치 인큐베이터 프로그램의 부의장인 Ted Dunning은 이야기하였다. “제플린 프로젝트의 인큐베이팅을 도울 수 있어 영광이었습니다. 저는 제플린 커뮤니티와 그들이 만들어낸 소프트웨어에 정말 감명받았습니다. 아파치 제플린이 노트북 스타일의 작업이 필요한 많은 곳들에 적용되는 것을 보았습니다.”

Availability and Oversight 아파치 제플린은 아파치 라이센스 2.0에 의해 배포되며, 자율적인 컨트리뷰터들에 의해 관리된다. 프로젝트 관리 의회 (PMC)가 커뮤니티 개발이나, 제품 배포 등의 업무를 관리하고 있다. 다운로드나, 문서, 혹은 아파치 제플린 개발에 참여하려면 공식 사이트를 방문하면 된다. http://zeppelin.apache.org/

blog comments powered by Disqus