Acara ini menjadi konferensi pertama di Asia Tenggara yang membahas Apache Flink, sebuah framework open-source yang dirancang untuk memadukan stream-processing dan batch-processing oleh Apache Software Foundation.

“Dengan semakin besarnya kebutuhan akan data, penting bagi kita untuk memiliki pemrosesan data yang efisien, scalable, dan terintegrasi. Untuk itulah, Alibaba Cloud meluncurkan Flink 2.0,” ujar Feng Wang, Head of Open Data Platform at Alibaba Cloud Intelligence.

Ditambahkan oleh Wang bahwa teknologi ini terus berkembang sejak diperkenalkan pada 2016, sekaligus menandai sepuluh tahun keberhasilannya sebagai layanan unggulan Apache, yang juga untuk terus mendukung komunitas Apache Flink.

Fitur-fitur Baru Apache Flink 2.0

Dijadwalkan rilis pada awal 2025, Apache Flink 2.0 menandai evolusi besar dalam teknologi pemrosesan data, dengan penekanan pada kemajuan signifikan menuju arsitektur terpadu untuk pemrosesan batch dan stream.

Pendekatan ini menyederhanakan komputasi di era cloud-native, sekaligus menjadi landasan untuk menangani beban kerja hybrid yang penting di era GenAI, di mana kemampuan pemrosesan data yang canggih sangat diperlukan untuk aplikasi AI baru. 

Kontribusi utama Alibaba Cloud dalam Apache Flink 2.0 mencakup:

• Disaggregated State Storage and Management: Untuk mendukung teknologi cloud modern Flink, Alibaba Cloud memperkenalkan fitur baru di Flin 2.0 yang disebut Disaggregated State Storage and Management. Fitur ini memungkinkan penggunaan penyimpanan jarak jauh sebagai pengganti disk lokal, sehingga pengguna dapat mengelola data berukuran besar dengan lebih mudah. Arsitektur baru ini memungkinkan pengguna menangani kumpulan data besar tanpa terkendala kapasitas disk lokal, rescale pekerjaan dengan lebih cepat dan lebih efisien, mengurangi lonjakan sumber daya, serta mencapai checkpoint yang ringan dan cepat secara native. 
• Materialized Table: Fitur ini dirancang untuk lebih menyederhanakan pemrosesan data batch dan streaming sekaligus memberikan pengalaman pengembangan yang terintegrasi. Dalam rilis Flink 2.0 mendatang, Alibaba Cloud meningkatkan dukungan operasional untuk Materialized Tables, termasuk integrasi konektor dengan format lake terkini dan scheduler yang siap guna. 
• Adaptive Batch Execution: Dengan mengoptimalkan rencana pengolahan data secara dinamis disesuaikan dengan logis dan fisik berdasarkan insight dari eksekusi, Flink 2.0 meningkatkan efisiensi dan kinerja pemrosesan batch dan analisis data secara real-time Online Analytical Processing (OLAP).
• Arsitektur Streaming Lakehouse: Dengan pemrosesan stream-batch yang terpadu, arsitektur ini mendukung analitik data real-time dengan lebih baik melalui pemanfaatan penyimpanan data yang terintegrasi, open format, dan efisiensi biaya dalam paradigma Lakehouse. Dengan demikian, pengguna dapat menangani pembaruan data yang dinamis dan kueri dengan tingkat ketepatan data yang bervariasi, sehinga memenuhi berbagaikebutuhan analitik. 

Transformasi Bisnis dengan Apache Flink

Mekari, perusahaan penyedia software-as-a-service (SaaS) terkemuka di Indonesia, memanfaatkan kemampuan pemrosesan stream Flink 1.0 untuk mengatasi tantangan dalam pengolahan dan integrasi data secara real-time.

Dengan Flink, Mekari berhasil menangkap data secara real-time dari berbagai sumber dan mengintegrasikannya dengan mulus ke dalam MaxCompute, platform pemrosesan data skala besar milik Alibaba.

Integrasi ini tidak hanya mengurangi waktu pemrosesan, tetapi juga meningkatkan kecepatan dan kualitas pengambilan keputusan melalui proses streaming data yang andal, sehingga mendorong efisiensi operasional dan memberikan wawasan yang tepat waktu dan akurat.

“Apache Flink 2.0 menghadirkan masa depan pemrosesan data dan potensi dampaknya pada industri cloud+AI. Terus dikembangkan, Apache Flink kini telah menetapkan standar baru untuk industri,” tambah Wang.

Pengembangan yang terus dilakukan oleh Alibaba Cloud adalah dengan memodernisasi komponen Apache Flink, mengadopsi lebih banyak inovasi AI, dan meningkatkan integrasi dengan proyek-proyek Apache lainnya.

Dalam acara tersebut, Alibaba Cloud juga mengumumkan telah membuka akses open-source untuk Fluss (Flink Unified Streaming Storage) di GitHub, sebuah solusi penyimpanan streaming yang dirancang untuk analitik real-time.

Solusi penyimpanan ini juga berfungsi sebagai lapisan data real-time pada arsitektur Lakehouse. Fluss menjembatani kesenjangan antara data streaming dan data Lakehouse, memfasilitasi pengumpulan dan pemrosesan data dengan latensi rendah dan throughput tinggi.

Solusi ini terintegrasi secara mulus dengan mesin komputasi terkemuka, termasuk Apache Flink, untuk meningkatkan utilitas dan efisiensinya dalam pengelolaan data.  Alibaba Cloud juga terus berkontribusi pada pengembangan komunitas open-source Apache Flink.

Selain itu, juga turut mengoptimalkan lapisan SQL dan Runtime Flink, serta mengintegrasikan Flink dengan proyek ekosistem lainnya. Inovasi-inovasi ini sangat mendorong kemajuan Flink secara keseluruhan untuk meningkatkan skalabilitas, keandalan, stabilitas, dan kinerja.