Big Data Viettel vào TOP15 nhóm đóng góp mã nguồn Apache Spark

Đóng góp lớn cho dự án nguồn mở Apache Spark – công nghệ xử lý dữ liệu lớn được sử dụng rộng rãi nhất trên thế giới hiện nay, nhóm chuyên gia Công nghệ dữ liệu lớn của Ban Quản trị dữ liệu Viettel đã góp phần đưa tri thức về công nghệ dữ liệu lớn của Viettel ra thế giới, khẳng định năng lực world-class của người Viettel. 

Cuối tháng 06/2021, nhóm kỹ sư dữ liệu lớn DC – Heroes đã lọt vào Top 15 nhóm có đóng góp nổi bật nhất tháng trong dự án mã nguồn mở Apache Spark – công nghệ xử lý dữ liệu được sử dụng rộng rãi nhất trên thế giới hiện nay trong các hệ thống Big Data. Chính thức thay đổi vị thế từ “người thừa hưởng” sang “người cống hiến” tri thức cho cộng đồng dữ liệu thế giới – một sứ mệnh đúc kết từ kinh nghiệm và năng lực sâu – rộng về dữ liệu lớn của Viettel.

1 256
Big Data Viettel xuất sắc góp mặt trong top contributor Apache Spark

Với tầm nhìn “tổ chức hướng dữ liệu” mà Tập đoàn hướng đến trong thời đại mới; từ năm 2012 Viettel đã bắt đầu tiên phong tổ chức nghiên cứu, xây dựng Hệ thống xử lý và khai thác dữ liệu lớn tập trung. Tại đây các hệ thống như Viettel BI, Viettel Data Lake, Viettel Data Platform… được nghiên cứu và triển khai thành công ở cả thị trường Việt Nam và các thị trường nước ngoài mà Viettel đang đầu tư kinh doanh. Các sản phẩm này sử dụng Apache Spark làm công nghệ xử lý dữ liệu chính. Đây là công nghệ xử lý dữ liệu lớn mã nguồn mở hàng đầu trong các hệ thống Dữ liệu lớn thế giới nhờ ưu điểm về tốt độ và sự ổn định vượt trội so với những công nghệ khác. Các ứng dụng sử dụng Spark có hiệu năng gấp từ 10-100 lần việc xử lý dữ liệu sử dụng công nghệ khác.

2 225

Nền tảng dữ liệu lớn đầu tiên tại Việt Nam – Viettel Data Platform là sản phẩm của quá trình gần 10 năm nghiên cứu và làm chủ những công nghệ dữ liệu lớn

Trong suốt gần 10 năm phát triển với những đóng góp vào hiệu quả kinh doanh, từ chỗ “chân ướt chân ráo” vào ngành dữ liệu đến khả năng làm chủ công nghệ dữ liệu lớn như hiện nay; bằng kinh nghiệm dẫn dắt thị trường của mình, Viettel giờ đây khao khát được chia sẻ tri thức và công nghệ dữ liệu hơn nữa. Không chỉ là nghiên cứu để sử dụng như trước đây, mà còn cần tham gia phát triển, góp phần xây dựng cộng đồng công nghệ thế giới. “Viettel đã nhận được nhiều từ cộng đồng, từ các công nghệ mà Viettel đang sử dụng trong các hệ thống đến những tài liệu để nghiên cứu, học tập… phần lớn đến từ cộng đồng, đã đến lúc Viettel đủ năng lực và kinh nghiệm để đóng góp ngược lại cho thế giới” – Phó Trưởng ban Quản trị dữ liệu Đoàn Thanh Tám trăn trở.

artboard 3 100 1
Nhóm DC – Heroes xác định công việc chính cho dự án của Spark tháng 6 sẽ là đóng góp những mã nguồn (code changes)

Với sứ mệnh “Mang tri thức và công nghệ dữ liệu của Viettel góp phần xây dựng cộng đồng công nghệ thế giới”, nhóm DC – Heroes xác định công việc chính cho dự án của Spark tháng 6 sẽ là đóng góp những mã nguồn (code changes) – phần khó và đòi hỏi nhiều thời gian nhất trong dự án. Với kinh nghiệm và tri thức thực hiện nhiều dự án dữ liệu lớn tại Viettel; khi có xuất hiện lỗi của người dùng, nhóm sẽ tái hiện và phân tích lỗi, sau đó đưa ra các giải pháp khắc phục. Sau đó thực hiện viết mã để sửa và kiểm thử để đảm bảo chắc chắn những thay đổi của mình hoạt động tốt.

20210629 163427
Nhóm đã phải làm việc liên tục và tập trung cho dự án

Theo anh Thanh – Trưởng nhóm DC – Heroes, vì đây là một dự án lớn, với đóng góp của các tên tuổi hàng đầu trên thế giới nên mã nguồn mà nhóm đóng góp vào dự án phải tuân thủ nghiêm ngặt các tiêu chuẩn quốc tế và phải vượt qua sự thẩm định gắt gao của các chuyên gia hàng đầu Spark, một giải pháp phải được đánh giá là vượt trội hơn so với các nhóm tác giả khác trên toàn cầu.

Với việc có tên trong top contributor tháng của dự án Apache Spark, những mã nguồn do nhóm DC – Heroes đóng góp sẽ được chạy trên các hệ thống của các tổ chức/ tập đoàn lớn trên thế giới như Amazon, eBay, NASA, Tencent… Đồng nghĩa với việc tri thức và công nghệ dữ liệu của Viettel sẽ được nhân rộng và ứng dụng rộng khắp trên toàn cầu.

Theo các chuyên gia của ngành dữ liệu, các mã nguồn mở của Spark có sức ảnh hưởng rộng khắp trong ngành dữ liệu thế giới, liên quan đến việc việc ứng dụng công nghệ để phân tích và xử lý các dữ liệu nhanh chóng. Đặc biệt sự có mặt trong top 15 nhóm chuyên gia xây dựng dự án của Spark và là sự ghi nhận cao nhất về tri thức ngành công nghệ dữ liệu của Viettel trên toàn thế giới.

Chat hỗ trợ
Chat ngay