Mọi người định nghĩa Big Data bằng một tập hợp 3, 4 hoặc 10 chữ V. Những chữ V này có thực sự cho chúng ta định nghĩa khái niệm Big Data hay là điều khác mà chúng muốn nói? Lý do chính sử dụng đặc trưng dựa trên V là để làm nổi bật những thách thức đi kèm với Big Data. Thách thức như — thu thập, làm sạch, tuyển chọn, tích hợp, lưu trữ, xử lý và nhiều hơn nữa.
Những chữ V này chỉ ra hướng chuẩn bị cho các Thách thức có thể xảy ra. Thách thức có thể chặn đường khi bạn bắt đầu quản trị Big Data của mình:
- Tăng theo thể tích lớn (Volume)
- Tăng trưởng với tốc độ lớn (Velocity)
- Sinh ra nhiều loại đa dạng (Variety)
- Thay đổi với sự biến thiên lớn (Variability)
- Yêu cầu quy trình duy trì độ chính xác lớn (Veracity)
- Khi chuyển đổi cho hình ảnh hóa lớn (Visualization)
- Có giá trị ẩn lớn (Value)
Những chữ V này giải thích các khía cạnh quan trọng của Big Data và Chiến lược Big Data mà tổ chức không thể bỏ qua. Hãy xem tất cả các V đóng góp cho các thuộc tính khác nhau của Big Data:
1. Volume (Thể tích):
100 terabyte dữ liệu được tải lên Facebook mỗi ngày; Akamai phân tích 75 triệu sự kiện/ngày để nhắm mục tiêu quảng cáo trực tuyến; Walmart xử lý 1 triệu giao dịch khách hàng mỗi giờ. 90% toàn bộ dữ liệu từng được tạo ra sinh ra trong 2 năm qua.
Các con số trên thực sự phản ánh ý nghĩa của "Thể tích dữ liệu lớn". Đây là đặc điểm đầu tiên làm cho dữ liệu trở thành Big Data. Thể tích khổng lồ này lại đặt ra thách thức lưu trữ dữ liệu.
2. Velocity (Tốc độ):
Vào năm 1999, mỗi phút mỗi ngày, chúng ta tải lên 100 giờ video lên YouTube, gửi hơn 200 triệu email và 300.000 tweet.
Bên dưới các con số thể tích là xu hướng lớn hơn: 90% dữ liệu hiện có được tạo ra trong chỉ 2 năm qua. Điều này phản ánh velocity — tốc độ dữ liệu được tạo, lưu trữ, phân tích và hình ảnh hóa.
Thách thức của tổ chức là đối phó với tốc độ khổng lồ dữ liệu được tạo và sử dụng theo thời gian thực.
3. Variety (Đa dạng)
Trước đây, tất cả dữ liệu được tạo ra là dữ liệu có cấu trúc, gọn gàng vừa trong cột và hàng nhưng những ngày đó đã qua. 90% dữ liệu sinh ra hôm nay là phi cấu trúc, đến đủ hình thức — từ dữ liệu không gian địa lý, đến tweet có thể phân tích nội dung và cảm xúc, đến dữ liệu trực quan như ảnh và video.
Variety mô tả một trong những thách thức lớn nhất của Big Data. Nó có thể phi cấu trúc và bao gồm nhiều loại dữ liệu từ XML đến video đến SMS. Tổ chức dữ liệu theo cách có ý nghĩa không phải việc đơn giản, đặc biệt khi chính dữ liệu thay đổi nhanh chóng.
4. Variability (Biến thiên)
Variability thường bị nhầm lẫn với Variety. Ví dụ đơn giản phân biệt: nghĩ về Starbucks — có rất nhiều hương cà phê đá. Đó là Variety. Giả sử bạn mua Cafe Mocha mỗi ngày và nó nếm và mùi hơi khác một chút so với ngày trước. Đó là Variability.
Variability trong bối cảnh Big Data đề cập đến một vài điều khác nhau. Một là số lượng bất nhất trong dữ liệu. Cần tìm bằng phương pháp phát hiện bất thường và giá trị ngoại lai để phân tích có ý nghĩa xảy ra. Big Data cũng biến thiên do nhiều chiều dữ liệu từ nhiều loại và nguồn dữ liệu khác nhau. Variability cũng có thể đề cập đến tốc độ không đều khi nạp Big Data vào cơ sở dữ liệu.
5. Veracity (Độ chính xác/Chân thực)
Điều then chốt hiểu Big Data là bản chất lộn xộn, nhiều nhiễu của nó, và lượng công việc để tạo tập dữ liệu chính xác trước khi phân tích có thể bắt đầu. Nó vô dụng nếu dữ liệu được phân tích không chính xác hoặc không hoàn chỉnh.
Tình huống này xảy ra khi luồng dữ liệu xuất phát từ nhiều nguồn đa dạng trình bày nhiều định dạng với tỷ số signal-to-noise thay đổi. Dữ liệu có thể đầy rẫy lỗi tích lũy khi đến giai đoạn Phân tích Big Data.
Veracity là về việc đảm bảo dữ liệu chính xác, đòi hỏi quy trình ngăn chặn dữ liệu xấu tích lũy trong hệ thống. Ví dụ đơn giản là danh bạ nhập vào hệ thống marketing automation với tên giả và thông tin liên lạc sai. Bạn đã bao nhiêu lần thấy Mickey Mouse trong cơ sở dữ liệu? Đó là thách thức kinh điển "rác vào, rác ra" (garbage in, garbage out).
6. Visualization (Hình ảnh hóa)
Đây là phần khó của Big Data, thất bại ở đây khiến khối lượng dữ liệu khổng lồ này vô nghĩa. Nhiệm vụ cốt lõi của bất kỳ hệ thống xử lý Big Data nào là chuyển đổi quy mô khổng lồ của nó thành thứ dễ hiểu và có thể hành động. Đối với tiêu thụ của con người, một trong những phương pháp tốt nhất là chuyển đổi thành định dạng đồ họa.
Công cụ hình ảnh hóa Big Data hiện tại đối mặt thách thức kỹ thuật do giới hạn công nghệ in-memory và khả năng mở rộng, chức năng, thời gian phản hồi kém. Đồ thị truyền thống không đáp ứng được nhu cầu vẽ một tỷ điểm dữ liệu, vì vậy cần cách biểu diễn khác như cụm dữ liệu (data clustering) hoặc tree maps, sunbursts, parallel coordinates, circular network diagrams hoặc cone trees.
7. Value (Giá trị)
Value là đích đến cuối cùng. Giá trị tiềm năng của Big Data là khổng lồ. Sau khi lo về volume, velocity, variety, variability, veracity và visualization — những việc tốn nhiều thời gian và công sức — quan trọng là đảm bảo tổ chức của bạn nhận được giá trị từ dữ liệu.
Chắc chắn, dữ liệu bản thân không có giá trị. Giá trị nằm ở phân tích trên dữ liệu đó và cách dữ liệu biến thành thông tin và cuối cùng biến thành tri thức.
7 V trên nói cho bạn về 3 khía cạnh quan trọng của Big Data: định nghĩa, đặc điểm và thách thức. Nhưng khi mọi người bắt đầu nghiên cứu Big Data để phát minh phương pháp đối mặt 7 thách thức V trên, họ phát hiện ra một số V khác. Mặc dù chúng không đóng vai trò quan trọng bằng trong Big Data nhưng hoàn thiện danh sách Đặc điểm và Thách thức.
8. Validity (Hợp lệ)
Tương tự veracity, validity đề cập đến độ chính xác và đúng đắn của dữ liệu cho mục đích sử dụng dự định. Veracity của Big Data là vấn đề của validity, nghĩa là dữ liệu đúng và chính xác cho mục đích sử dụng. Dữ liệu hợp lệ rõ ràng là chìa khóa đưa ra quyết định đúng đắn. Xác thực dữ liệu là chứng nhận truyền tải dữ liệu không bị hỏng.
9. Viability (Khả thi)
Hãy suy nghĩ về các câu dưới đây:
- Thời gian trong ngày hoặc ngày trong tuần có tác động gì đến hành vi mua hàng?
- Sự gia tăng nhắc nhở trên Twitter hoặc Facebook có báo hiệu tăng hoặc giảm mua hàng?
- Vị trí địa lý, sẵn có sản phẩm, thời gian, lịch sử mua hàng, tuổi, quy mô gia đình, hạn mức tín dụng, loại xe — tất cả hội tụ như thế nào để dự đoán xu hướng mua của người tiêu dùng?
Nhiệm vụ đầu tiên là đánh giá viability (khả thi) của dữ liệu đó vì, với nhiều loại dữ liệu và biến số cần xem xét khi xây dựng mô hình dự đoán hiệu quả, chúng ta muốn nhanh chóng và tiết kiệm kiểm tra và xác nhận độ liên quan của một biến cụ thể trước khi đầu tư tạo mô hình đầy đủ tính năng. Nói cách khác, chúng ta muốn xác thực giả thuyết trước khi hành động tiếp, và trong quá trình xác định khả thi của một biến, chúng ta có thể mở rộng tầm nhìn để xem các biến khác — những biến không nằm trong giả thuyết ban đầu — có tác động ý nghĩa đến kết quả mong muốn hoặc quan sát được hay không.
10. Volatility (Tính biến động/Thời hạn)
Dữ liệu của bạn cần cũ đến mức nào trước khi được coi là không liên quan, lịch sử, hoặc không còn hữu ích? Dữ liệu cần được giữ bao lâu?
Khi nói về volatility của Big Data, chúng ta dễ nhớ đến chính sách lưu giữ dữ liệu có cấu trúc mà chúng ta áp dụng hàng ngày trong kinh doanh. Khi hết thời gian lưu giữ, chúng ta có thể dễ dàng hủy bỏ nó.
Tuy nhiên, do velocity và volume của Big Data, volatility của nó cần được xem xét cẩn thận. Bây giờ bạn cần thiết lập quy tắc cho tính cập nhật và khả dụng của dữ liệu cũng như đảm bảo truy xuất thông tin nhanh khi cần.
11. Vulnerability (Tính dễ bị tổn thương)
Bạn nhớ vụ hack Ashley Madison năm 2015? Hay tháng 5/2016 CRN báo "một hacker tên Peace đăng dữ liệu trên dark web để bán, bao gồm thông tin 167 triệu tài khoản LinkedIn và 360 triệu email/mật khẩu MySpace.
Big Data mang lại lo ngại an ninh mới. Đặc biệt với các đặc điểm này, nó trở thành thách thức để phát triển chương trình an ninh cho Big Data.畢竟, vi phạm dữ liệu là vi phạm lớn.
Vậy tất cả điều này nói lên gì về bản chất Big Data? Vâng, nó khổng lồ và mở rộng nhanh, nhưng cũng nhiều nhiễu, lộn xộn, thay đổi liên tục, hàng trăm định dạng và gần như vô giá trị nếu không phân tích và hình ảnh hóa.
Volume, velocity và variety không chỉ là tham số then chốt của Big Data, mà còn là lý do sinh ra khái niệm Big Data và đặc điểm phân biệt chính giữa dữ liệu thường và Big Data. Mặc dù chúng nội tại trong Big Data, các V khác — Variability, veracity, visualization và value — là thuộc tính quan trọng phản ánh sự phức tạp khổng lồ mà Big Data đặt ra cho những ai xử lý, phân tích và hưởng lợi từ nó.
Chắc chắn, Big Data là xu hướng then chốt mà CNTT doanh nghiệp phải đáp ứng bằng cơ sở hạ tầng tính toán thích hợp. Nhưng nếu không có phân tích hiệu suất cao và nhà khoa học dữ liệu để hiểu nó, bạn chỉ tạo ra Big Costs (chi phí lớn) mà không tạo ra giá trị chuyển hóa thành lợi thế kinh doanh.