Cho đến nay trong blog về Big Data, tôi đã làm quen bạn với các khía cạnh khác nhau của Big Data, từ ý nghĩa thực tế đến sự thật và điều cần làm/không nên làm. Trong blog trước chúng ta thấy một số Kỹ Thuật Phân Tích Big Data. Tiếp tục Danh Sách trong blog này.
- Nhận Diện Mẫu
Nhận diện mẫu là nhánh của học máy tập trung vào nhận diện mẫu và quy luật trong dữ liệu, mặc dù trong một số trường hợp được coi là gần như đồng nghĩa với học máy. Hệ thống nhận diện mẫu trong nhiều trường hợp được huấn luyện từ dữ liệu "huấn luyện" có gán nhãn (học có giám sát), nhưng khi không có dữ liệu gán nhãn, thuật toán khác có thể dùng để khám phá mẫu chưa biết trước (học không giám sát).
- Mô Hình Dự Báo
Phân tích dự báo bao gồm nhiều kỹ thuật dự đoán kết quả tương lai dựa trên dữ liệu lịch sử và hiện tại. Thực tế, phân tích dự báo có thể áp dụng cho hầu hết mọi lĩnh vực – từ dự đoán hỏng hóc động cơ máy bay dựa trên luồng dữ liệu từ hàng nghìn cảm biến, đến dự đoán hành động tiếp theo của khách hàng dựa trên họ mua gì, khi nào mua, và thậm chí họ nói gì trên mạng xã hội. Kỹ thuật phân tích dự báo chủ yếu dựa trên phương pháp thống kê.
- Phân Tích Hồi Quy
Đây là kỹ thuật dùng biến độc lập và cách chúng ảnh hưởng biến phụ thuộc. Đây có thể là kỹ thuật rất hữu ích xác định phân tích mạng xã hội như xác suất tìm thấy tình yêu trên nền tảng internet.
- Phân Tích Cảm Xúc
Phân Tích Cảm Xúc giúp nhà nghiên cứu xác định cảm xúc của người nói hoặc viết liên quan đến một chủ đề. Phân tích cảm xúc được dùng để giúp:
- Cải thiện dịch vụ chuỗi khách sạn bằng phân tích bình luận khách.
- Tùy chỉnh ưu đãi và dịch vụ giải quyết những gì khách hàng thực sự yêu cầu.
- Xác định người tiêu dùng thực sự nghĩ gì dựa trên ý kiến mạng xã hội.
- Xử Lý Tín Hiệu
Xử lý tín hiệu là công nghệabling bao gồm lý thuyết cơ bản, ứng dụng, thuật toán, và triển khai xử lý hoặc truyền thông tin chứa trong nhiều định dạng vật lý, ký hiệu, hoặc trừu tượng khác nhau được chỉ định rộng rãi là tín hiệu. Nó dùng biểu diễn toán học, thống kê, tính toán, heuristic, và ngôn ngữ, hình thức, và kỹ thuật cho biểu diễn, mô hình hóa, phân tích, tổng hợp, khám phá, khôi phục, cảm biến, thu thập, trích xuất, học tập, an ninh, hoặc pháp y. Ứng dụng mẫu bao gồm mô hình hóa cho phân tích chuỗi thời gian hoặc triển khai fusión dữ liệu để xác định đọc chính xác hơn bằng cách kết hợp dữ liệu từ tập hợp nguồn dữ liệu kém chính xác hơn (tức là, trích xuất tín hiệu từ nhiễu).
- Phân Tích Không Gian
Phân tích không gian là quy trình biến dữ liệu thô thành thông tin hữu ích. Là quá trình kiểm tra vị trí, thuộc tính, và mối quan hệ của đặc điểm trong dữ liệu không gian qua chồng chéo và kỹ thuật phân tích khác để giải quyết câu hỏi hoặc đạt kiến thức hữu ích. Phân tích không gian trích xuất hoặc tạo thông tin mới từ dữ liệu không gian.
- Thống Kê
Trong thống kê, phân tích dữ liệu khám phá là cách tiếp cận phân tích tập dữ liệu để tóm tắt đặc điểm chính, thường dùng phương pháp trực quan. Mô hình thống kê có thể dùng hoặc không, nhưng chủ yếu EDA là để thấy dữ liệu có thể nói gì ngoài nhiệm vụ mô hình hóa chính thức hoặc kiểm tra giả thuyết. Kỹ thuật thống kê cũng dùng để giảm khả năng lỗi Loại I ("dương tính giả") và lỗi Loại II ("âm tính giả"). Ví dụ ứng dụng là thử nghiệm A/B xác định loại tài liệu marketing nào tăng doanh thu nhất.
- Học Có Giám Sát
Học có giám sát là nhiệm vụ học máy suy ra hàm từ dữ liệu huấn luyện có gán nhãn. Dữ liệu huấn luyện bao gồm một tập ví dụ huấn luyện. Trong học có giám sát, mỗi ví dụ là một cặp bao gồm đối tượng đầu vào (thường là vector) và giá trị đầu ra mong muốn (cũng gọi là tín hiệu giám sát). Thuật toán học có giám sát phân tích dữ liệu huấn luyện và tạo ra hàm suy ra, dùng để ánh xạ ví dụ mới.
- Phân Tích Mạng Xã Hội
Phân tích mạng xã hội là kỹ thuật đầu tiên dùng trong ngành viễn thông, và nhanh chóng được các nhà xã hội học áp dụng để nghiên cứu mối quan hệ giữa người. Bây giờ nó được áp dụng phân tích mối quan hệ giữa con người trong nhiều lĩnh vực và hoạt động thương mại. Node đại diện cá nhân trong mạng, trong khi liên kết đại diện mối quan hệ giữa các cá nhân.
- Mô Phỏng
Mô hình hóa hành vi hệ thống phức tạp, thường dùng cho dự báo, dự đoán và lập kế hoạch kịch bản. Mô phỏng Monte Carlo, ví dụ, là lớp thuật toán dựa trên lấy mẫu ngẫu nhiên lặp lại, tức là chạy hàng nghìn mô phỏng, mỗi cái dựa trên giả định khác nhau. Kết quả là biểu đồ histogram cho phân phối xác suất kết quả. Một ứng dụng là đánh giá khả năng đạt mục tiêu tài chính với sự không chắc chắn về thành công các sáng kiến.
- Phân Tích Chuỗi Thời Gian
Phân tích chuỗi thời gian bao gồm phương pháp phân tích dữ liệu chuỗi thời gian để trích xuất thống kê có ý nghĩa và đặc điểm khác của dữ liệu. Dữ liệu chuỗi thời gian thường nảy sinh khi giám sát quy trình công nghiệp hoặc theo dõi chỉ số kinh doanh doanh nghiệp. Phân tích chuỗi thời gian tính đến việc điểm dữ liệu lấy theo thời gian có thể có cấu trúc nội bộ (như tự tương quan, xu hướng hoặc biến thiên theo mùa) cần tính đến. Ví dụ phân tích chuỗi thời gian bao gồm giá trị giờ của chỉ số chứng khoán hoặc số bệnh nhân chẩn đoán với điều kiện cho trước mỗi ngày.
- Học Không Giám Sát
Học không giám sát là nhiệm vụ học máy suy ra hàm mô tả cấu trúc ẩn từ dữ liệu không gán nhãn. Vì ví dụ đưa cho người học không gán nhãn, không có tín hiệu lỗi hoặc phần thưởng để đánh giá giải pháp tiềm năng – điều này phân biệt học không giám sát với học có giám sát và học tăng cường.
Tuy nhiên, học không giám sát cũng bao gồm nhiều kỹ thuật khác tìm cách tóm tắt và giải thích đặc điểm chính của dữ liệu.
- Trực Quan Hóa
Trực quan hóa dữ liệu là chuẩn bị dữ liệu trong định dạng hình ảnh hoặc đồ họa. Nó cho phép người ra quyết định thấy phân tích được trình bày trực quan, để họ nắm bắt khái niệm khó hoặc nhận diện mẫu mới. Với trực quan hóa tương tác, bạn có thể đưa khái niệm xa hơn bằng cách dùng công nghệ để đi sâu vào biểu đồ và đồ thị để chi tiết hơn, thay đổi tương tác dữ liệu bạn thấy và cách nó được xử lý.
Kết Luận
Phân tích big data là một trong những đột phá quan trọng nhất trong ngành công nghệ thông tin. Thực tế, Big Data đã chứng minh tầm quan trọng và nhu cầu gần như mọi lĩnh vực, và mọi bộ phận của những ngành đó. Không có khía cạnh nào của cuộc sống không bị ảnh hưởng bởi Big Data, ngay cả cuộc sống cá nhân. Do đó chúng ta cần Phân Tích Big Data để quản lý hiệu quả khối lượng dữ liệu khổng lồ này.
Như nói trước danh sách này không toàn diện. Nhà nghiên cứu vẫn đang thử nghiệm cách mới Phân Tích khối lượng dữ liệu khổng lồ này hiện diện dưới nhiều dạng mà tốc độ sinh ra tăng theo thời gian để lấy giá trị cho mục đích cụ thể.