Cào web (Web scraping) là hành động trích xuất dữ liệu, thông tin hoặc hình ảnh từ trang web bằng phương pháp tự động. Hãy nghĩ đến nó như sao chép và dán ở chế độ hoàn toàn tự động.
Chúng ta hoặc viết hoặc sử dụng một ứng dụng để truy cập các trang web chúng ta muốn và tạo bản sao của những thứ cụ thể chúng ta muốn từ các trang web đó. Nó chính xác hơn nhiều so với tải xuống toàn bộ trang web.
Giống như bất kỳ công cụ nào, cào web có thể được dùng cho tốt hoặc xấu. Một số lý do tốt cho việc cào web là xếp hạng trong công cụ tìm kiếm dựa trên nội dung, so sánh giá cả mua sắm, hoặc theo dõi thông tin thị trường chứng khoán. Bạn thậm chí có thể dùng nó như một công cụ nghiên cứu.
Làm thế nào để cào trang web bằng Excel?
Tin hay không, Excel có khả năng trích xuất dữ liệu từ trang web từ lâu, ít nhất từ Excel 2003. Chỉ là cào web là điều hầu hết mọi người không nghĩ đến, thậm chí không nghĩ đến việc dùng chương trình bảng tính để làm việc đó. Nhưng nó đơn giản và mạnh mẽ đến ngạc nhiên. Hãy học cách làm bằng cách tạo một bộ sưu tập phím tắt Microsoft Office.
Tìm các trang web bạn muốn cào
Điều đầu tiên chúng ta sẽ làm là tìm các trang web cụ thể mà chúng ta muốn lấy thông tin. Hãy đi đến nguồn và tìm kiếm tại https://support.office.com/. Chúng ta sẽ dùng từ khóa tìm kiếm "frequently used shortcuts" (phím tắt thường dùng). Chúng ta có thể làm cho nó cụ thể hơn bằng cách dùng tên ứng dụng cụ thể, như Outlook, Excel, Word, v.v. Có thể là ý tưởng tốt để bookmark trang kết quả để dễ dàng quay lại.
Nhấp vào kết quả tìm kiếm "Keyboard shortcuts in Excel for Windows" (Phím tắt trong Excel cho Windows). Khi đã trên trang đó, tìm danh sách các phiên bản Excel và nhấp vào Newer Versions (Phiên bản mới hơn). Bây giờ chúng ta đang làm việc với phiên bản mới nhất.
Chúng ta có thể quay lại trang kết quả tìm kiếm và mở kết quả cho tất cả các ứng dụng Office khác trong tab riêng và bookmark chúng. Đây là nơi hầu hết mọi người sẽ dừng lại khi thu thập phím tắt Office, nhưng không phải chúng ta. Chúng ta sẽ đưa chúng vào Excel để làm gì chúng ta muốn, bất cứ khi nào chúng ta muốn.
Mở Excel và cào dữ liệu
Mở Excel và bắt đầu một workbook mới. Lưu workbook với tên Office Shortcuts (Phím tắt Office). Nếu bạn có OneDrive, hãy lưu nó ở đó để tính năng AutoSave (Tự động lưu) hoạt động.
Khi workbook đã được lưu, nhấp vào tab Data (Dữ liệu).
Trong ribbon của tab Data, nhấp vào From Web (Từ Web).
Cửa sổ wizard From Web sẽ mở ra. Đây là nơi chúng ta đặt địa chỉ web hoặc URL của trang web mà chúng ta muốn cào dữ liệu. Chuyển sang trình duyệt web và sao chép URL.
Dán URL vào trường URL của wizard From Web. Chúng ta có thể chọn sử dụng ở chế độ Basic (Cơ bản) hoặc Advanced (Nâng cao). Chế độ Advanced cho chúng ta nhiều tùy chọn hơn về cách truy cập dữ liệu từ trang web. Cho bài tập này, chúng ta chỉ cần chế độ Basic. Nhấp OK.
Excel sẽ cố gắng kết nối với trang web. Điều này có thể mất vài giây. Chúng ta sẽ thấy cửa sổ tiến trình, nếu có.
Cửa sổ Navigator (Trình điều hướng) sẽ mở ra, và chúng ta sẽ thấy danh sách các bảng từ trang web ở bên trái. Khi chúng ta chọn một, chúng ta sẽ thấy bản xem trước bảng ở bên phải. Hãy chọn bảng Frequently used shortcuts (Phím tắt thường dùng).
Chúng ta có thể nhấp vào tab Web View (Xem web) để xem trang web thực tế, nếu chúng ta cần tìm kiếm bảng mong muốn. Khi tìm thấy, chúng ta có thể nhấp vào nó và nó sẽ được chọn để nhập.
Bây giờ, chúng ta nhấp vào nút Load (Tải) ở dưới cùng cửa sổ này. Có các tùy chọn khác chúng ta có thể chọn, phức tạp hơn và nằm ngoài phạm vi lần cào đầu tiên. Chỉ cần biết chúng tồn tại. Khả năng cào web của Excel rất mạnh mẽ.
Bảng web sẽ được tải vào Excel sau vài giây. Chúng ta sẽ thấy dữ liệu ở bên trái, nơi con số 1 nằm trong hình dưới. Con số 2 làm nổi bật Query (Truy vấn) được dùng để lấy dữ liệu từ trang web. Khi chúng ta có nhiều truy vấn trong một workbook, đây là nơi chúng ta chọn truy vấn cần sử dụng.
Lưu ý rằng dữ liệu vào bảng tính dưới dạng bảng Excel. Nó đã được thiết lập để chúng ta có thể lọc hoặc sắp xếp dữ liệu.
Chúng ta có thể lặp lại quy trình này cho tất cả các trang web khác có phím tắt Office mà chúng ta muốn cho Outlook, Word, Access, PowerPoint và bất kỳ ứng dụng Office nào khác.
Giữ dữ liệu cào được cập nhật trong Excel
Làm một điều thêm cho bạn, chúng ta sẽ học cách giữ dữ liệu cào được tươi mới trong Excel. Đây là cách tuyệt vời để minh họa Excel mạnh mẽ đến đâu cho cào dữ liệu. Ngay cả với điều này, chúng ta chỉ làm cào cơ bản nhất mà Excel có thể làm.
Ví dụ này, hãy dùng trang thông tin chứng khoán như https://www.cnbc.com/stocks/.
Lặp lại những gì chúng ta đã làm trước đó: sao chép và dán URL mới từ thanh địa chỉ.
Bạn sẽ đến cửa sổ Navigator và thấy các bảng có sẵn. Hãy chọn Major U.S. Stock Indices (Chỉ số chứng khoán chính Mỹ).
Khi dữ liệu được cào, chúng ta sẽ thấy bảng tính sau.
Ở bên phải, chúng ta thấy truy vấn cho Major U.S. Stock Indexes. Chọn nó để nó được làm nổi bật. Đảm bảo chúng ta ở tab Table Tools (Công cụ bảng) và khu vực Design (Thiết kế). Sau đó nhấp vào mũi tên xuống dưới Refresh (Làm mới). Sau đó nhấp vào Connection Properties (Thuộc tính kết nối).
Trong cửa sổ Query Properties (Thuộc tính truy vấn), dưới tab Usage (Sử dụng), chúng ta có thể kiểm soát cách thông tin này làm mới. Chúng ta có thể đặt một khoảng thời gian cụ thể để làm mới, hoặc làm mới khi mở workbook lần sau, hoặc làm mới trong nền, hoặc bất kỳ tổ hợp nào của những điều này. Khi đã chọn những gì cần thiết, nhấp OK để đóng cửa sổ và tiếp tục.
Xong! Bây giờ bạn có thể theo dõi giá cổ phiếu, điểm số thể thao, hoặc bất kỳ dữ liệu nào thay đổi thường xuyên từ bảng tính Excel. Nếu bạn giỏi về công thức và hàm Excel, bạn có thể làm gần như bất cứ điều gì bạn muốn với dữ liệu.
Có thể thử xác định xu hướng cổ phiếu, chạy một giải đấu thể thao giả tưởng tại công ty, hoặc chỉ theo dõi thời tiết. Ai biết? Sức tưởng tượng của bạn và dữ liệu có sẵn trên Internet, là những giới hạn duy nhất.