Định nghĩa của Spidering Web và Web Crawlers

Nhện là các chương trình (hoặc tập lệnh tự động) 'thu thập dữ liệu' thông qua Web để tìm kiếm dữ liệu. Nhện di chuyển qua URL trang web và có thể lấy dữ liệu từ các trang web như địa chỉ email. Nhện cũng được sử dụng để cung cấp thông tin tìm thấy trên các trang web cho các công cụ tìm kiếm.

Nhện, còn được gọi là 'trình thu thập dữ liệu web' tìm kiếm trên Web và không phải tất cả đều thân thiện trong ý định của chúng.

Spammers Spider Trang web để thu thập thông tin

Google, Yahoo! và các công cụ tìm kiếm khác không phải là những người duy nhất quan tâm đến việc thu thập dữ liệu trang web - những kẻ lừa đảo và kẻ gửi thư rác cũng vậy.

Nhện và các công cụ tự động khác được những kẻ gửi thư rác sử dụng để tìm địa chỉ email (trên internet, thông lệ này thường được gọi là 'thu hoạch') trên các trang web và sau đó sử dụng chúng để tạo danh sách spam.

Nhện cũng là một công cụ được các công cụ tìm kiếm sử dụng để tìm hiểu thêm thông tin về trang web của bạn nhưng không được kiểm tra, một trang web không có hướng dẫn (hoặc 'quyền') về cách thu thập dữ liệu trang web của bạn có thể gây ra rủi ro bảo mật thông tin lớn. Nhện di chuyển bằng cách theo các liên kết và chúng rất thành thạo trong việc tìm kiếm các liên kết đến cơ sở dữ liệu, tệp chương trình và các thông tin khác mà bạn có thể không muốn chúng có quyền truy cập.

Quản trị web có thể xem nhật ký để xem những con nhện và robot khác đã truy cập trang web của họ. Thông tin này giúp quản trị trang web biết ai đang lập chỉ mục trang web của họ và tần suất.

Thông tin này rất hữu ích vì nó cho phép các quản trị web điều chỉnh SEO và cập nhật các tệp robot.txt để cấm một số robot thu thập dữ liệu trang web của họ trong tương lai.

Mẹo bảo vệ trang web của bạn khỏi Trình thu thập thông tin Robot không mong muốn

Có một cách khá đơn giản để ngăn các trình thu thập dữ liệu không mong muốn ra khỏi trang web của bạn. Ngay cả khi bạn không quan tâm đến các con nhện độc hại đang thu thập dữ liệu trang web của bạn (địa chỉ email che giấu sẽ không bảo vệ bạn khỏi hầu hết các trình thu thập thông tin), bạn vẫn cần cung cấp cho các công cụ tìm kiếm các hướng dẫn quan trọng.

Tất cả các trang web nên có một tệp nằm trong thư mục gốc được gọi là tệp robot.txt. Tệp này cho phép bạn hướng dẫn trình thu thập dữ liệu web nơi bạn muốn họ tìm đến các trang chỉ mục (trừ khi có quy định khác trong dữ liệu meta của một trang cụ thể là không được lập chỉ mục) nếu chúng là công cụ tìm kiếm.

Giống như bạn có thể nói với các trình thu thập thông tin mong muốn nơi bạn muốn họ duyệt, bạn cũng có thể cho họ biết nơi họ có thể không đi và thậm chí chặn các trình thu thập cụ thể từ toàn bộ trang web của bạn.

Điều quan trọng là phải nhớ rằng một tệp robot.txt kết hợp tốt sẽ có giá trị to lớn cho các công cụ tìm kiếm và thậm chí có thể là một yếu tố chính trong việc cải thiện hiệu suất trang web của bạn, nhưng một số trình thu thập thông tin robot vẫn sẽ bỏ qua hướng dẫn của bạn. Vì lý do này, điều quan trọng là luôn cập nhật tất cả phần mềm, plugin và ứng dụng của bạn.

Bài viết và thông tin liên quan

Do sự phổ biến của việc thu thập thông tin được sử dụng cho mục đích bất chính (spam), luật pháp đã được thông qua vào năm 2003 để biến một số hành vi bất hợp pháp. Các luật bảo vệ người tiêu dùng này thuộc Đạo luật CAN-SPAM năm 2003.

Điều quan trọng là bạn dành thời gian để đọc Đạo luật CAN-SPAM nếu doanh nghiệp của bạn tham gia vào bất kỳ hoạt động gửi thư hoặc thu thập thông tin hàng loạt nào.

Bạn có thể tìm hiểu thêm về luật chống thư rác và cách đối phó với những kẻ gửi thư rác và những gì bạn là chủ doanh nghiệp có thể không làm, bằng cách đọc các bài viết sau:

• Đạo luật CAN-SPAM 2003
• Các quy tắc hành động CAN-SPAM cho các tổ chức phi lợi nhuận
• 5 quy tắc CAN-SPAM Chủ doanh nghiệp nhỏ cần hiểu