AI Overviews đang trở thành tâm điểm tranh cãi khi Cloudflare thông báo triển khai hệ thống “trả tiền theo lượt thu thập dữ liệu” (pay-per-crawl) và mặc định chặn các bot AI, nhằm ngăn việc các công ty AI khai thác nội dung website thiếu kiểm soát. CEO Cloudflare, Matthew Prince, cho biết công ty đang nỗ lực thuyết phục Google cho phép các website chặn tính năng AI như Answer Box và AI Overviews nhưng vẫn giữ khả năng lập chỉ mục của các bot tìm kiếm truyền thống, bảo vệ traffic và tài sản nội dung cho các publisher.
Bài toán của AI Overviews và nhu cầu về quyền kiểm soát thông tin
Hiện nay, để ngăn chặn nội dung hiển thị trong AI Overviews, các trang web buộc phải sử dụng thẻ nosnippet. Tuy nhiên, biện pháp này lại kéo theo hệ quả làm giảm đáng kể khả năng hiển thị trên Google Search, từ đó ảnh hưởng tiêu cực đến SEO và lưu lượng truy cập. Cloudflare mong muốn xây dựng giải pháp “kiểm soát chặn chi tiết”, trao quyền cho chủ sở hữu trang web được linh hoạt quyết định nội dung nào được AI sử dụng mà không gây ảnh hưởng đến thứ hạng tìm kiếm thông thường. Đây là một bước tiến quan trọng giúp cân bằng giữa việc duy trì lưu lượng truy cập từ người dùng thực và hạn chế việc AI khai thác nội dung một cách không công bằng.
“Trả tiền theo lượt thu thập dữ liệu” và quyền làm chủ nội dung của nhà xuất bản
Cloudflare đang đi đầu trong việc giới thiệu hệ thống “trả tiền theo lượt thu thập dữ liệu”, cho phép trang web nhận được đền bù khi dữ liệu của họ được sử dụng để huấn luyện các mô hình AI. Đồng thời, hệ thống này cũng cung cấp khả năng kiểm soát tỉ mỉ việc cho phép hoặc chặn từng loại trình thu thập dữ liệu AI với các mục đích khác nhau, từ huấn luyện AI, tạo lập nội dung, cho đến tìm kiếm. Mục tiêu mà Cloudflare hướng đến là giúp các nhà xuất bản, báo chí, blog và các trang web lớn bảo vệ tài sản nội dung của mình, duy trì các nguồn doanh thu và đồng thời hạn chế tình trạng khai thác dữ liệu một cách tự do bởi các bot AI.
Tuy nhiên, hiện tại vẫn chưa có giải pháp tối ưu cho việc phân biệt rõ ràng giữa các trình thu thập dữ liệu AI và bot tìm kiếm của Google. Trong trường hợp Google không hợp tác, Cloudflare có thể sẽ vận động cho việc ban hành các quy định pháp lý yêu cầu Google phải tách bạch trình thu thập dữ liệu AI với bot tìm kiếm, nhằm bảo vệ quyền lợi của nhà xuất bản và duy trì hệ sinh thái Open Web. Việc thực thi những quy định này không phải là điều dễ dàng, do sự phát triển nhanh chóng của công nghệ và tầm ảnh hưởng lớn từ các tập đoàn công nghệ hàng đầu.
Tác động tới ngành SEO và tương lai của Open Web
AI Overviews và Answer Box đang trích xuất nội dung từ các trang web để hiển thị trực tiếp trên kết quả tìm kiếm, khiến người dùng không cần phải nhấp vào trang web, dẫn đến thiệt hại về lưu lượng truy cập và doanh thu cho nhà xuất bản. Điều này đặt ra yêu cầu cấp thiết về quyền kiểm soát nội dung trong bối cảnh AI phát triển nhanh chóng. Cloudflare khẳng định việc bảo vệ nội dung và quyền kiểm soát của chủ sở hữu trang web không hề mâu thuẫn với mục tiêu duy trì Open Web, mà còn đảm bảo sự phát triển bền vững cho cả hệ sinh thái nội dung và ngành công nghiệp AI.
Việc phân tách rõ ràng giữa các bot AI thu thập dữ liệu để huấn luyện và các bot tìm kiếm truyền thống sẽ là một bước tiến quan trọng, giúp các trang web bảo vệ nội dung của mình, đồng thời vẫn duy trì được lưu lượng truy cập từ tìm kiếm, giúp giữ vững hiệu quả SEO. Động thái này không chỉ mang lại lợi ích cho nhà xuất bản mà còn giúp cân bằng lợi ích giữa các tập đoàn công nghệ lớn (Big Tech), cộng đồng người dùng và các doanh nghiệp đang phụ thuộc vào lưu lượng truy cập từ tìm kiếm. Với chiến lược này, Cloudflare đang góp phần định hình lại tương lai của việc sử dụng AI trên internet, giúp kiến tạo một môi trường công bằng và minh bạch cho tất cả các bên tham gia vào hệ sinh thái số. `