Mô phỏng tín hiệu hành vi: cách các công cụ tìm kiếm phát hiện bot

Bạn có muốn dùng thử Octo Browser với giá ưu đãi không?
Sử dụng mã khuyến mại OCTOSCRAPER để được giảm giá 30% cho bất kỳ gói đăng ký nào. Ưu đãi này chỉ dành cho người dùng mới.

Kiến trúc của các hệ thống chống gian lận hiện đại

Các công cụ tìm kiếm đã ngừng chống lại lưu lượng truy cập nhân tạo bằng các phương pháp chặn dựa trên địa chỉ IP đơn giản từ lâu. Các thuật toán chống gian lận hiện đại không chỉ phân tích nguồn của một yêu cầu mà còn hàng tá tín hiệu bổ sung, xây dựng một hồ sơ kỹ thuật số cho mọi khách truy cập. Do đó, việc chỉ thay đổi địa chỉ IP không còn đủ để tự động hóa thành công. Các giải pháp hiện đại phải mô phỏng môi trường trình duyệt, hành vi của người dùng và các đặc điểm khác giúp họ xuất hiện như những người thật.

Các hệ thống bảo mật như Google reCAPTCHA v3, Cloudflare Turnstile và Yandex Antifraud đã chuyển sang các mô hình hành vi toàn diện. Họ sử sinh các hệ thống tính điểm nhiều lớp, thu thập thông tin ở cấp độ trình duyệt, cấp độ giao thức mạng và cấp độ tương tác của người dùng.

Khi các tham số phân tích lệch khỏi các tiêu chuẩn thống kê, một phiên làm việc sẽ bị gắn cờ là đáng ngờ. Chỉ riêng các tiêu đề HTTP thích hợp không còn đủ để vượt qua các rào cản bảo mật hiện đại. Các mô hình học máy liên tục thích ứng với các loại bot mới, điều đó có nghĩa là tính nhất quán trên toàn bộ hồ sơ và các đặc điểm hành vi thực tế đều là những yếu tố thiết yếu.

Ngay cả khi mô phỏng kỹ thuật không gây ra sự nghi ngờ nào, điều đó vẫn chưa đủ. Các công cụ tìm kiếm cũng phân tích hành vi của chính người dùng, vì vậy lưu lượng truy cập nhân tạo phải trông thật tự nhiên. Hoạt động quá cao hoặc thấp một cách bất thường có thể trở thành một tín hiệu bổ sung cho các thuật toán phát hiện. Trong số các chỉ số chính được đánh giá là:

• Thời gian dừng (Dwell Time): khoảng thời gian dành cho một trang trước khi quay lại kết quả tìm kiếm.

• CTR: tỷ lệ số lần hiển thị so với số lần nhấp chuột.

• Tỷ lệ thoát (Bounce Rate): phần trăm người dùng rời khỏi trang web sau khi chỉ xem một trang.

Nếu các chỉ số này lệch đáng kể so với các giá trị điển hình, các bộ lọc sẽ phát hiện ra nó. Nếu tích lũy đủ các tín hiệu đáng ngờ, hệ thống có thể áp dụng các hạn chế làm cản trở hoạt động của bot.

Cách các công cụ tìm kiếm phát hiện tự động hóa

Thách thức chính khi thao túng các tín hiệu hành vi là tạo ra một hồ sơ trình duyệt không thể phân biệt được với thiết bị của người dùng thực. Một hồ sơ như vậy phải xuất hiện tự nhiên không chỉ về mặt cài đặt trình duyệt mà còn về các đặc điểm phần cứng: card đồ họa, bộ xử lý, dung lượng bộ nhớ, các khả năng hệ thống được hỗ trợ và các chỉ số khác.

Điều này đặt ra một câu hỏi rõ ràng: làm thế nào một công cụ tìm kiếm có thể biết phần cứng nào được cài đặt trên máy tính của người dùng? Câu trả lời rất đơn giản—thông qua JavaScript. Các tập lệnh phân tích như Google Analytics hoặc Yandex Metrica chạy trực tiếp bên trong trình duyệt và có quyền truy cập vào nhiều đặc điểm của thiết bị thông qua các Web API tiêu chuẩn. Trên thực tế, trình duyệt trở thành một nguồn thông tin mà các hệ thống chống gian lận sử dụng để xây dựng một vân tay thiết bị.

Hơn nữa, Google chính thức xác nhận rằng họ sử dụng dữ liệu được thu thập bởi trình duyệt Chrome khi đánh giá các trang web và chống lại các hành vi lạm dụng. Điều này làm cho chất lượng mô phỏng môi trường trình duyệt trở thành một trong những yếu tố then chốt đằng sau bất kỳ chiến lược tự động hóa thành công nào.

Trình duyệt liên tục thu thập các mẫu hành vi (cuộn trang, nhấp chuột, dữ liệu phần cứng) và đóng gói chúng thành một tải trọng được mã hóa, bao gồm cả dữ liệu được gửi đến các máy chủ của công cụ tìm kiếm

Quá trình phát hiện bắt đầu bằng việc thu thập vân tay trình duyệt và xác định các bất thường về mạng. Hệ thống so sánh các đặc điểm được khai báo của trình duyệt với các chỉ số phần cứng thực tế. Nếu bạn truy cập bất kỳ trang web kiểm tra vân tay nâng cao nào, chẳng hạn như CreepJS, bằng cách sử dụng một tập lệnh tự động tiêu chuẩn, nó sẽ làm nổi bật mọi sự không nhất quán và các nỗ lực giả mạo rõ ràng. Các công cụ tìm kiếm cũng làm điều tương tự—chỉ là ở phía sau hậu trường.

Đồ họa và phương tiện truyền thông (Canvas, WebGL, AudioContext)

Danh mục này tập trung vào cách phần cứng của bạn xử lý vật lý đồ họa và âm thanh.

• Lấy vân tay Canvas: một tập lệnh hướng dẫn trình duyệt hiển thị một hình ảnh 2D ẩn chứa văn bản, bóng đổ và các hình dạng hình học. Do card đồ họa, trình điều khiển và thuật toán hiển thị phông chữ khác nhau trên các hệ điều hành, hình ảnh kết quả sẽ khác nhau ở cấp độ pixel. Đầu ra sau đó được chuyển đổi thành một mã băm, đóng vai trò là một mã định danh mạnh mẽ. Các nỗ lực thêm "nhiễu" (các pixel ngẫu nhiên trong đầu ra Canvas) rất dễ bị phát hiện và ảnh hưởng tiêu cực đến điểm tin cậy.

• Lấy vân tay WebGL: thu thập thông tin về quá trình xử lý đồ họa 3D. Các hệ thống chống gian lận truy vấn các giá trị WebGL Vendor và Renderer. Nếu bạn đang sử dụng máy ảo hoặc máy chủ, các trình kết xuất phần mềm như SwiftShader hoặc llvmpipe có thể bị lộ. Đối với các công cụ tìm kiếm, đây là một dấu hiệu cảnh báo: người dùng thực thường không duyệt Internet từ các máy chủ không có phần cứng đồ họa.

• Lấy vân tay âm thanh: một phương pháp phát hiện ít được biết đến hơn nhưng hiệu quả không kém. Thông qua Ngữ cảnh âm thanh API, trình duyệt tạo ra một tín hiệu âm thanh tần số thấp và tính toán biểu diễn toán học của nó. Nguyên lý tương tự như lấy vân tay đồ họa: các chip âm thanh khác nhau xử lý âm thanh với các biến đổi vi mô.

Môi trường thực thi trình duyệt (Môi trường JavaScript)

Đây là nơi mà 90% người dùng tự động hóa bị phát hiện. Các hệ thống chống gian lận kiểm tra xem bạn có đang cố gắng che giấu thông tin về hệ điều hành hoặc trình duyệt của mình hay không.

• User-Agent so với Client Hints: việc chỉ thay thế chuỗi User-Agent không còn đủ nữa. Các trình duyệt dựa trên Chromium hiện đóng băng User-Agent, và các công cụ tìm kiếm dựa vào các tiêu đề Sec-CH-UA (Client Hints). Nếu User-Agent của bạn tuyên bố bạn đang sử dụng Windows 11, nhưng Client Hints tiết lộ là Linux, phiên làm việc ngay lập tức trở nên đáng ngờ.

• Sự không nhất quán của phần cứng: một trình duyệt có thể báo cáo RAM khả dụng (navigator.deviceMemory) và số lõi CPU (navigator.hardwareConcurrency). Nếu hồ sơ của bạn tự giới thiệu là một máy tính xách tay cao cấp nhưng chỉ báo cáo có 2 lõi CPU và 4 GB bộ nhớ, đó sẽ trở thành một tín hiệu phát hiện khác.

• Các chỉ số trình duyệt không đầu (Headless): một trong những cách rõ ràng nhất khiến các khung tự động hóa bị phát hiện. Các cấu hình Puppeteer, Selenium, và Playwright tiêu chuẩn để lại các dấu vết có thể nhận dạng: ví dụ: thuộc tính navigator.webdriver được đặt thành true theo mặc định. Các hệ thống bảo mật tích cực tìm kiếm các chỉ số này và phân loại những người dùng đó là bot.

Tầng mạng (JA3/JA4 và HTTP/2)

Phân tích cấu trúc gói mạng là một trong những phương pháp phát hiện bot ít rõ ràng hơn nhưng cực kỳ hiệu quả. Nó có thể xác định tự động hóa ngay cả trước khi HTML của trang web được tải xuống.

• Vân tay TLS: kiểm tra bắt tay TLS được sử dụng để thiết lập kết nối được mã hóa. Các môi trường lập trình như Python và Node.js có các thứ tự bộ mật mã đặc trưng khác biệt đáng kể so với hành vi của trình duyệt Google Chrome tiêu chuẩn. Kết quả là, máy chủ có thể xác định xem nó đang giao tiếp với một tập lệnh Python hay Node.js thay vì một người dùng thực.

• Lấy vân tay HTTP/2: xác định các tập lệnh tự động hóa thông qua các đặc điểm cụ thể của việc triển khai dồn kênh HTTP/2 và thứ tự truyền tiêu đề giả. Nó thường được sử dụng cùng với việc lấy vân tay TLS.

Xác thực sự kiện

Bot không di chuyển chuột vật lý, chúng tạo ra các sự kiện theo cách lập trình (ví dụ: thông qua element.click()). Trình duyệt nhận thức được sự khác biệt này: các sự kiện được tạo ra bởi tương tác thực tế của người dùng (nhấp chuột, cuộn trang, nhập bàn phím) có chứa một cờ hệ thống tích hợp isTrusted = true. Nếu một sự kiện được kích hoạt bởi một tập lệnh, cờ sẽ được đặt thành false. Các hệ thống chống gian lận kiểm tra thuộc tính này trong quá trình tương tác với các biểu mẫu, nút và các yếu tố giao diện khác.

Sự không nhất quán của dữ liệu là kẻ thù lớn nhất của bất kỳ chuyên gia tự động hóa nào. Các hệ thống phát hiện không chặn người dùng vì một vân tay không hoàn hảo. Họ chặn người dùng vì các thành phần khác nhau của vân tay đó không khớp với nhau.

Các kỹ thuật lách luật: mô phỏng và giả mạo vân tay

Các công cụ tìm kiếm càng phân tích sâu hành vi của người dùng và các đặc điểm của thiết bị, thì càng thấy rõ rằng các tập lệnh đơn giản không còn có thể vượt qua thành công các hệ thống phát hiện hiện đại.

Đây là lý do tại sao việc mô phỏng tín hiệu hành vi cần phải dựa vào các công cụ chuyên dụng—trình duyệt chống phát hiện. Mục đích của chúng không đơn giản là giả mạo các tham số trình duyệt riêng lẻ, mà là tạo ra các hồ sơ trình duyệt hoàn toàn nhất quán. Tất cả các đặc điểm của thiết bị, trình duyệt và hệ điều hành phải đồng nhất với nhau, tạo thành một danh tính kỹ thuật số mạch lạc giống hệt như danh tính của một người dùng thực.

Tạo một hồ sơ nhất quán trong một trình duyệt chống phát hiện hiện đại

Về lý thuyết, tất cả những điều này có thể đạt được bằng cách sử dụng các tập lệnh tùy chỉnh và các thư viện mã nguồn mở. Tuy nhiên, cái giá của một sai lầm là cực kỳ cao. Bỏ lỡ một chi tiết duy nhất có thể khiến công cụ tìm kiếm bắt đầu tích lũy các tín hiệu của hoạt động đáng ngờ. Hơn nữa, các hình phạt hiếm khi được áp dụng ngay lập tức: các thuật toán thu thập dữ liệu trong thời gian dài và một bộ lọc có thể được áp dụng sau nhiều tuần hoặc thậm chí nhiều tháng kể từ khi quá trình tự động hóa bắt đầu.

Giả mạo vân tay kỹ thuật số

Giả mạo vân tay hiện đại không dựa trên việc thao túng JavaScript ở cấp độ bề mặt (các công cụ tìm kiếm có thể dễ dàng phát hiện các can thiệp ở cấp độ trang). Thay vào đó, nó hoạt động ở cấp độ nhân Chromium.

• Đồng bộ hóa toàn diện và nhất quán: khi bạn tạo một hồ sơ dựa trên Windows, một trình duyệt chống phát hiện không chỉ đơn giản là thay thế chuỗi User-Agent. Nó tự động giả mạo các tiêu đề Sec-CH-UA (Client Hints), tải các bộ phông chữ cụ thể cho Windows và điều chỉnh các đặc điểm hiển thị Canvas để phù hợp với hệ điều hành.

• Che giấu tự động hóa: để ẩn thực tế là trình duyệt đang được điều khiển bởi phần mềm như Puppeteer hoặc Playwright, một nhân trình duyệt đã được sửa đổi sẽ loại bỏ cờ webdriver ở cấp độ thấp và che giấu các dấu vết của Giao thức Chrome DevTools (CDP), khiến các tập lệnh của công cụ tìm kiếm nhận thức trình duyệt như một phiên bản Chrome thông thường do người dùng điều khiển.

Tạo dữ liệu sinh trắc học: chuyển động chuột, cuộn trang và nhập liệu

Một vân tay trình duyệt thích hợp chỉ là một nửa trận chiến. Quan trọng không kém là cách hồ sơ hành xử trong kết quả tìm kiếm và trên các trang web. Các công cụ tìm kiếm không chỉ phân tích các đặc điểm kỹ thuật của thiết bị mà còn cả các tín hiệu hành vi, vì vậy lưu lượng truy cập tổng hợp phải tái tạo chặt chẽ các hành động tự nhiên, hơi hỗn loạn của người dùng thực.

• Động lực nhập liệu: mọi người không nhập các truy vấn tìm kiếm với độ trễ hoàn toàn nhất quán. Việc mô phỏng nhấn phím nên tính đến các khoảng dừng siêu nhỏ dựa trên khoảng cách phím, các lỗi gõ phím ngẫu nhiên và các sửa lỗi sau đó.

• Cuộn trang tự nhiên: cuộn trang tự động thường xảy ra theo các bước nhảy đột ngột của một số lượng pixel cố định. Mô phỏng thích hợp liên quan đến hành vi cuộn không đều: lướt nhanh qua các phần không liên quan, chậm lại xung quanh các hình ảnh và thỉnh thoảng cuộn ngược lại một chút để đọc lại một tiêu đề.

• Quỹ đạo chuyển động của chuột: các hệ thống bảo mật xây dựng bản đồ nhiệt và đánh giá các mẫu phản ứng. Một đường dẫn con trỏ thẳng tắp hoàn hảo từ vị trí hiện tại đến nút tìm kiếm chắc chắn là hành vi phi nhân tính. Trong quá khứ, các nhà phát triển bot đã giải quyết vấn đề này bằng cách sử dụng các đường cong Bézier để tạo ra các cung tròn mượt mà. Ngày nay, cách tiếp cận này kém hiệu quả hơn vì các thuật toán có thể xác định các quỹ đạo như vậy và phát hiện ra sự thiếu rung tay tự nhiên.

Mô phỏng hiện đại đã phát triển từ hình học đơn giản sang động học tinh vi. Chuyển động của con trỏ hiện dựa trên các tập dữ liệu thực tế về hành vi vận động của con người và tuân theo Định luật Fitts: chuột bắt đầu di chuyển sau một khoảng trễ ngắn, tăng tốc mạnh mẽ ở giữa hành trình, sau đó giảm tốc độ dần dần và thực hiện một loạt các điều chỉnh vi mô có tính chất sửa lỗi khi người dùng hướng tới liên kết mong muốn.

Lựa chọn proxy chất lượng cao

Đối với các tác vụ thu thập dữ liệu web, các proxy trung tâm dữ liệu chất lượng cao vẫn là một giải pháp đáng tin cậy và hiệu quả. Tuy nhiên, khi mô phỏng hành vi của người dùng, chúng thường trở thành mắt xích yếu nhất. Ngay cả một hồ sơ trình duyệt được cấu hình hoàn hảo và các hành động thực tế của người dùng cũng không thể bù đắp cho một môi trường mạng không tự nhiên.

Các công cụ tìm kiếm phân tích không chỉ địa chỉ IP mà còn cả các đặc điểm liên quan, bao gồm ASN (Số hệ thống tự trị). Nếu một phiên làm việc của người dùng điển hình có vẻ bắt nguồn từ cơ sở hạ tầng của Amazon, Selectel hoặc một nhà cung cấp dịch vụ lưu trữ khác, nó có thể kích hoạt các cờ chống gian lận bổ sung. Người dùng thực tế thường truy cập Internet thông qua các mạng dân cư hoặc di động thay vì các trung tâm dữ liệu.

Để vượt qua các bộ lọc hành vi một cách thành công, chỉ có hai loại mạng thực sự phù hợp:

• Proxy dân cư. Proxy dân cư định tuyến lưu lượng truy cập qua các thiết bị vật lý thuộc về những người dùng Internet gia đình thông thường (bộ định tuyến và máy tính cá nhân) được kết nối với các ISP hợp pháp. Các địa chỉ IP này có lịch sử hoạt động tự nhiên và kế thừa sự tin cậy của công cụ tìm kiếm liên quan đến các nhà cung cấp Internet hợp pháp.

• Proxy di động. Proxy di động được coi là tiêu chuẩn vàng để mô phỏng tín hiệu hành vi. Do tình trạng khan hiếm địa chỉ IPv4 trên toàn cầu, các nhà mạng di động dựa vào công nghệ CGNAT. Kết quả là, hàng ngàn người dùng điện thoại thông minh thực tế chia sẻ cùng một địa chỉ IP bên ngoài. Các công cụ tìm kiếm nhận thức được điều này. Việc chặn một IP như vậy sẽ chặn một cách hiệu quả những người dùng hợp pháp trên toàn bộ một khu vực, đây không phải là điều mà các thuật toán dám làm.

Ngăn ngừa rò rỉ: Ngay cả khi sử dụng các proxy dân cư chất lượng cao, một lỗi cấu hình duy nhất có thể làm lộ môi trường thực tế của người dùng. Đây là lý do tại sao việc ngăn chặn rò rỉ WebRTC và DNS tiềm ẩn là cực kỳ quan trọng. Nếu các yêu cầu được định tuyến qua một proxy trong khi địa chỉ IP thực vẫn bị lộ hoặc các truy vấn DNS được gửi qua cơ sở hạ tầng không liên quan, các hệ thống chống gian lận có thể liên kết phiên làm việc đó với môi trường thực tế của bạn.

Chiến lược chuẩn bị hồ sơ

Cuối cùng, chúng ta có một vân tay trình duyệt chống phát hiện hoàn hảo, động học con trỏ thực tế và một địa chỉ IP di động sạch. Liệu chúng ta có thể gửi ngay hồ sơ này đến một công cụ tìm kiếm để thao túng các tín hiệu hành vi không? Không. Với xác suất cao, thuật toán cũng sẽ loại bỏ phiên làm việc này.

Lý do rất đơn giản: một hồ sơ trống rỗng không có lịch sử duyệt web là một dấu hiệu rõ ràng của lưu lượng truy cập nhân tạo. Một người dùng thực sự hoạt động trên một thiết bị hợp pháp luôn có quá khứ kỹ thuật số, bao gồm các cookie tích lũy, các tệp bộ nhớ đệm và các đăng nhập đang hoạt động. Mô phỏng hiệu quả đòi hỏi phải chuẩn bị hồ sơ một cách thích hợp.

• Tích lũy cookie. Việc xây dựng lịch sử duyệt web bắt đầu từ rất lâu trước khi nhập truy vấn mục tiêu vào Google. Hồ sơ nên truy cập các trang web tin tức lớn, các sàn thương mại điện tử và YouTube, và lý tưởng nhất là đăng nhập vào một số nền tảng mạng xã hội. Điều này cho phép các trình theo dõi quảng cáo và tìm kiếm gán các sở thích cho hồ sơ. Ví dụ: nếu hồ sơ nhằm mục đích tạo ra các tín hiệu hành vi cho một trang web bất động sản, nó nên có sẵn một lịch sử duyệt web liên quan đến các nhà phát triển bất động sản và các cổng thông tin bất động sản.

• Tính kiên trì của phiên làm việc. Các hệ thống theo dõi hiện đại dựa vào nhiều thứ hơn là các cookie truyền thống. Hồ sơ kỹ thuật số của bạn (mặc dù, một lần nữa, việc sử dụng trình duyệt chống phát hiện được ưu tiên hơn) nên giữ lại dữ liệu một cách thích hợp trong các cơ sở dữ liệu Bộ nhớ cục bộ và IndexedDB giữa các lần khởi động lại trình duyệt. Điều này chứng minh cho các hệ thống lọc hành vi thấy rằng phiên làm việc không phải là dùng một lần mà thuộc về một người dùng Internet đang hoạt động, dài hạn.

Ma trận kiểm soát

Tóm lại, các véc-tơ chính mà các công cụ tìm kiếm sử dụng để phát hiện tự động hóa có thể được tổ chức thành một khung duy nhất:

Kết luận

Việc sử dụng các tín hiệu hành vi cho SEO hoặc thu hút lưu lượng truy cập luôn đi kèm với một mức độ rủi ro nhất định. Ngay cả các hệ thống mô phỏng cực kỳ tinh vi cũng không thể đảm bảo bảo vệ hoàn toàn khỏi các thuật toán phát hiện của công cụ tìm kiếm, vốn liên tục cải thiện khả năng phát hiện hoạt động nhân tạo.

Do đó, trước khi đầu tư nguồn lực đáng kể vào cơ sở hạ tầng kỹ thuật, bạn nên cân nhắc các phương pháp tiếp cận thay thế: nội dung chất lượng cao, trải nghiệm người dùng mạnh mẽ và sự phát triển lâu dài của trang web thường mang lại kết quả ổn định và bền vững hơn.