Playwright so với Puppeteer so với Selenium: so sánh các framework

Hỗ trợ các ngôn ngữ lập trình

Selenium được thiết kế cho một đối tượng phát triển rộng lớn, đó là lý do vì sao nó có hỗ trợ ngôn ngữ chính thức rộng nhất. Có các thư viện chính thức cho Java, Python, C#, Ruby, JavaScript, Kotlin, PHP và các ngôn ngữ lập trình khác. Nhiều năm tiến hóa đã làm cho Selenium trở thành công cụ gần như phổ quát.

Puppeteer ban đầu được phát triển riêng cho Node.js (JavaScript và TypeScript). Chính thức, chỉ có các môi trường này được hỗ trợ, mặc dù có các phiên bản không chính thức cho Python, .NET và các ngôn ngữ khác. Tuy nhiên, giao diện Puppeteer chính và cập nhật nhất là JavaScript.

Playwright hỗ trợ nhiều ngôn ngữ ngay từ đầu. Ngoài JavaScript và TypeScript, có các khách hàng chính thức cho Python, Java và .NET (C#). Khác với Puppeteer, Playwright không bị ràng buộc với Node.js — bạn có thể viết tập lệnh bằng bất kỳ ngôn ngữ nào được hỗ trợ chính thức.

Do đó, Selenium và Playwright thắng về sự đa dạng ngôn ngữ lập trình. Selenium có phạm vi bao phủ chính thức rộng nhất, bao gồm các ngôn ngữ hiếm và kế thừa. Playwright hỗ trợ các ngôn ngữ hiện đại phổ biến nhất. Puppeteer bị giới hạn chính thức trong hệ sinh thái Node.js.

Hỗ trợ trình duyệt

Selenium được xây dựng trên tiêu chuẩn WebDriver và có thể tự động hóa hầu như bất kỳ trình duyệt nào với trình điều khiển tương thích. Nó hỗ trợ Chrome (Chromium), Firefox, Safari, Edge, Opera và thậm chí cả Internet Explorer. Về phạm vi chế giễu chéo, Selenium cung cấp hỗ trợ rộng nhất. Việc tự động hóa Internet Explorer có thể có vẻ lỗi thời, nhưng trong một số môi trường, hỗ trợ hệ thống kế thừa có thể quyết định.

Puppeteer tập trung vào các trình duyệt dựa trên Chromium. Theo mặc định, nó hoạt động với Google Chrome (Chromium) và các trình duyệt dựa trên Chromium khác. Hỗ trợ cho các động cơ khác bị hạn chế: nếu bạn cần WebKit hoặc trình duyệt không phải Chromium, Puppeteer sẽ không giúp bạn trực tiếp.

Playwright được thiết kế như một giải pháp đa trình duyệt. Nó hỗ trợ ba động cơ chính: Chromium, Firefox và WebKit. Nó không hoạt động với các trình duyệt kế thừa hoặc hiếm, nhưng cho hầu hết các nhiệm vụ scraping và kiểm thử, phạm vi này là đủ.

Về khả năng chế giễu chéo, Selenium vẫn là người dẫn đầu, tiếp theo là Playwright, bao quát tất cả các động cơ hiện đại. Puppeteer bị giới hạn đáng kể hơn trong khía cạnh này.

Tính năng và tiện ích sử dụng

Cả ba giải pháp đều cung cấp một bộ cốt lõi về khả năng tự động hóa trình duyệt:

• khởi chạy trình duyệt (bao gồm chế độ không đầu);

• điều hướng trang;

• chọn phần tử;

• mô phỏng tương tác người dùng (nhấp chuột, nhập văn bản);

• thực thi JavaScript;

• trích xuất DOM, và hơn thế nữa.

Bất kỳ nhiệm vụ tự động hóa web tiêu chuẩn nào cũng có thể được giải quyết bằng Selenium, Puppeteer hoặc Playwright. Tuy nhiên, chúng khác nhau về sự tiện lợi cho nhà phát triển và các tính năng tích hợp sẵn.

Selenium cung cấp kiểm soát cấp độ thấp qua WebDriver API. Cú pháp và cách tiếp cận của nó có thể cảm thấy hơi dài dòng và nhiều boilerplate so với các công cụ hiện đại. Các nhà phát triển thường cần cấu hình đợi rõ ràng và mô tả từng hành động chi tiết. Tuy nhiên, Selenium đã trở nên cực kỳ ổn định qua nhiều năm. Các thư viện bao bọc mạnh mẽ (chẳng hạn như WebDriverIO hoặc Selenide) phần nào đơn giản hóa phát triển. Chính bản thân Selenium khá tối giản.

Puppeteer và Playwright mới hơn cung cấp một API hiện đại, gọn gàng hơn. Cả hai hoạt động không đồng bộ, đơn giản hóa việc viết kịch bản từng bước mà không cần gọi lại sâu lồng nhau.

Playwright đặc biệt chú trọng vào trải nghiệm nhà phát triển. Nó bao gồm các công cụ tích hợp sẵn giúp đơn giản hóa việc viết kiểm thử và kịch bản: Playwright Inspector cho phép gỡ lỗi từng bước trong thời gian thực, trong khi Codegen ghi lại các hành động của bạn trong trình duyệt và tạo mã tương ứng tự động.

Điều này đáng kể hạ thấp rào cản đầu vào cho người mới bắt đầu. Playwright cũng thực hiện tự động đợi thông minh theo mặc định mà không cần thêm rõ ràng các câu lệnh đợi. Kết quả là mã gọn gàng hơn và ít lỗi hơn.

Codegen cho phép bạn hoàn thành các hành động trình duyệt và tạo mã tương ứng

Puppeteer không cung cấp đợi tự động đến mức tương tự. Cũng như Selenium, trách nhiệm đồng bộ hóa nằm ở nhà phát triển (hoặc các tiện ích bên ngoài). Puppeteer và Selenium cũng thiếu tạo mã tích hợp sẵn hoặc chế độ tương tác ngay từ đầu.

Một thế mạnh của Puppeteer là tích hợp sâu với DevTools của Chrome. Nó kiểm soát trình duyệt trực tiếp qua DevTools Protocol, cung cấp quyền truy cập vào các hoạt động cấp độ thấp như:

• chặn các yêu cầu và phản hồi mạng;

• nghe các sự kiện console của trình duyệt;

• giả lập vị trí địa lý và giả lập thiết bị di động;

• truy xuất chỉ số hiệu suất.

Playwright cũng cung cấp khả năng tương tự (qua giao thức Chromium và các triển khai riêng cho các động cơ khác). Chặn yêu cầu và giả lập di động cũng tiện trong Playwright.

Giả lập một thiết bị di động

Selenium ban đầu không được thiết kế cho kiểm soát cấp độ sâu như vậy. Chỉ từ phiên bản 4 mới xuất hiện hỗ trợ DevTools hạn chế. Do đó, cho các nhiệm vụ liên quan đến các yêu cầu mạng hoặc các tính năng trình duyệt nâng cao, Puppeteer hoặc Playwright thường được ưa thích hơn so với Selenium thuần túy.

Về làm việc với các trang web động và nặng JavaScript, cả ba công cụ đều khởi chạy một trình duyệt thực sự và có thể thực thi JavaScript trên trang, điều này làm chúng phù hợp cho việc scraping các ứng dụng một trang, các trang web tải động, và các trường hợp tương tự. Tuy nhiên, hiệu quả của chúng trong những nhiệm vụ như vậy khác nhau:

• Selenium kém hiệu quả hơn trong điều kiện này: dưới tải JavaScript nặng, các kịch bản chạy chậm hơn và yêu cầu nhiều tài nguyên hơn mỗi phiên.

• Puppeteer xử lý tốt JavaScript nặng nhờ tích hợp chặt chẽ với động cơ Chrome, điều này làm cho nó trở thành một trong những giải pháp tốt nhất để tự động hóa nhanh trong môi trường Node.js.

• Playwright, ngoài tốc độ cao, cung cấp phân phối tải tiên tiến qua các động cơ trình duyệt khác nhau (Chromium, Firefox, WebKit). Điều này thuận tiện khi bạn cần phân tích song song việc hiển thị các trang nặng.

Playwright nổi bật với thiết kế chu đáo và tiện ích cho nhà phát triển: Inspector, tạo mã tự động, đợi tự động, và các chi tiết khác cho nó một lợi thế. Puppeteer mang lại sự đơn giản và tốc độ trong môi trường Node.js. Selenium chỉ đơn giản là đáng tin cậy, mặc dù chậm hơn trong một số trường hợp. Không có tính năng thực sự độc đáo nào trong Puppeteer hoặc Selenium, và hầu như mọi thứ có thể được triển khai trong bất kỳ các khung công tác này. Do đó, về khả năng sử dụng và tính năng, Playwright có thể được coi là người chiến thắng (đặc biệt dành cho người mới bắt đầu).

Playwright cho phép bạn phân tích việc thực thi kiểm thử từng khung, xem các yêu cầu mạng và kiểm tra trạng thái DOM bất cứ lúc nào

Hiệu suất và tốc độ

Như đã đề cập trước đó, Selenium chậm hơn Puppeteer và Playwright. Có một lời giải thích hợp lý cho điều này, vì Selenium giao tiếp với trình duyệt qua giao thức WebDriver nặng hơn (các yêu cầu HTTP), trong khi Puppeteer và Playwright sử dụng kết nối DevTools nhẹ hơn (WebSocket). Trên thực tế, điều này có thể được xác nhận: Puppeteer và Playwright thực hiện các kịch bản nhanh hơn (đôi khi nhanh hơn một bậc) so với các kịch bản tương đương viết bằng Selenium. Ví dụ, cùng một kịch bản (scraping các trang đặt phòng) với các dữ liệu đầu vào giống nhau cho thấy hiệu suất kém hơn trong Selenium so với Playwright. Qua 24 giờ hoạt động, một scraper được xây dựng với Playwright xử lý 30.000 URL, trong khi Selenium quản lý tối đa 8.000 ở đỉnh điểm.

Cũng có một sự khác biệt nhỏ giữa Puppeteer và Playwright: trong các kịch bản rất ngắn, Puppeteer đôi khi vượt trội hơn Playwright. Điều này là do Playwright có chi phí ban đầu cao hơn. Tuy nhiên, trong các nhiệm vụ dài hạn, sự khác biệt sẽ cân bằng lại: trong suốt các phiên kéo dài, tốc độ của Puppeteer và Playwright gần như giống nhau. Vì vậy, việc lựa chọn dựa trên tốc độ không phải là yếu tố quyết định ở đây, trừ những trường hợp mà bạn cần thực thi hàng nghìn phiên rất ngắn, nơi Puppeteer có thể cung cấp thời gian khởi động trình duyệt nhanh hơn.

Selenium không chỉ chậm hơn mà còn đòi hỏi nhiều hơn về mặt phần cứng. Khung làm việc tiêu thụ nhiều RAM hơn và đặt tải nặng hơn lên CPU. Khi chạy song song hàng tá luồng trình duyệt, sự khác biệt về sử dụng tài nguyên trở nên đáng chú ý.

Đồng thời, điều quan trọng là phải duy trì khách quan và cân nhắc:

1. Các yếu tố bên ngoài: độ trễ mạng, tốc độ tải trang web và thời gian thực thi phía máy chủ thường quan trọng hơn sự khác biệt100 ms trong chính khung công tác.

2. Quy mô dự án: đối với các dự án nhỏ, sự khác biệt về tốc độ có thể không đáng kể. Selenium vẫn là một công cụ khả dụng; nó chỉ yêu cầu nhiều tài nguyên hơn để đạt được cùng kết quả ở quy mô lớn.

Puppeteer và Playwright nhanh hơn so với Selenium, và về cơ bản chúng có thể so sánh với nhau về hiệu suất, mặc dù Puppeteer có thể nhanh hơn một chút trong các nhiệm vụ ngắn. Nếu mục tiêu của bạn là tối đa hóa hiệu suất và bạn chỉ giới hạn ở Chrome, Puppeteer có thể hiệu quả hơn. Tuy nhiên, trong các trường hợp khác, do sự khác biệt khác giữa các khung công tác, tốc độ không có khả năng trở thành yếu tố quyết định.

Tăng quy mô và thực thi song song

Vì chúng ta đã đề cập đến thực thi song song, hãy xem xét kỹ hơn. Trong scraping, chạy nhiều phiên trình duyệt đồng thời là tính năng không thể thiếu. Nó được sử dụng để tăng tốc quá trình kiểm thử hoặc scraping nhiều trang cùng một lúc. Tuy nhiên, điều quan trọng là hiểu rằng đồng thời thường bị giới hạn bởi tài nguyên (CPU/RAM), khả năng mạng và các hạn chế của trang web mục tiêu, không chỉ bởi giải pháp được chọn. Ở đây cũng có những khác biệt trong cách tiếp cận:

• Selenium cung cấp một giải pháp chuyên dụng — Selenium Grid. Đây là một thành phần riêng biệt cho phép thực thi kiểm thử phân phối qua các máy khác nhau hoặc trình duyệt song song. Grid mạnh mẽ nhưng khá phức tạp, yêu cầu thiết lập cơ sở hạ tầng (host, node, hub, v.v.). Nó ít được sử dụng hơn trong scraping web nhưng giúp mở rộng Selenium theo chiều ngang. Ngoài ra còn có các lựa chọn thay thế nhẹ hơn (chẳng hạn như Selenoid) cho thực thi trình duyệt song song cục bộ. Bản thân Selenium không bao gồm một hệ thống điều phối song song tích hợp trong API của nó — thực thi song song thường được triển khai ở cấp độ mã riêng hoặc qua Grid (hoặc các công cụ tương tự) khi cần phân phối qua các máy.

• Puppeteer không cung cấp một giải pháp quản lý cụm tích hợp tự bản thân nó, nhưng nhiều instance có thể được khởi chạy song song thủ công. Cũng có một thư viện nguồn mở phổ biến, puppeteer-cluster, giúp đơn giản hóa việc chạy nhiều instance Chromium song song và phân phối các nhiệm vụ giữa chúng, nhưng vẫn là một công cụ bên ngoài. Puppeteer tự nó không thể điều phối nhiều trình duyệt tự động — bạn sẽ cần viết mã tùy chỉnh hoặc sử dụng các thư viện bổ sung. Trên thực tế, Puppeteer thường được sử dụng với các trình duyệt dựa trên Chromium, vì vậy nếu bạn yêu cầu nhiều động cơ và/hoặc trình duyệt khác nhau, sự linh hoạt của khung công tác trở nên bị giới hạn nhiều hơn.

• Playwright ban đầu được thiết kế với thực thi song song trong tâm trí. Khi sử dụng Test Runner tích hợp sẵn của Playwright, các bài kiểm tra được thực thi tự động trong nhiều luồng theo mặc định. Thậm chí không cần Test Runner, API của Playwright cho phép bạn mở nhiều bối cảnh trình duyệt độc lập trong cùng một tiến trình — tương tự như chạy nhiều cấu hình trình duyệt cách ly được quản lý từ một cơ sở mã. Ngoài ra, Playwright còn hỗ trợ phân phối các bài kiểm tra qua các máy khác nhau, giúp đơn giản hóa việc mở rộng cho các khối công việc lớn.

Do đó, Playwright cung cấp hỗ trợ đồng thời tốt nhất ngay từ đầu trong ba giải pháp. Selenium có thể được coi là thứ hai, và Puppeteer đứng thứ ba. Tuy nhiên, so sánh này áp dụng cho cấu hình cơ bản của chúng. Trong các hệ thống thực tế lớn, cơ sở hạ tầng xung quanh, hàng đợi nhiệm vụ, sự ổn định, và tài nguyên phần cứng quan trọng hơn.

Đối với scraping quy mô lớn, Selenium thường không phù hợp hơn, vì nó tương đối chậm và đòi hỏi nhiều tài nguyên hơn, điều này có thể trở thành nút thắt cổ chai. Puppeteer nhanh hơn nhưng bị giới hạn chỉ sử dụng một động cơ trình duyệt (Chrome). Khi chạy một số lượng lớn nhiệm vụ trên cùng một động cơ và với các loại chữ ký giống nhau, các hạn chế bổ sung có thể xuất hiện. Playwright, ngược lại, cho phép phân phối tải qua nhiều trình duyệt và luồng khác nhau. Tuy nhiên, hiệu quả tổng thể sẽ luôn bị giới hạn bởi CPU/RAM, băng thông mạng, và những hạn chế của trang web mục tiêu.

Ẩn danh và chống phát hiện

Khi scraping trang web, không chỉ tốc độ và hiệu suất tải mà còn cả khả năng bị phát hiện của giải pháp đối với các hệ thống chống bot. Các trang web hiện đại có thể xác định các khách hàng tự động qua các tín hiệu kỹ thuật khác nhau — và thật không may, cả ba khung công tác đều để lại dấu vết tự động hóa theo mặc định.

Selenium, Puppeteer, và Playwright đều được tạo ra ban đầu cho các mục đích mũ trắng (ví dụ: kiểm thử, giám sát) và không được thiết kế để ngụy trang làm trình duyệt thực sự. Do đó, chúng gửi tín hiệu rõ ràng chỉ ra tự động hóa, và các hệ thống chống bot tính đến những tín hiệu này khi phát hiện bot.

Mẫu điển hình nhất là cờ đặc biệt navigator.webdriver = true. Trong một số cấu hình tự động hóa, thuộc tính này hiển thị và phục vụ như là chỉ báo nhanh của trình duyệt "được kiểm soát ". Đây là một tín hiệu mở mà các kịch bản trang có thể sử dụng để nghi ngờ tự động hóa. Hành vi chính xác phụ thuộc vào động cơ, chế độ và phương pháp khởi chạy, vì vậy dựa vào một tín hiệu duy nhất là không đủ.

Các kịch bản chống bot cũng kiểm tra các chỉ số khác: Vân tay hoặc WebGL không khớp, thiếu plugin, giá trị bất thường trong navigator.languages hoặc deviceMemory, v.v...

Vấn đề được giải quyết bằng cách sử dụng các bản vá đặc biệt và các bộ bao trình duyệt nhằm cố gắng ngụy trang tự động hóa thành hành vi thật sự của người dùng. Ví dụ, Puppeteer có plugin puppeteer-extra-plugin-stealth, khi khởi chạy Chromium:

1. vô hiệu hóa một số cờ (bao gồm --disable-blink-features=AutomationControlled, cái bỏ navigator.webdriver);

2. ghi đè một số chức năng của JavaScript API với các giá trị thực tế hơn;

3. sửa chữa các bất thường vân tay đã biết.

Các cách tiếp cận tương tự cũng có sẵn cho Playwright - có các module từ bên thứ ba như playwright-stealth mà bắt chước các heuristic của puppeteer-stealth. Playwright cho phép bạn thực thi mã khi tạo một trang mới, điều này làm cho việc ghi đè navigator.webdriver hoặc các thuộc tính khác trước khi tải trang web trở nên khả thi.

Đối với Selenium, có module Undetected Chromedriver. Nó sửa đổi ChromeDriver tiêu chuẩn bằng cách loại bỏ các chữ ký tự động hóa. Ví dụ, nó xử lý AutomationControlled, không hiển thị thông báo “Chrome is being controlled by automated test software”, và vân vân.

Tuy nhiên, điều quan trọng là phải hiểu rằng việc che giấu hoàn toàn việc mô phỏng bot là rất khó. Hãy xem xét trình duyệt chống phát hiện Octo Browser: nó cho phép bạn cấu hình các vân tay duy nhất (Canvas, WebGL, phông chữ, âm thanh), mô phỏng các mẫu nhập của con người, cách ly các phiên và nhiều hơn nữa. Puppeteer hoặc Playwright, thậm chí với plugin, chỉ bao phủ các kỹ thuật mạo danh cơ bản và chỉ có thể vượt qua các hệ thống bảo vệ đơn giản nhất. Vì vậy, nếu mục tiêu của bạn là nghiêm túc thử thách các hệ thống chống bot, cần thiết lập cấu hình bổ sung:

• điều hành trình duyệt ở chế độ không đầu;

• ngẫu nhiên hóa các tác nhân người dùng, múi giờ và vân tay WebGL;

• sử dụng plugin loại tàng hình.

Điều này vẫn chưa đủ chống lại các hệ thống tiên tiến, nhưng nó có thể giúp vượt qua các bảo vệ cơ bản của chống bot.

Vậy nên, về mặt tàng hình, không có khung công tác nào trong ba khung công tác có lợi thế rõ ràng.

Sử dụng trong scraping và kiểm thử: khung công tác nào để chọn

Mỗi công cụ đều có những điểm mạnh riêng, và lựa chọn phụ thuộc vào nhiệm vụ và hạn chế của bạn.

• Nếu bạn là một nhà phát triển mới bắt đầu, hãy cân nhắc Playwright. Nó cung cấp một khởi đầu dễ dàng hơn, làm cho việc đạt được kết quả từ đầu trở nên dễ dàng hơn. Ngay lập tức, Playwright xử lý nhiều công việc thường lệ giúp bạn, hạ thấp rào cản đầu vào.

• Nếu dự án của bạn đã sử dụng Selenium hoặc yêu cầu tích hợp với hạ tầng kiểm thử hiện có, có lý do để chọn Selenium. Các công ty lớn thường có hệ sinh thái đã được dựng sẵn xung quanh nó. Selenium cũng không thể thiếu khi cần support cho các kết hợp kỳ dị (ví dụ, kiểm thử các trang di sản trong chế độ Microsoft Edge IE hoặc viết kịch bản trong Ruby hoặc PHP). Đối với các hệ thống di sản, nó vẫn là một con ngựa làm việc đáng tin cậy.

• Nếu kịch bản chính của bạn là scraping web, tự động hóa triển khai trong máy chủ đám mây, và tốc độ và sự linh hoạt là điều quan trọng, hãy xem xét Playwright. Đây là một công cụ nhanh và hiện đại dễ dàng mở rộng. Playwright cũng liên tục giới thiệu các tính năng mới, điều này làm cho nó có triển vọng trong tương lai.

• Nếu bạn chỉ cần tự động hóa Chrome (Chromium) và yêu cầu tốc độ tối đa với sự kiểm soát ở mức thấp, hãy chọn Puppeteer. Nó lý tưởng cho dự án Node.js nơi không cần gì hơn Chrome. Trong trường hợp sử dụng hẹp này, nó vượt trội hơn một chút các đối thủ về hiệu suất thô. Puppeteer cũng cung cấp truy cập trực tiếp đến hầu hết các khả năng của DevTools trên Chrome, điều này có thể cần thiết nếu bạn cần, ví dụ, các ảnh chụp nhanh PDF của các trang hoặc gỡ lỗi sâu của các sự kiện trình duyệt.

• Đối với kiểm thử tự động (QA), việc lựa chọn ít nhất là rõ ràng. Nếu bạn đang khởi đầu một dự án kiểm thử mới và sử dụng ngăn xếp công nghệ hiện đại, Playwright có thể tăng năng suất một cách đáng kể. Tuy nhiên, Selenium vẫn là tiêu chuẩn trong nhiều doanh nghiệp. Ngoài ra còn có một lựa chọn thay thế dưới dạng Cypress (dành cho ứng dụng web), nhưng đó là một chủ đề riêng biệt. Về ba công cụ đã thảo luận, Selenium vẫn là sự lựa chọn đáng tin cậy cho các tích hợp phức tạp và các dự ßdự án dài hạn, Playwright là lý tưởng cho khởi đầu nhanh và công nghệ web hiện đại, và Puppeteer phù hợp với các kịch bản chỉ dùng Chrome chuyên biệt.

Như bạn thấy, không có người chiến thắng rõ ràng ở đây, vì mỗi giải pháp đều mạnh trong phạm vi riêng của nó. Tuy nhiên, Playwright có thể được xem như là một lựa chọn cân bằng với triển vọng mạnh mẽ: nó kết hợp tính năng rộng với tốc độ cao, làm cho nó trở thành một ứng viên mạnh cho các dự án mới. Selenium vẫn có liên quan đến cần thiết sự kết hợp độc đáo của ngôn ngữ và trình duyệt tương thích và độ tin cậy đã được chứng minh lâu dài. Puppeteer vẫn là một công cụ tuyệt vời cho Chrome (Chromium), đặc biệt nếu bạn đang tích cực tích hợp trong hệ sinh thái Node.js và coi trọng sự đơn giản và kiểm soát trực tiếp — trong phạm vi đó, rất khó để đánh bại nó.

Cuối cùng, khi chọn một khung công tác, tập trung vào các nhu cầu cụ thể của dự án của bạn: cần trình duyệt, ngôn ngữ lập trình, quy mô, tầm quan trọng của chống phát hiện, và như vậy. Cả ba giải pháp đều đang tích cực phát triển và có khả năng xử lý các nhiệm vụ tự động hóa trình duyệt phức tạp. Lựa chọn đúng công cụ là chìa khóa để phát triển hiệu quả và triển khai dự án thành công.