Blog

  • Viết 1 Test Case Đơn Giản Với Python Selenium WebDriver

    Viết 1 Test Case Đơn Giản Với Python Selenium WebDriver

    Viết 1 test case đơn giản với Python Selenium WebDriver. Đây là bài viết trong loạt bài Automation skills cho tester già mà lười. Bài này VNTesters sẽ hướng dẫn các bạn viết 1 test case đơn giản. Dù bạn chưa từng làm hay học qua Selenium cũng có thể làm được.

    Chuẩn bị test environment

    Về cơ bản các bạn cần những software sau

    Các bạn tham khảo thêm bài Cài đặt môi trường cho Python Selenium Webdriver.

    Viết 1 test case đơn giản với Python Selenium

    Mình sẽ lấy Chrome là trình duyệt chạy test case. Web Driver cho Chrome có thể tìm thấy tại đây. Download về rồi bỏ nó vô folder C:\VNTesters\. Cũng trong folder này các bạn tạo 1 file tên simple_test_v1.py với nội dung như sau

    Test case ở trên đơn giản quá phải không? Đơn giản nên dễ giải thích (khó quá sẽ bỏ qua)

    1. from selenium import webdriver: import webdriver từ selenium package
    2. driver = webdriver.Chrome(executable_path=”C:/VNTesters/chromedriver.exe”): mở Chrome lên,
    3. driver.get (“https://vntesters.com/”): navigate tới trang chủ của VNTesters
    4. print (driver.title): in ra tiêu đề của trang web
    5. print (driver.title): tắt Chrome

    Để chạy test case trên, các bạn mởi CMD và vào folder C:\VNTesters rồi gõ lệnh sau

    python simple_test.py

    Cải thiện test case đơn giản với WebDriver Manager

    Các bạn có để ý dòng số 2 không? Đặc biệt đoạn executable_path=”C:/VNTesters/chromedriver.exe”. Đường dẫn tuyệt đối là rủi ro lớn khi test case phải chạy trên nhiều máy khác nhau. Để giải quyết vấn đề này VNTesters sẽ sử dụng WebDriver Manager. Để cài WebDriver Manager, anh em gõ lệnh sau vô CMD

    pip install webdriver_manager

    Test case ở trên sẽ được sửa lại chút xíu cho linh hoạt.

    Test case nhìn ngon ăn hơn nhiều rồi đúng không nào? Tuy nhiên sau khi chạy Test Case xong thì chẳng biết là Pass hay Fail nữa vì thiếu checkpoint. Solution? Đọc tiếp phần sau nhé.

    Chạy test case với PyTest

    PyTest Framework hỗ trợ viết test nhanh và dễ dàng hơn. Từ những test case nhỏ đến những test case kiểm thử chức năng phức tạp…vân vân và mây mây. Thôi vô vấn đề chính, để xài được PyTest các bạn phải cài nó trước

    pip install pytest

    Sau đó sửa test case đơn giản của chúng ta lại chút xíu nữa

    Sau khi chạy test case, các bạn sẽ biết là test case này Pass hay Fail. Cú pháp để chạy test case bằng PyTest như sau

    pytest –q simple_test.py

    Chạy test case với PyUnit

    Lân Huỳnh đã có bài viết chi tiết về PyUnit rồi. Bài này mình chỉ update lại code cho ví thôi nhé.

    Các bạn chạy test case bằng lệnh sau

    python -m unittest tests.py

    Lời Kết

    Như vậy là chúng ta đã viết được 1 test case đơn giản với Python Selenium. Từ level siêu gà đến hơi hơi gà. Chạy test case với PyTest, PyUnit kết hợp với WebDriver Manager. Để lại comment nếu bạn muốn biết thêm về những chủ đề khác.

  • 04 Điều Cần Chú Ý Cho Người Mới Làm Automation Test

    04 Điều Cần Chú Ý Cho Người Mới Làm Automation Test

    Automation Test nghe có vẻ cao siêu, đặc biệt là với các bạn Tester mới. Chỉ cần chú ý đến 4 điều dưới đây, Automation Test sẽ dễ không tưởng.

    1. Chú ý về cách dùng Locators

    Element Locators là một yếu tố quan trọng để quyết định sự ổn định một một automation test script. Nhiều bạn mới học thường không quan tâm nhiều đến việc lấy locator hiệu quả mà chỉ lấy để nó chạy được ngay lúc đó. Tuy nhiên việc một XPath chạy được ngay lúc đó không có nghĩa là một thời gian sau nó sẽ chạy tốt. Nhất là khi có một sự thay đổi nhỏ trên ứng dụng và tác động đến cấu trúc của XPath. Việc đầu tư thời gian để tìm hiểu về locator, về các kiểu locating đang hỗ trợ, XPath tương đối – tuyệt đối & XPath tối ưu sẽ giúp ích rất nhiều và cũng giảm thời gian để sửa lại sau này. Việc tìm và sửa XPath nói riêng hay locator nói chung là một việc làm mệt mỏi và tốn thời gian.

    Hai XPath này là cùng một element, nhưng cách thứ nhất sẽ hay hơn.
    //*[@class=’nav-logo’]
    //*[@id=”main-nav”]/div[1]/a/svg

    2. Chú ý về việc chuẩn bị Test Data

    Việc chuẩn bị test data (hay còn gọi là bước Pre-Conditions) cũng là một việc quan trọng. Phần lớn script lỗi là do locator, phần còn lại là về test data. Nhiều bạn thường sử dụng data có sẵn để test và không tự chuẩn bị data. Ví dụ như khi kiểm tra chức năng tìm kiếm thì lấy ngẫu nhiên một tên sản phẩm để search. Tuy nhiên cách này chỉ là cách tạm thời và mang nhiều rủi ro, vì có thể sau một thời gian tên sản phẩm đó bị đổi, bị xoá bới một người khác, và khi đó script sẽ không tìm ra sản phẩm và trả về kết quả là Fail.

    Việc tự tạo một data để test sẽ giúp chúng ta kiểm soát được điều kiện và đảm bảo luôn có đúng dữ liệu cần thiết, ví dụ như kịch bản phía trên, thay vì chọn ngẫu nhiên một tên sản phầm thì việc tạo mới sản phẩm trước để có data cần thiết, hoặc có thể tham khảo thêm một số cách để chuẩn bị data như bên dưới tương tự phần #3.

    3. Chú ý về khôi phục Test Data

    Việc khôi phục test data (Post-Conditions) cũng quan trọng như bước chuẩn bị, ví dụ như sau khi thực hiện test case thay đổi mật khẩu của một tài khoản thành công, chúng ta phải có bước để khôi phục lại giá trị cũ để những test khác có dùng đến tài khoản (hoặc data đó nói chung) không bị ảnh hưởng, tương tự như việc đổi quyền hạn, trạng thái của những data cần test.

    Một số ý tưởng để restore lại data sau khi chạy automation test script

    3.1. Dùng luôn UI để restore sau khi chạy test xong (Ví dụ sau khi tạo tài khoản và verify thành công thì xoá tài khoản đó trên web UI luôn). Cách này không cần can thiệp vào DB tuy nhiên sẽ tốn thời gian và làm script trở nên dài hơn.

    3.2. Có API thì nên gọi API, nếu có thể nhờ dev viết thêm cho những API để sử dụng thì càng tốt. Cách này nhanh & an toàn tuy nhiên cần phải có sẵn những API cần thiết.

    3.3. Xoá thông qua query SQL. Ví dụ tạo user a1122 thì query user đó ra để xoá, tuy nhiên đòi hỏi phải có quyền connect trực tiếp vào data và mang nhiều rủi ro.

    3.4. Snapshot cả DB trước khi chạy test, test xong hết thì restore cả DB lại. Cách này sẽ đảm bảo DB sạch như ban đầu.

    3.5. Không cần restore trên môi trường test nếu không lo lắng về việc data rác. Cái này không phải giải pháp hay.

    3.6. Tạo sẵn 1 list các câu query cần thiết trước, chạy nó (hoặc nhờ DB admin chạy) sau khi run test. Áp dụng trong trường hợp không có quyền thực hiện trên DB mà phải nhờ DB admin chạy giúp các câu lệnh.

    4. Chú ý về việc phụ thuộc giữa các test cases (Dependency)

    Các test không nên phụ thuộc nhau, hay nói cách khác nó nên độc lập (Independence Tests).

    Ví dụ mình có 3 test cases, thì 3 testcase này nên độc lập nhau, nếu chỉ lấy ra một trong ba thì vẫn có khả năng chạy được, tránh việc các test phụ thuộc gì đó với nhau và khi chạy riêng thì bị lỗi là không đúng. Nếu có ràng buộc thì cần chuẩn bị nó như một pre-condition tương tự bước #2.
    Việc phụ thuộc nhau còn dẫn đến tình huống nếu một test gặp lỗi sẽ ảnh hưởng đến những test khác phía sau.

    Lời kết

    Trên đây là 4 điều cần lưu ý trong giai đoạn bắt đầu với automation test, có thể nó sẽ tốn thêm một chút thời gian để tìm hiểu nhưng nó rất đáng và giúp ích nhiều đặc biệt là khi bạn sẽ tham gia vào một dự án thật tế trong công ty. Nếu cần thêm thông tin hay thắc mắc bạn có thể comment bên dưới nhé!

  • Test Case Trong Kiểm Thử Phần Mềm

    Test Case Trong Kiểm Thử Phần Mềm

    Test Case là gì? có lẽ là câu hỏi được hỏi trong tất cả các cuộc phỏng vấn kỹ sư kiểm thử phần mềm. Hãy cùng VNTesters tìm hiểu về TC nhé. Nó không những giúp bạn vượt qua vòng phỏng vấn một cách ấn tượng, mà còn giúp bạn đi xa hơn trong sự nghiệp.

    Test Case là gì?

    Có rất nhiều định nghĩa khác nhau về Test Case. Mỗi tổ chức định nghĩa theo cách riêng của họ. Dưới đây là định nghĩa về TC của VNTesters. Mình cố ý định nghĩa lại để các bạn mới làm quen với kiểm thử phần mềm có thể dễ dàng nhớ và trả lời khi phỏng vấn.

    Test Case là tài liệu (artifacts) trong kiểm thử phần mềm. Nó mô tả hành động của Tester (hoặc automation tool) cần thực hiện để tương tác với ứng dụng cần kiểm thử (application under test – AUT) và phản ứng cần có hoặc không được phép của ứng dụng trước tác động của Tester.

    Tại sao cần phải viết Test Case?

    Dưới đây là một số lý dó chính theo quan điểm của VNTesters.

    1. Để tìm bug
    2. Để đo lường mức độ bao phủ (test coverage)
    3. Độ tái lập (Reproducibility)
    4. Để theo dõi (tracking)
    5. Để quy trách nhiệm
    6. Để xác minh rằng các bài kiểm tra đang được thực hiện chính xác
    7. Sử dụng làm công cụ đào tạo cho Tester mới
    8. Tuân thủ (for compliance)

    Các thành phần cơ bản

    Tùy vào yêu cần của mỗi dự án mà test case template có thể được điều chỉnh cho phù hợp. Dưới đây VNTesters liệt kê một số thành phần hay được sử dụng nhất. Có một số thành phần mình không giải thích vì nó đã rõ ràng và hiển nhiên (vd: author, notes…)

    Test Case ID Mã TC có thể là số hoặc chữ và số kết hợp. VD: FN_ComponentA_SubComponentAB_001. Nhờ vào cách đánh mã này mà Tester có thể dễ dàng nhận ra đây là Functional Test Case cho ComponentA/SubComponentAB.
    Test Summary / Description Mô tả ngắn gọn về TC hoặc mục tiêu của TC.
    Related test requirements Những yêu cầu kiểm thử sẽ được bao phủ (cover) trong TC.
    Prerequisites / Pre-condition Điều kiện tiên quyết cần phải có trước khi thực hiện kiểm thử.
    Test steps / procedure Quy trình kiểm tra mô tả chi tiết từng bước cần thực hiện và cần kiểm tra những gì (verification points), mong đợi gì từ ứng dụng (expectation)
    Test data Dữ liệu được sử dụng trong quá trình tương tác với ứng dụng.
    Expected Result
    Observed Result
    Status
    Environment
    Tracking information
    Notes / comments
    Author
    Test category
    Able to automate?

    Một số kỹ thuật viết Test Case thông dụng

    Mình tính dịch sang tiếng Việt mà thấy nó kỳ kỳ, anh chị em dịch giúp mình nhé.

    1. Equivalent Partitioning
    2. Boundary Analysis
    3. Constraint Analysis
    4. State Transition
    5. Condition Combination

    Những kỹ thuật viết TC ở trên khá phổ biến nên các bạn ráng nắm rõ nhé. Ngoài ra còn một số kỹ thuật ít phổ biến hơn như

    • Cause-Effect Grapping
    • Syntax Testing
    • Statement Testing
    • Branch/Decision Testing
    • Data Flow Testing
    • Branch Condition Testing
    • Branch Condition Combination Testing
    • Modified Condition Decision Testing
    • LCSAJ Testing (Linear Code Sequence and Jump)
    • Random (Ad hoc) Testing

    Đặc tính của một Test Case “xịn”

    • Ngắn gọn, dễ hiểu không cần tác giả giải thích hoặc phải tham chiếu đến tài liệu khác để hiểu.
    • Không quá đơn giản hoăc quá phức tạp. Đủ chi tiết để bất cứ Tester nào cũng có thể run test được.
    • Chính xác và tập trung vào mục đích của kiểm thử
    • Có tiêu chí rõ ràng cho Pass hoặc Fail
    • Xác suất bắt được bug “hợp lý”
    • Không trùng lặp với bất kỳ TC nào khác

    Bonus: TC trong mô hình Agile/DevOps

    Rất nhiều dự án đã, đang và sẽ áp dụng mô hình phát triển phần mềm này. Việc viết Test Case dần trở thành gánh nặng không cần thiết. Để thích nghi với mô hình Agile/DevOps, các thành phần ít quan trọng của Test Case dần bị lược bỏ và Test Case trở thành checklist. Checklist tập trung vô tiêu chí để quyết định checklist đó Pass hoặc Fail.

  • Kiểm thử tự động – Tưởng không dễ mà dễ không tưởng

    Kiểm thử tự động – Tưởng không dễ mà dễ không tưởng

    Kiểm thử tự động – Automation Test

    “Kiểm thử tự động không phải là kiểm thử, nó chỉ là kiểm tra” Một ai đó đã nói như thế. Với mình, sau khoảng hơn 10 năm làm kiểm thử – cả thủ công và tự động, câu nói này không hề sai chút nào.

    Hãy cùng thử nhìn qua các lợi ích mà nó mang lại:

    • Hỗ trợ kiểm thử qui hồi – Regression Test → Giảm thiểu thời gian và chi phí.
    • Hỗ trợ kiểm thử độ chịu tải của hệ thống → Làm cho việc kiểm thử mở rộng và đầy đủ.
    • Kịch bản chạy nhiều lần với nhiều bộ dữ liệu, điều kiện và môi trường khác nhau. → Tăng độ bao phủ của việc kiểm thử.
    • Kịch bản kiểm thử tốn quá nhiều thời gian và dễ bị lỗi của người kỹ sư → Tăng cường độ chính xác của việc kiểm thử.

    Trong mọi tình huống, Automation Test chỉ tác dụng hỗ trợ cho kỹ sư kiểm thử tiến hành kiểm thử theo những kịch bản có sẵn, do kỹ sư kiểm thử đưa ra. (Ở đây, mình không bàn đến kiểm thử bằng AI nhé, chuyên ngành này vẫn đang được phát triển trong phòng thí nghiệm và – theo mình biết thì – chưa thực sự ứng dụng thực tế).

    Kiểm thử tự động với kiểm thử thủ công

    Về kỹ năng

    Đối với kiểm thử thủ công, kỹ sư kiểm thử cần một số kỹ năng đặc biệt như: biết cân bằng, có mức độ tò mò cao, biết cách tìm/xác định lỗi/bug, có cái nhìn tổng thể, khả năng quan sát, sắp xếp mức độ ưu tiên, suy nghĩ độc lập, sáng tạo, vân vân và mây mây.

    Ngược lại, đối với Automation Test chỉ yêu cầu một thứ: khả năng lập trình. Mà, trong một số trường hợp, khả năng lập trình cũng không cần thiết – nếu dự án của bạn dùng một công cụ không cần lập trình – codeless tool.

    Về công việc

    Công việc của kỹ sư kiểm thử thủ công sẽ bao gồm: đọc tài liệu mô tả các yêu cầu chức năng, lên kế hoạch kiểm thử, viết kịch bản kiểm thử, tiến hành kiểm thử (ghi nhận kết quả) và ghi nhận/báo cáo lỗi/bug (nếu có), làm báo cáo kiểm thử sau khi hoàn thành.

    Công việc của kỹ sư kiểm thử tự động chỉ là: chuyển các kịch bản kiểm thử do kỹ sư kiểm thử thủ công đưa ra thành các đoạn mã kiểm thử tương ứng, đồng thời đảm bảo tính chính xác và ổn định của đoạn mã kiểm thử đó.


    Với những yêu cầu kỹ năng và công việc hằng ngày như thế, so ra, việc kiểm thử tự động thực sự không khó như kiểm thử thủ công.

    Bạn có cảm thấy như vậy không? Kiểm thử tự động thực ra không khó chút nào, kiểm thử thủ công mới thực sự là thử thách.

  • Cài đặt môi trường cho Python Selenium Webdriver

    Cài đặt môi trường cho Python Selenium Webdriver

    Sau khi đăng bài “Automation skills cho tester già mà lười“, mình thấy lượng view trên VNTesters.com, Facebook và LinkedIn cũng khá khá. Mặc dù lười và mệt (bạn nào có con nhỏ chắc sẽ hiểu) nhưng cũng cố gắng viết tiếp. Bài này mình sẽ nói về mấy điểm chính như cài đặt môi trường cho Python Selenium Webdriver, chọn và cài đặt editor.

    Cài đặt môi trường làm việc

    Cài Python: cái này chắc không cần giải thích vì mình đã chọn theo hướng Python, hiển nhiên là phải cài Python rồi. Lên trang chủ download bản mới nhất về rồi nhắm mắt mà click “Next” thôi. Tại thời điểm hiện tại thì Python version là 3.7. Mình dạng mới học nên thôi cứ bản mới nhất mà xài.

    Cài Python binding: bạn vô trang download của Selenium, click vô download link tương ứng với Python. Làm theo hướng dẫn để cài đặt Python binding.

    Selenium client driver

    Chọn và cài đặt editor

    Có rất nhiều editor, IDE được đánh giá là tốt như IDLE, PyCharm, Visual Studio, Sublime Text, NotePad++… Theo VNTesters thì không có cái nào là tốt nhất cả, chỉ có cái nào phù hợp thôi. Ở đây mình chọn Eclipse & PyDev. Lý do mình chọn như trên rất đơn giản, Eclipse xài được cho nhiều ngôn ngữ khác như Java và mình cảm thấy chắc là ổn thế là mình cài vô thôi. Thực ra trước giờ mình xài NotePad++, gần đây chuyển qua Sublime Text vì mấy cái này cực nhẹ, không làm chậm máy. Nhưng mỗi lần muốn chạy test thì phải qua CMD cũng hơi bất tiện. Thế là mình search một hồi tìm hiểu và cuối chùng chọn Eclipse…

    Cài Eclipse: Tương tự Python, cứ download bản mới nhất về rồi nhắm mắt click “Next” thôi. Lưu ý nhỏ là Eclipse yêu cầu JRE nhé. Trong quá trình cài đặt các bạn chọn “Eclipse IDE for Java Developers”

    Eclipse

    Cài PyDev: Mở Eclipse (sau khi cài xong), chọn Help > Eclipse Marketplace, search “pydev” rồi cài vô là xong. À mà nhớ add cái Interpreter nhé (Windows > Preferences > PyDev > Interpreter-Python)

    PyDev Preferences

    Lời kết

    Cơ bản những gì bạn cần đã được cài đặt xong – Cài đặt môi trường cho Python Selenium Webdriver. Bài tiếp theo mình sẽ hướng dẫn các bạn viết 1 test case đơn giản mà thực tế. Trong khi chờ đợi các bạn có thể đọc Selenium WebDriver trên Python và Selenium WebDriver trên Python – Ví dụ

  • Automation skills cho tester già mà lười

    Automation skills cho tester già mà lười

    Sau hơn 10 năm gắn bó với nghề kiểm thử phần mềm, VNTesters đã từng trải qua thăng có (lead nhiều project, có nhiều member…), trầm có (không project, không member…). Bài này mình đề xuất một vài automation skills cho tester già mà lười giống VNTesters.

    Ngoài công việc ra thì gia đình, con cái hầu như đã chiếm gần hết quỹ thời gian 24h/ngày của mình. Thấy có gì đó hơi hơi tiếc nuối về tuổi trẻ đã giành không ít thời gian cho những chuyện vô bổ. Nhớ thời kỳ VLTK mới ra, hầu như mình đều dành 2-3h mỗi ngày để cày game. Nếu giành thời gian đó để học cái gì đó như ngôn ngữ lập trình nào đó, có lẽ giờ mình cũng đã có thể viết được vài cái app nho nhỏ hữu ích nào đó rồi.

    Ok! hết 2 phút retrospective (ai từng làm Agile có lẽ sẽ quen với từ này), mình đã giành chút ít thời gian hiếm coi còn lại để định ra kế hoạch học thêm kỹ năng gì đó cho công việc. Mục tiêu là phải hữu ích cho công việc và phải phù hợp với lứa tuôỉ (già) và tính cách (lười). Kết quả cuối cùng là luyện vài kỹ năng kiểm thử tự động (automation skills cho tester già). Mà cụ thể là Selenium, ngôn ngữ dùng để viết script là Python. Tại sao lại là Selenium và Python? Các bạn đọc tiếp nhé…

    Tại sao mình chọn Selenium?

    Trên thị trường có khá nhiều các công cụ kiểm thử cho Desktop cũng như Web. Mình chọn Selenium vì nó phổ biến, cộng đồng mạnh, miễn phí và nhất là có thể kiếm job được hoặc chí ít có thể chém gió khi phỏng vấn vị trí kỹ sư kiểm thử phần mềm.

    Các bạn có thể tham khảo kết quả khảo sát trên Facebook Group về automation tool hiện đang được sử dụng tại đây

    Selenium Webdriver được tiến cử bởi W3C. Nó hỗ trợ những trình duyệt phổ biến. Điều này có nghĩa là Test viết 1 lần mà có thể chạy trên nhiều trình duyệt khác nhau. Webdriver đã thay đổi cách thức kiểm thử web. Các công cụ kiểm thử tự động hay Test Framework chỉ cần gọi WebDriver APIs, và nó hoạt động trên hầu hết các trình duyệt hiện hành.

    Tại sao mình chọn Python?

    Selenium Webdriver hỗ trợ khá nhiều ngôn ngữ lập trình dùng để viết test script. Java có vẻ như đang được ưa chuộng tuy nhiên đang có sự dịch chuyền dần sang Python. Theo tìm hiểu của VNTesters thì Selenium Python chạy nhanh hơn Selenium Java (mình chưa kiểm chứng được cũng chưa thấy official report nào). Anh chị em có thể tham khảo danh sách ngôn ngữ lập trình dùng để viết testscript tại đây https://www.seleniumhq.org/about/platforms.jsp#programming-languages

    Tuy nhiên nguyên nhân chính mình chọn Python là do nó đơn giản và dễ học hơn Java hay C#. Nghe có vẻ rất phù hợp cho một người già và lười như VNTesters.

    Kế hoạch luyện skills

    Mình sẽ bỏ qua Selenium IDE, Selenium Grid, Selenium RC mà đi ngay vào Selenium WebDriver. Nếu tình hình cho phép mình sẽ ghi chú lại quá trình học của mình để các bạn tham khảo và chỉ giáo

    • Bước 0: Cài đặt Eclipse & PyDev. Có nhiều lựa chọn cho script/code editor hoặc IDE (Integrated development environment). Mình sẽ giải thích tại sao mình chọn bộ đôi này trong bài cài đặt.
    • Bước 1: Học cơ bản về python. Mình bỏ qua bước này tuy chưa rành Python cho lắm. Làm đến đâu google đến đó. Mình chủ yếu tham khảo và học (nếu có thời gian) từ cuốn này http://www.diveintopython3.net/
    • Bước 2: Luyện PyUnit, nếu có cơ duyên có thể làm thêm unit test (white-box testing)
    • Bước 3: Viết 1 test case đơn giản với Python Selenium Webdriver
    • Bước 4: Framework

    Lời kết

    Kế hoach là vậy (Automation skills cho tester già). Mọi ý kiến đóng góp cũng như phê bình đều được hoan nghênh. Các bạn ráng chờ tester già mà lười trong loạt bài tiếp theo nhé. Trong lúc chờ đợi các bạn có thể đọc bài tự học kiểm thử tự động với Selenium, học gì để trở thành automation tester và tham khảo báo cáo lương tester.

  • [Java – Webdriver 14] – Kiểm tra HTML5 validation message

    [Java – Webdriver 14] – Kiểm tra HTML5 validation message

    Trước khi qua bước kiểm tra HTML5 message hãy điểm lại 1 số thông tin:

    HTML5 Form:

    • Một phần của trang web bạn đang test, cho phép người dùng tương tác với hệ thống, thu thập thông tin: form đăng nhập/ đăng kí/ mua hàng/ bình luận/..

    • Cách thức hoạt động:
      • User mở form nhập liệu
      • Điền thông tin vào form sau đó submit dữ liệu lên máy chủ – trong step này dữ liệu được nhập vào có thể được kiểm tra tại browser của người dùng thông qua các đoạn mã Javascript
      • Server sau khi nhận được thông tin sẽ xử lý thông qua các ngôn ngữ kịch bản máy chủ và thực hiện kiểm tra dữ liệu trong form, logic, ghi dữ liệu vào DB
      • Sau khi xử lý xong thông tin sẽ gửi lại hồi đáp thành công hay không về trình duyệt và kết thúc một chu trình khép kín xử lý form nhập liệu

    Thuộc tính ‘required’ của thẻ <input>:

    • ‘required’ là thuộc tính mới trong HTML5 dành cho thẻ input. Tác dụng của required là buộc người dùng phải nhập dữ liệu thì mới gửi được (submit)
      • Giờ bạn không điền gì vào trường NAME > nhấn nút Submit> bạn sẽ nhận được thông báo kiểu như “Vui lòng điền vào trường này” = “Please fill out this field.”
    <form action="verify">
    <label>NAME:<input type="text" name="name" required></label>
    <input type="submit" name="submit-btn" value="SUBMIT">
    </form>

    • Thuộc tính required hỗ trợ hầu hết các trình duyệt thông dụng hiện tại

    • Những thẻ input type dùng required attribute: text, checkbox, radio, email, password, search, url, telephone, date time picker, number, file

    • Required là thuộc tính kiểu boolean, nghĩa là nó chỉ nhận 2 giá trị có hoặc không có. Nếu không có requried trong thẻ input nghĩa là không yêu cầu phải nhập đủ dữ liệu, ngược lại nếu có thì phải nhập đủ mới được Submit
    • Vậy có phải chỉ cần verify thuộc tính required có xuất hiện tại field cần check là đủ hay ko?
      • WebElement nameTextbox = driver.findElement(By.xpath(“//input[@id=’fname’ and @required]”));
        Assert.assertTrue(nameTextbox.isDisplayed);
      • Cách check trên (verify field name textbox có thuộc tính required) có thể đúng nhưng chưa đủ – nếu như field đó chỉ cần verify là field required, ko yêu cầu các message cụ thể cần hiển thị cho nhiều trường hợp. Nhưng 1 field có thể có nhiều validation message khác thì nên check cụ thể các message cho từng case:
        • Email invalid/incorrect:
          • Please enter an email address.
          • Please match the requested format.
          • …

    Làm sao để verify HTML5 message khi Selenium ko support:

    • Selenium ko tương tác được với các html5 message, nếu để ý sẽ thấy các javascript message này được browser hiển thị chứ ko hề được tìm thấy trong DOM – vì thế ko nên sử dụng Inspector/ Firebug để find các message này
    • Giải pháp là dùng chính javascript để get các message này và verify với các case cụ thể
    public String getHtml5ValidationMessage(WebElement element) {
    JavascriptExecutor jsExecutor = (JavascriptExecutor) driver;
    return (String) jsExecutor.executeScript("return arguments[0].validationMessage;", element);
    }

    Testcase sample:

    • Testscript_01 – Input email with empty data:

    • Testscript_02 – Input email with invalid data:

    • Testscript_03 – Input email with incorrect data:

    Code demo:

    public class Topic_14_VerifyHTML5Message {
    WebDriver driver;
    
    By resultIframe = By.xpath("//iframe[@id='result']");
    By nameTextbox = By.xpath("//input[@id='fname']");
    By passwordTextbox = By.xpath("//input[@id='pass']");
    By emailTextbox = By.xpath("//input[@id='em']");
    By submitButton = By.xpath("//input[@value='SUBMIT']");
    
    @BeforeMethod
    public void beforeMethod() {
    driver = new FirefoxDriver();
    driver.get("https://codepen.io/daominhdam/full/KRKBLr");
    driver.manage().timeouts().implicitlyWait(30, TimeUnit.SECONDS);
    driver.switchTo().frame(driver.findElement(resultIframe));
    }
    
    @Test
    public void TC_01_Validate_Name_Empty() {
    driver.findElement(nameTextbox).sendKeys("");
    driver.findElement(submitButton).click();
    String nameMessage = getHTML5ValidationMessage(driver.findElement(nameTextbox));
    Assert.assertEquals("Please fill out this field.", nameMessage);
    }
    
    @Test
    public void TC_02_Validate_Password_Empty() {
    driver.findElement(nameTextbox).sendKeys("Dam Dao");
    driver.findElement(passwordTextbox).sendKeys("");
    driver.findElement(submitButton).click();
    String passwordMessage = getHTML5ValidationMessage(driver.findElement(passwordTextbox));
    Assert.assertEquals("Please fill out this field.", passwordMessage);
    }
    
    @Test
    public void TC_03_Validate_Email_Empty() {
    driver.findElement(nameTextbox).sendKeys("Dam Dao");
    driver.findElement(passwordTextbox).sendKeys("123456");
    driver.findElement(emailTextbox).sendKeys("");
    driver.findElement(submitButton).click();
    String emailMessage = getHTML5ValidationMessage(driver.findElement(emailTextbox));
    Assert.assertEquals("Please fill out this field.", emailMessage);
    }
    
    @Test
    public void TC_04_Validate_Email_Invalid() {
    driver.findElement(nameTextbox).sendKeys("Dam Dao");
    driver.findElement(passwordTextbox).sendKeys("123456");
    driver.findElement(emailTextbox).sendKeys("dam@gmail");
    driver.findElement(submitButton).click();
    String emailInvalidMessage = getHTML5ValidationMessage(driver.findElement(emailTextbox));
    Assert.assertEquals("Please match the requested format.", emailInvalidMessage);
    }
    
    @Test
    public void TC_05_Validate_Email_Incorrect() {
    driver.findElement(nameTextbox).sendKeys("Dam Dao");
    driver.findElement(passwordTextbox).sendKeys("123456");
    driver.findElement(emailTextbox).sendKeys("dam@gmail@email.com");
    driver.findElement(submitButton).click();
    String emailIncorrectMessage = getHTML5ValidationMessage(driver.findElement(emailTextbox));
    Assert.assertEquals("Please enter an email address.", emailIncorrectMessage);
    }
    
    public String getHTML5ValidationMessage(WebElement element) {
    JavascriptExecutor jsExecutor = (JavascriptExecutor) driver;
    return (String) jsExecutor.executeScript("return arguments[0].validationMessage;", element);
    }
    
    @AfterMethod
    public void afterMethod() {
    driver.quit();
    }
    • Kết quả:

    Reference: https://allaravel.com/tutorials/lap-trinh/html-form-la-gi-xay-dung-form-nhap-lieu-trong-html5-co-gi-moi/


    Nguồn bài viết: https://automationfc.com/2018/06/10/java-webdriver-14-verify-html5-validation-message

  • [Java – Webdriver 13] – Run test với trình duyệt Chrome Headless

    [Java – Webdriver 13] – Run test với trình duyệt Chrome Headless

    Headless Browser là gì?

    • Headless browser là trình duyệt web không có giao diện đồ họa người dùng (GUI). Tương tác với trang web trong môi trường giống như các trình duyệt web phổ biến khác, được thực hiện thông qua giao diện dòng lệnh
    • Hữu ích cho việc kiểm thử các trang web vì có thể render cấu trúc HTML (DOM) giống như các trình duyệt thông thường, bao gồm cả style như: layout/ font/ colour và có thể thực thi cả javascript/ ajax
    • Được sử dụng cho các mục đích:
      • Kiểm thử tự động các ứng dụng web (thường sử dụng với Nodejs application)
      • Chụp ảnh màn hình 1 web page
      • Tạo file pdf
      • Thu thập (Crawl) dữ liệu trên các website
      • Tấn công DDOS tới các website

    • Danh sách headless browser:
      • Google Chrome
        • Linux/ MacOS: version >= 59
        • Windows: version >=60
      • Mozilla Firefox
        • Linux: version >=55
        • Windows/ MacOS: 56
      • PhantomJS
      • HtmlUnit
      • Ghost
    • Ưu/ nhược điểm của headless browser trong automation testing:
      • Ưu điểm: Tốc độ nhanh, kết quả kiểm thử sẽ có sớm hơn so với sử dụng các non-headless browser
      • Nhược điểm: Độ ổn định và chính xác không cao/ nhiều trường hợp xảy ra bug trên headless browser nhưng ko tìm thấy trên non-headless browser

    Run test với Chrome Headless

    • Để chạy được chrome headless thì trước khi khởi tạo browser, cần thêm 2 tham số vào ChromeOptions
      • headless: trình duyệt sẽ thực thi ở chế độ headless
      • window-size: cần set trình duyệt với 1 resolution cố định (nếu ko thì nó có thể hiển thị kích thước như phiên bản web mobile hoặc ở 1 độ phân giải ko cố định) – có thể sử dụng tính năng này để test responsive
    ChromeOptions options = new ChromeOptions();
    options.addArguments("headless");
    options.addArguments("window-size=1366x768");
    driver = new ChromeDriver(options);
    • So sánh tốc độ chạy của headless và non-headless, kịch bản như sau:
      • Step 1: Open url https://automationfc.com
      • Step 2: Wait for page loaded successfully
      • Step 3: Verify homepage url and title matching with requirement
      • Step 4: Close browser
    • Code demo:
    @Test
    public void TC_01_ChromeHeadless() {
    System.setProperty("webdriver.chrome.driver", ".\\driver\\chromedriver.exe");
    ChromeOptions options = new ChromeOptions();
    options.addArguments("headless");
    options.addArguments("window-size=1366x768");
    driver = new ChromeDriver(options);
    System.out.println("Run with Chrome Headless");
    
    driver.get("https://automationfc.com");
    System.out.println("Step 01 - Open Automation FC site");
    
    driver.manage().timeouts().implicitlyWait(15, TimeUnit.SECONDS);
    driver.manage().timeouts().pageLoadTimeout(15, TimeUnit.SECONDS);
    System.out.println("Step 02 - Wait for page loaded successfully");
    
    Assert.assertEquals("Automation FC", driver.getTitle());
    Assert.assertEquals("https://automationfc.com/", driver.getCurrentUrl());
    System.out.println("Step 03 - Verify HomePage url and title");
    }
    
    @Test
    public void TC_02_ChromeGUI() {
    System.setProperty("webdriver.chrome.driver", ".\\driver\\chromedriver.exe");
    driver = new ChromeDriver();
    System.out.println("Run with Chrome GUI");
    
    driver.get("https://automationfc.com");
    System.out.println("Step 01 - Open Automation FC site");
    
    driver.manage().timeouts().implicitlyWait(15, TimeUnit.SECONDS);
    driver.manage().timeouts().pageLoadTimeout(15, TimeUnit.SECONDS);
    System.out.println("Step 02 - Wait for page loaded successfully");
    
    Assert.assertEquals("Automation FC", driver.getTitle());
    Assert.assertEquals("https://automationfc.com/", driver.getCurrentUrl());
    System.out.println("Step 03 - Verify HomePage url and title");
    }
    • Kết quả:
      • Chrome headless: 3.554 s
      • Chrome non-headless: 5.168 s

    • Như hình trên thì tốc độ chạy nhanh hơn gần 2s (1 testcase) so với chạy chế độ non-headless, điều này cực kì hữu ích khi số lượng kịch bản test trong dự án lớn (vài trăm/ vài ngàn testcases), giảm thiểu thời gian run regression test và nhận được kết quả phản hồi sớm hơn
    • Hiện tại mình đang sử dụng chrome headless trong dự án cho việc kiểm thử tự động (unit test/ e2e testing)

    Nguồn bài viết: https://automationfc.com/2017/11/16/java-webdriver-13-run-test-voi-trinh-duyet-chrome-headless/

  • API Testing với Postman – Postman Environment

    API Testing với Postman – Postman Environment

    Phần này (Postman Environment) đã có nhiều người viết bài hướng dẫn tiếng việt nhưng còn thiếu 1 số phần nên mình viết lại.

    Chức năng chính của Environment là 1 chỗ lưu “biến” giống như “biến” trong code để mình có thể tái sử dụng ở nhiều nơi.

    Ứng dụng:
    – Nhanh chóng chuyển qua lại giữa các môi trường Dev và Product mà không cần tạo lại các request mới vì phải thay đổi lại URL.
    – Giúp lưu lại giá trị của response API trước để điền vào API sau. (Phần này có kết hợp với phần Pre-request và Tests, sẽ được giới thiệu ở các bài tiếp theo).
    – Không phải sửa giá trị của các tham số quá nhiều lần.

    Ở Postman sẽ chia làm 2 loại Environments: Local và Global

    • Local: Phạm vi ảnh hưởng chỉ có khi chọn đúng Enviroments.
    • Global: Phạm vi ảnh hưởng đến toàn bộ các project có trong Postman, nhưng nếu có 2 biến cùng tên ở Local và Global thì sẽ ưu tiên lấy Local.

    Vị trí của Environment trong khung làm việc của postman.

    Tạo 1 Enviroment

    Bước 1: Mở Manage Environments

    Bước 2: Add thêm Enviroment mới

    Bước 3: Điền tên của Enviroment, tên và giá trị của biến.
    Ở đây, mình lấy ví dụ với biến url có giá trị là 192.168.1.77

    Dấu checkbox thể hiện rằng: có active cái biến đó hay ko. Trong ví dụ trên: mình đang active biến url và có thể sử dụng biến này trong môi trường Demo-dev.

    Thế là bạn đã tạo được 1 môi trường cho việc test API rồi đấy. =)))) đùa chút thôi. Dưới đây là cách sử dụng các biến.

    Có mấy câu hỏi như sau:

    1. Lấy giá trị của các biến trên như thế nào trong request?

    Trả lời: Chỉ cần viết theo cú pháp  {{tên_biến}}: ví dụ: {{url}}

    Như trong hình:
    1. Chỗ chuyển đổi qua lại giữa các Environment
    2. Cách lấy giá trị biến. Lấy đúng sẽ có màu da cam, đưa chuột hover vào thì hiển thị giá trị của biến.
    3. Nếu tên biến có màu đỏ có nghĩa là không có biến này trong Environment, chuyện này thường xảy ra khi chuyển đổi qua lại giữa các môi trường của các dự án khác nhau, hoặc đã inactive cái biến đó.

    1. Làm thế nào để biết được giá trị của các biến trong 1 enviroment nào đó.
      Trả lời:
      Cách 1: vào lại Manage Enviroment giống như việc Add Enviroment
      Cách 2. Click vào icon con mắt

    Muốn sửa thông tin của Environment bạn có thể click vào nút Edit để sửa.

    1. Có thể làm những gì với 1 Enviroment?
      Trả lời:
      Postman cung cấp những chức năng đơn giản cho 1 Environment như: import – export, duplicate, add, edit, delete.

    XONG. Bây giờ thì xong thật rồi. Chúc các bạn làm việc Postman hiệu quả với chức năng Environment này. 😀

    Bài viết này được đăng lần đâu tiên tại http://giangtester.com/. Bạn có thể download ebook API Testing với Postman của mình ở đường link này.

  • API Testing với PostMan – PostMan Collection

    API Testing với PostMan – PostMan Collection

    Lúc bắt đầu với series postman, mình không nghĩ là sẽ viết bài về phần này (postman collection) nhưng mà sau khi nhìn thấy 1 vài đồng chí programer công ty mình để cái đống request hỗn độn, mất 5p mới tìm ra cái request đã dùng hôm trước ở đâu. Mình phải nghĩ lại là “Không phải ai cũng để ý rằng có phần collections này ở trên đời” và quyết định viết vì biết đâu có ai đó không biết. :))

    Trước tiên, phải hiểu Collections là cái gì đã.

    Hiểu nôm na, nó chính là Folder, giúp đóng gói những request vào chung 1 chỗ. Ờ thế không dùng có được không? Câu trả lời là ĐƯỢC, tuy nhiên sẽ gặp phải 1 số vấn đề sau đây.

    • Sẽ phải dùng History để tìm lại những request đã dùng, tương tự như bạn suốt ngày phải lục lọi phần History của Chrome, trong khi chỉ cần 1 động tác bookmark lại là xong.
    • Không dùng được chức năng tạo API documents tự động mà Postman cung cấp
    • Không thể dùng được chức năng Runner, giúp chạy liên tục các Request.

    Tạo 1 Collection

    1. Click vào button [tạo collection] bên sidebar

    2. Điền tên và mô tả (không bắt buộc) collection đó.

    3. Lưu request vào Collection.

    B1. Tạo ra 1 new Request (Như bài trước )
    B2. Ấn nút Save

    B3. Chọn Collection cần lưu và Save tiếp.

    Note: Với những trường TH mà muốn add request từ bên History vào Collection.

    B1. Click vào icon (+)

    B2. Chọn Collection cần lưu và Save.

    Các settings chính của 1 Collection

    • Share collections: tạo ra link để share với người khác collection (bị hạn chế bởi kiểu account).
    • Rename: Đổi tên của collection.
    • Edit: Sửa tên và mô tả của collection.
    • Add Folder: tạo thêm collection mới bên trong Collection đó.
    • Duplicate: nhân đôi collection đang có.
    • Export: Xuất collection ra dạng file .json
    • Monitor Collection: Dùng để test hiệu năng (bị hạn chế bởi kiểu account).
    • Mock Collection: giúp giả lập các API sử dụng chức năng Example mà postman hỗ trợ. (bị hạn chế bởi kiểu account).
    • Publish Docs: Tạo ra API Docs định dạng HTML.
    • Delete: Xóa Collection.

    Ngoài cách trên, có thể xem chi tiết Collection bằng cách click vào mũi tên [>] .

    Đây là những phần chính của Collection trong Postman, từng phần sử dụng chi tiết, mình sẽ viết những bài sau. Mong các bạn tiếp tục với đọc để có thể làm chủ cái tool test API đơn giản nhưng khá mạnh mẽ này.

    Bài viết này được đăng lần đâu tiên tại http://giangtester.com/. Bạn có thể download ebook API Testing với Postman của mình ở đường link này.