PXG Crawler: Xử lý dữ liệu

Tính năng chính của ứng dụng lấy và xử lý dữ liệu theo từ khoá hoặc đồng bộ dữ liệu theo danh sách từ khoá đã lưu trong phần “Cài đặt/ tiến trình xử lý“.

Xử lý dữ liệu theo từ khoá mọi người sử dụng khi có nhu cầu theo trend hoặc niche tại thời điểm cụ thể.

Đồng bộ dữ liệu theo danh sách từ khoá hoặc từ khoá.Mọi người sử dụng nếu muốn liên tục cập nhật dữ liệu mới của 1 nhóm niche. Gần như mình để ý trong quá trình xử lý ứng dụng thì mỗi phút đều có dữ liệu mới đối với những niche hot hoặc đang trending cũng như dữ liệu amazon xoá đi.

Xử lý dữ liệu theo từ khoá đầu vào

Từ khoá: là khung mọi người nhập từ khoá cần xử lý dữ liệu. Ví dụ: cat, dog, bulldog, irish, patrick’s… Tất cả từ khoá tìm kiếm sẽ được lưu trữ để đồng bộ dữ liệu mới sau này.

Theo: trang thái lọc kết quả tìm kiếm trên amazon. Mục đích để kết quả xử lý sẽ theo bộ lọc tìm kiếm trêm amazon.

Trang 1-200: là khoảng trang min-max bạn muốn xử lý dữ liệu. Thông số trang tối đa sẽ tự động điều chỉnh khi số trang kết quả của từ khoá đang xử lý <200. Ứng dụng xử lý tối đa 200 trang.

8-20: Khoảng thời gian tạm dừng xử lý giữa các phiên dữ liệu. Mặc định là 8 – 20 nghĩa là ở mỗi phiên xử lý dữ liệu số giây sẽ ngẫu nhiên trong khoảng 8 tới 20 giây (tránh request quá lớn vào nguồn dữ liệu). Chủ yếu để tránh captcha và khoá IP (nếu đặt trên server ip tĩnh).

Tạo mockup?: nếu tuỳ chọn này được chọn thì mockup sẽ tự động tạo mỗi khi có thiết kế được xử lý hoàn tất ứng với mockup mọi người chọn. Tuy nhiên, tính năng này chỉ là phần xem trước mockup nếu không cần thiết thì không cần chọn. Mình sẽ tích hợp phần tạo xử lý mockup hàng loạt sau cho mọi người.

Đồng bộ từ đầu?: ở tình năng Đồng bộ dữ liệu từ khoá hoặc danh sách từ khoá thì xử lý dữ liệu tới đâu ứng dụng sẽ ghi nhớ tới đó. Nếu ứng dụng được tắt hoặc dừng thì khi xử lý Đồng bộ tiếp ứng dụng sẽ tiếp tục ở vị trí dừng trước đó. Nếu mọi người muốn ứng dụng xử lý dữ liệu lại từ đầu thì có thể chọn Đồng bộ từ đầu.

Kiểm tra captcha?: nếu chọn thì trong quá trình xử lý dữ liệu nếu gặp captcha khi xử lý quá nhanh thì ứng dụng sẽ dừng hoàn toàn cho đến khi captcha được nhập ở phần Trình duyệt. Ngược lại nếu không chọn thì hiện tại ứng dụng vẫn hoạt động bình thường, tuy nhiên mọi người nên xử lý nhập captcha nếu thấy nhé. Do captcha khi hiển thị sẽ chuyển trang rất nhanh nên mọi người trước khi nhập nên chọn Kiểm tra captcha trước khi nhập.

Video chia sẻ cách xử lý dữ liệu theo từ khoá đầu vào

Đồng bộ dữ liệu theo từ khoá hoặc danh sách từ khoá

Để đồng bộ xử lý liên tục dữ liệu 1 danh sách các từ khoá thì mọi người chọn các từ khoá mình cần xử lý bên tab Cài đặt/ tiến trình xử lý. Sau đó nhấn nút Đồng bộ bên tab Lấy dữ liệu.

Lưu ý: nếu đồng bộ tất cả từ khoá mặc định mọi người không cần chọn danh sách từ khoá đồng bộ ứng dụng sẽ xử lý lần lượt các từ khoá đã lưu.

(Tuỳ chỉnh đồng bộ dữ liệu từ khoá armybulldog)

Ngay sau khi nhấn Đồng bộ ứng dụng sẽ liên tục xử lý xoay vòng dữ liệu danh sách các từ khoá đã chọn cho tới khi bạn muốn dừng.

Nếu mọi người đặt ứng dụng trên VPS riêng thì nên lưu ý:

Thông số tạm ngừng giữa các phiên lấy nên để theo mặc định là 8-20 giây để tránh bị captcha.

1-2 tuần nên dừng và restart ứng dụng.

Video chia sẻ cách đồng bộ dữ liệu

Cấu hình tuỳ chỉnh danh sách từ khoá xử lý dữ liệu

Ngoài việc lưu trữ các từ khoá trong phần Lấy dữ liệu để đồng bộ về sau mọi người cũng có thể nhập chỉ định danh sách từ khoá này trong phần Cài đặt/ tiến trình xử lý.

Phần Danh sách từ khoá lưu trữ & đồng bộ mọi người nhập danh sách từ khoá cần đồng bộ và Lưu danh sách. Sau khi lưu thành công mọi người có thể chọn danh sách từ khoá để để đồng bộ dữ liệu.

PXG Crawler: danh sách hướng dẫn

 

Related Posts

Add Comment

Website này sử dụng Akismet để hạn chế spam. Tìm hiểu bình luận của bạn được duyệt như thế nào.