PXG Crawler: Xử lý – Lưu trữ và Quản lý dữ liệu thiết kế

Ứng dụng PXG Crawler & PXG Legend sẽ dùng Redis làm nơi quản lý thông tin dữ liệu ở db thứ 8 (có thể tải Redis Desktop Manager để xem cấu hình dữ liệu trực quan hơn nếu cần. Tuy nhiên không nên thay đổi dữ liệu nếu không hiểu về json nhé).

Hiện tại trước khi sử dụng ứng dụng PXG Legend, Crawler mọi người cần tải,cấu hình và khởi chạy Redis trước. Ở các lần dùng tool sau phải khởi chạy redis nếu chưa nhé.

Mình sẽ xử lý tích hợp elasticsearch trong tương lai để giải quyết vấn đề nhiều máy sử dụng ở nhiều nơi nhưng chung nguồn dữ liệu ở 2 tool này cũng như loại bỏ việc sử dụng Redis.

Link tải Redis Server trên window: https://drive.google.com/drive/u/0/folders/0B9Cu9nYW-WGVWEVweXprNGJLMkU

Sau khi tải về mọi người giải nén tập tin redis-64.3.0.503.rar ra thư mục nơi sẽ chứa dữ liệu xử lý về. Tiến hành chạy tập tin redis-server.exe đợi redis hoạt động mọi người chạy redis-cli.exe để cấu hình ghi dữ liệu cho Redis như sau:

127.0.0.1:6379> config set save "1 1"

Nếu redis server hoạt động thì cấu hình sẽ hiển thị thông báo Ok. Sau khi Redis Server hoạt động mọi người có thể làm theo và sử dụng ứng dụng như các nội dung chia sẻ tính năng dưới đây.

Lưu ý: ở trong thư mục ứng dụng sẽ có tập tin dump.rdb, đây chính là nơi quản lý lưu trữ các thông tin cấu hình và dữ liệu của ứng dụng. Do đó, nếu chuyển máy hoặc sao lưu thì mọi người chú ý để sao tập tin để tránh mất mát dữ liệu.

Video hướng dẫn cấu hình Redis

PXG Legend: danh sách hướng dẫn

PXG Crawler: danh sách hướng dẫn

Phần tính năng mockup hỗ trợ việc tạo và định nghĩa thông tin các mockup để sử dụng trong quá trình post dữ liệu lên các site hoặc tự động tạo mockup để sử dụng tuỳ vào nhu cầu của các ứng dụng riêng.

Lưu ý: tính năng mặc định đều có ở cả 2 tool PXG Legend và PXG Crawler dữ liệu mockup định nghĩa ở 2 tool là đồng nhất.

Video hướng dẫn cấu hình mockup render sản phẩm

https://youtu.be/Nds2oaDhs84

Mô tả thông tin thành phần cấu hình

Tính năng này của ứng dụng sẽ hỗ trợ mọi người định nghĩa xử lý các mockup đa dạng dựa trên các thông số quy định đầu vào của tập tin thiết kế PNG. Tập tin đầu vào PNG khi kết hợp với tập tin mockup cũng được tích hợp ánh xạ ánh sáng, biến dạng theo mức độ nhăn của vải để tập tin đầu ra tự nhiên như áo in thực tế.

Displacement Mapping?: để xem trước hình ảnh render từ mockup có nhiều nếp nhăn thì mọi người check vào tuỳ chọn này. Mặc định nếu không chọn thì mapping (ánh xạ ánh sáng và làm méo png theo nếp nhăn) trên mockup sẽ không hoạt động. Việc chọn này chỉ là xem trước nên nếu không cần thiết mọi người không cần check chọn nhé (có thể xem trước ảnh đầu ra sẽ chậm hơn chút)!. Displacement Mapping trong quá trình tạo và tối ưu ảnh mockup render sau này tự động sẽ được áp dụng.

Tên mockup: tên mockup hiển thị cũng là ID để phân biệt các mockup khác sau này. Nếu tên 1 mockup trùng với mockup đã có thì ứng dụng sẽ cần bạn xác nhận lưu đè thông tin cũ.

Tập tin mockup: tập tin ảnh mockup. Mockup sẽ lưu StringBase64 trên Redis.

Tập tin thiết kế PNG (xem trước): ảnh file thiết kế PNG hỗ trợ để xem trước việc hiển thị trên mockup. Đây chỉ là tập tin thiết kế giúp mọi người xem trực quan thiết kế đầu ra hàng loạt sau này để điều chỉnh các thông số phù hợp với mockup.

Chiều rộng, cao thiết kế PNG: độ rộng và độ cao của thiết kế PNG đầu vào. Thông tin này chỉ để dùng trong quá trình tự động tạo mockup hàng loạt sau này và không ảnh hưởng đến tập tin thiết kế gốc đã lưu. Mọi người điều chỉnh độ rộng tối đa và độ cao tối đa thiết kế tương đối tỷ lệ với mockup. Nếu thiết kế có độ cao đầu vào vượt qua độ cao thiết lập này thì độ cao tối đa sẽ là độ cao được thiết lập, độ rộng cũng tương tự.

Canh lề trên và căn lề trái PNG: giá trị nhập có thể là số âm. Thông số hỗ trợ cấu hình căn lề khoảng cách tập tin thiết kế PNG từ trên mockup xuống và từ trái mockup. Do mockup đầu vào đa dạng nên 2 thông số này giúp căn chỉnh vị trí thiết kế trên mockup cân đối hơn.

Độ xoay theo chiều kim đồng hồ PNG: giá trị hỗ trợ số -360 tới 360. Thông số cấu hình góc xoay về phía phải cho thiết kế PNG so với mockup. Thuộc tính này hỗ trợ các mockup nằm nghiêng hiển thị tốt hơn.

Sau khi tạo tập tin mockup tiến hành Lưu Mockup.

Ảnh đầu ra khi kết hợp mockup và thiết kế PNG

Mockup áo nhăn

(Ảnh đầu ra khi mockup áo khá nhăn kết hợp với thiết kế)

Mockup áo nghiêng

PXG Crawler: danh sách hướng dẫn

Lưu ý tính năng: phần mô tả các tính năng có thể có hoặc không tuỳ vào từng bản ứng dụng riêng của mỗi yêu cầu riêng biệt.

1. PXG: cấu hình Redis Server (01/03/2020 - 15/10/2020)

2. PXG: Định nghĩa mockup áo render (22/09/2019 - 15/10/2020)

3. PXG Crawler: Xử lý dữ liệu (26/02/2020 - 23/04/2020)

4. PXG Crawler: nhập thiết kế PNG theo ID và thiết kế đã có (26/02/2020 - 23/04/2020)

Đăng ký tài khoản ACCESSTRADE Việt Nam kiếm tiền với tiếp thị liên kết (affiliate marketing). Tại sao affiliate là xu hướng kiếm tiền thụ động lâu dài trong tương lai?

5. PXG: nén tập tin thiết kế PNG (26/02/2020 - 23/04/2020)

Sử dụng tool  PXG Legend để post dữ liệu PXG Crawler xử lý được lên các site tiers 1, 2, 3, 4, 5...

Tính năng chính của ứng dụng lấy và xử lý dữ liệu theo từ khoá hoặc đồng bộ dữ liệu theo danh sách từ khoá đã lưu trong phần "Cài đặt/ tiến trình xử lý".

Xử lý dữ liệu theo từ khoá mọi người sử dụng khi có nhu cầu theo trend hoặc niche tại thời điểm cụ thể.

Đồng bộ dữ liệu theo danh sách từ khoá hoặc từ khoá.Mọi người sử dụng nếu muốn liên tục cập nhật dữ liệu mới của 1 nhóm niche. Gần như mình để ý trong quá trình xử lý ứng dụng thì mỗi phút đều có dữ liệu mới đối với những niche hot hoặc đang trending cũng như dữ liệu amazon xoá đi.

Xử lý dữ liệu theo từ khoá đầu vào

Từ khoá: là khung mọi người nhập từ khoá cần xử lý dữ liệu. Ví dụ: cat, dog, bulldog, irish, patrick's... Tất cả từ khoá tìm kiếm sẽ được lưu trữ để đồng bộ dữ liệu mới sau này.

Theo: trang thái lọc kết quả tìm kiếm trên amazon. Mục đích để kết quả xử lý sẽ theo bộ lọc tìm kiếm trêm amazon.

Trang 1-200: là khoảng trang min-max bạn muốn xử lý dữ liệu. Thông số trang tối đa sẽ tự động điều chỉnh khi số trang kết quả của từ khoá đang xử lý <200. Ứng dụng xử lý tối đa 200 trang.

8-20: Khoảng thời gian tạm dừng xử lý giữa các phiên dữ liệu. Mặc định là 8 - 20 nghĩa là ở mỗi phiên xử lý dữ liệu số giây sẽ ngẫu nhiên trong khoảng 8 tới 20 giây (tránh request quá lớn vào nguồn dữ liệu). Chủ yếu để tránh captcha và khoá IP (nếu đặt trên server ip tĩnh).

Tạo mockup?: nếu tuỳ chọn này được chọn thì mockup sẽ tự động tạo mỗi khi có thiết kế được xử lý hoàn tất ứng với mockup mọi người chọn. Tuy nhiên, tính năng này chỉ là phần xem trước mockup nếu không cần thiết thì không cần chọn. Mình sẽ tích hợp phần tạo xử lý mockup hàng loạt sau cho mọi người.

Đồng bộ từ đầu?: ở tình năng Đồng bộ dữ liệu từ khoá hoặc danh sách từ khoá thì xử lý dữ liệu tới đâu ứng dụng sẽ ghi nhớ tới đó. Nếu ứng dụng được tắt hoặc dừng thì khi xử lý Đồng bộ tiếp ứng dụng sẽ tiếp tục ở vị trí dừng trước đó. Nếu mọi người muốn ứng dụng xử lý dữ liệu lại từ đầu thì có thể chọn Đồng bộ từ đầu.

Kiểm tra captcha?: nếu chọn thì trong quá trình xử lý dữ liệu nếu gặp captcha khi xử lý quá nhanh thì ứng dụng sẽ dừng hoàn toàn cho đến khi captcha được nhập ở phần Trình duyệt. Ngược lại nếu không chọn thì hiện tại ứng dụng vẫn hoạt động bình thường, tuy nhiên mọi người nên xử lý nhập captcha nếu thấy nhé. Do captcha khi hiển thị sẽ chuyển trang rất nhanh nên mọi người trước khi nhập nên chọn Kiểm tra captcha trước khi nhập.

Video chia sẻ cách xử lý dữ liệu theo từ khoá đầu vào

Đồng bộ dữ liệu theo từ khoá hoặc danh sách từ khoá

Để đồng bộ xử lý liên tục dữ liệu 1 danh sách các từ khoá thì mọi người chọn các từ khoá mình cần xử lý bên tab Cài đặt/ tiến trình xử lý. Sau đó nhấn nút Đồng bộ bên tab Lấy dữ liệu.

Lưu ý: nếu đồng bộ tất cả từ khoá mặc định mọi người không cần chọn danh sách từ khoá đồng bộ ứng dụng sẽ xử lý lần lượt các từ khoá đã lưu.

(Tuỳ chỉnh đồng bộ dữ liệu từ khoá army và bulldog)

Ngay sau khi nhấn Đồng bộ ứng dụng sẽ liên tục xử lý xoay vòng dữ liệu danh sách các từ khoá đã chọn cho tới khi bạn muốn dừng.

Nếu mọi người đặt ứng dụng trên VPS riêng thì nên lưu ý:

Thông số tạm ngừng giữa các phiên lấy nên để theo mặc định là 8-20 giây để tránh bị captcha.

1-2 tuần nên dừng và restart ứng dụng.

Video chia sẻ cách đồng bộ dữ liệu

Cấu hình tuỳ chỉnh danh sách từ khoá xử lý dữ liệu

Ngoài việc lưu trữ các từ khoá trong phần Lấy dữ liệu để đồng bộ về sau mọi người cũng có thể nhập chỉ định danh sách từ khoá này trong phần Cài đặt/ tiến trình xử lý.

Phần Danh sách từ khoá lưu trữ & đồng bộ mọi người nhập danh sách từ khoá cần đồng bộ và Lưu danh sách. Sau khi lưu thành công mọi người có thể chọn danh sách từ khoá để để đồng bộ dữ liệu.

PXG Crawler: danh sách hướng dẫn

Nhập thiết kế PNG đầu vào (import)

Mọi người chỉ cần Mở thư mục chứa thiết kế PNG sau đó nhập từ khoá sẽ lưu trữ dữ liệu và "Lưu thiết kế". Mặc định tên thư mục mọi người chọn sẽ là tên từ khoá nhóm dữ liệu nếu như không điều chỉnh phần Từ khoá sẽ chứa dữ liệu thiết kế nhập vào.

Trường hợp từ khoá nhóm dữ liệu đã tồn tại thì dữ liệu sẽ cập nhật ứng với từ khoá đã có.

Lưu ý: với dữ liệu thiết kế mọi người tự import đầu vào thì tên tập tin thiết kế PNG sẽ là id của thiết kế. Do đó, để tránh trùng dữ liệu thiết kế mọi người cần lưu ý việc quản lý vấn đề này nhé. Cái này tuỳ vào cách hoạt động và quản lý của mọi người. Mình gợi ý ví dụ: nên đặt tên thiết kế có tiền tố hoặc hậu tố là từ khoá, tên chiến dịch hoặc các dãy số đặc biệt.

Cũng như phần nhập dữ liệu theo ids (ASIN) bên dưới thì dữ liệu đầu vào mọi người cũng có thể kiểm tra trùng dữ liệu bằng cách chọn Kiểm tra trùng dữ liệu? Khi đó dữ liệu trùng tên PNG sẽ không được nhập vào.

Video nhập dữ liệu thiết kế PNG sẵn có

Xử lý và lấy dữ liệu theo danh sách ids (ASIN)

Lưu ý: phần tách theo liên kết store hoặc link nếu tích hợp cũng ở phần này.

Nhập từ khoá sẽ lưu trữ dữ liệu lấy về và danh sách ids (ASIN) cần lấy sau đó chọn "Xử lý & lưu trữ". Để xử lý nhập dữ liệu nhanh hơn có thể điều chỉnh trong phần thông số tạm dừng giữa các lần xử lý ở tab Lấy dữ liệu.

Thông thường mọi người nếu sử dụng các tool spy dữ liệu hiện có thì có thể xuất danh sách ASIN đầu ra và sử dụng ứng dụng để xử lý dữ liệu về và phân loại. Đây là cách làm theo cá nhân mình là hiệu quả nhất về nhiều mặt cũng như tránh việc dữ liệu quá nhiều nhưng sử dụng không bao nhiêu.

Nếu nhấn chọn kiểm tra trùng dữ liệu thì quá trình nhập dữ liệu đầu vào sẽ kiểm tra trùng ID. Ngược lại thì sẽ không kiểm tra trùng. Thường nếu muốn lấy lại hoặc cập nhật lại thông tin danh sách ids đầu vào thì nên bỏ chọn mục này.

Video chia sẻ cách nhập dữ liệu đầu vào theo ASIN

Tiến trình và thông tin xử lý dữ liệu có thể xem trong phần Cài đặt/ tiến trình xử lý.

PXG Crawler: danh sách hướng dẫn