-
Nhân Viên Data Crawler
- CÔNG TY CỔ PHẦN WEBIFY GROUP
- Khu vực tuyển dụng: Hồ Chí Minh
- Mức lương: 12 triệu - 15 triệu
- Lượt xem: 685
. Ngày duyệt: 23/10/2024
Hạn nộp hồ sơ: 20/11/2024 Đã hết hạn
Mức lương: 12 triệu - 15 triệu
Hình thức làm việc: Dài hạn
Địa điểm làm việc: 19 Hồ Văn Huê, P9, Q.Phú Nhuận, Thành phố Hồ Chí Minh
Số lượng: 1
Chức vụ: Nhân viên
Ngày đăng tuyển: 23/10/2024
Ngành nghề: Công nghệ thông tin
Mô tả công việc
Đảm bảo rằng các script được viết tối ưu và dễ bảo trì.
Thực hiện các bước làm sạch, lọc và tổ chức dữ liệu thu thập được để đảm bảo tính nhất quán và sẵn sàng cho phân tích.
Sử dụng các công cụ như Pandas để xử lý và chuyển đổi dữ liệu.
Sử dụng Python để quản lý và lưu trữ dữ liệu hiệu quả, làm việc với các hệ thống cơ sở dữ liệu SQL và NoSQL.
Phát triển các quy trình quản lý dữ liệu, đảm bảo dữ liệu được lưu trữ an toàn và có thể truy xuất dễ dàng.
Theo dõi và cải thiện hiệu suất của quy trình scraping, xử lý các thách thức như chặn IP, giới hạn tốc độ và CAPTCHA để đảm bảo hoạt động của hệ thống không bị gián đoạn.
Phân tích dữ liệu thu thập để tối ưu hóa quy trình scraping và cải thiện trải nghiệm người dùng.
Hiểu rõ về các khái niệm và kỹ thuật trong xây dựng đường ống dữ liệu để chuyển giao và xử lý dữ liệu từ nhiều nguồn khác nhau.
Tham gia vào việc thiết kế và triển khai các đường ống dữ liệu nhằm đảm bảo dữ liệu được thu thập và xử lý một cách hiệu quả.
Quyền lợi được hưởng
Có phụ cấp gửi xe
Định kỳ tăng lương hằng năm
Được đào tạo, phát triển năng lực để đáp ứng yêu cầu công việc và lộ trình thăng tiến
Tham gia khoá học khi cần thiết
Thưởng theo tuần/tháng/quý/năm và theo dự án
Thưởng lễ/tết
Môi trường làm việc trẻ, thân thiện và năng động.
Du lịch: 1 lần/năm
Yêu cầu công việc
Có khả năng lập trình tốt với Python và các thư viện scraping như Scrapy, Selenium, BeautifulSoup.
Trình độ tiếng Anh tối thiểu: TOEIC > 600 hoặc IELTS ≥ 5.0.
Ít nhất 1 năm kinh nghiệm trong lĩnh vực phát triển web scraping hoặc xử lý dữ liệu tự động.
Kinh nghiệm xây dựng và tối ưu hóa các quy trình thu thập dữ liệu phức tạp từ nhiều nguồn khác nhau.
Có kinh nghiệm với các công cụ scraping và viết script phức tạp để thu thập dữ liệu hiệu quả.
Có khả năng viết và tối ưu hóa các truy vấn SQL phức tạp để tìm kiếm và phân tích dữ liệu.
Kinh nghiệm trong việc triển khai và quản lý proxy để tối ưu hóa quy trình scraping.
Kỹ năng phân tích và giải quyết vấn đề:
Kỹ năng phân tích tốt, có khả năng gỡ lỗi và khắc phục các sự cố trong quá trình scraping.
Khả năng lập kế hoạch và tổ chức công việc, làm việc độc lập hoặc trong môi trường nhóm một cách hiệu quả.
Kinh nghiệm làm việc với API để thu thập và tích hợp dữ liệu.
Kinh nghiệm phân tích dữ liệu, sử dụng các công cụ phân tích và báo cáo.
Kinh nghiệm trong việc thiết kế và triển khai đường ống dữ liệu.
Yêu cầu hồ sơ
Việc làm liên quan
-
Yêu cầu giới tính
Nam -
Bằng cấp
Cử nhân -
Kinh nghiệm
1 năm -
Ngôn ngữ
Tiếng Anh