Mô tả công việc

Xây dựng và duy trì các script Python để tự động thu thập dữ liệu từ nhiều nguồn web khác nhau, đảm bảo chất lượng và độ chính xác của dữ liệu thu thập.
Đảm bảo rằng các script được viết tối ưu và dễ bảo trì.
Thực hiện các bước làm sạch, lọc và tổ chức dữ liệu thu thập được để đảm bảo tính nhất quán và sẵn sàng cho phân tích.
Sử dụng các công cụ như Pandas để xử lý và chuyển đổi dữ liệu.
Sử dụng Python để quản lý và lưu trữ dữ liệu hiệu quả, làm việc với các hệ thống cơ sở dữ liệu SQL và NoSQL.
Phát triển các quy trình quản lý dữ liệu, đảm bảo dữ liệu được lưu trữ an toàn và có thể truy xuất dễ dàng.
Theo dõi và cải thiện hiệu suất của quy trình scraping, xử lý các thách thức như chặn IP, giới hạn tốc độ và CAPTCHA để đảm bảo hoạt động của hệ thống không bị gián đoạn.
Phân tích dữ liệu thu thập để tối ưu hóa quy trình scraping và cải thiện trải nghiệm người dùng.
Hiểu rõ về các khái niệm và kỹ thuật trong xây dựng đường ống dữ liệu để chuyển giao và xử lý dữ liệu từ nhiều nguồn khác nhau.
Tham gia vào việc thiết kế và triển khai các đường ống dữ liệu nhằm đảm bảo dữ liệu được thu thập và xử lý một cách hiệu quả.

Quyền lợi được hưởng

Huởng đầy đủ các chế độ BHXH, BHYT, HĐLĐ, ngày phép và các chế độ khác theo quy định của nhà nước.
Có phụ cấp gửi xe
Định kỳ tăng lương hằng năm
Được đào tạo, phát triển năng lực để đáp ứng yêu cầu công việc và lộ trình thăng tiến
Tham gia khoá học khi cần thiết
Thưởng theo tuần/tháng/quý/năm và theo dự án
Thưởng lễ/tết
Môi trường làm việc trẻ, thân thiện và năng động.
Du lịch: 1 lần/năm

Yêu cầu công việc

Tốt nghiệp đại học (GPA > 2.8) chuyên ngành Công Nghệ Thông Tin, Viễn Thông, hoặc các lĩnh vực liên quan.
Có khả năng lập trình tốt với Python và các thư viện scraping như Scrapy, Selenium, BeautifulSoup.
Trình độ tiếng Anh tối thiểu: TOEIC > 600 hoặc IELTS ≥ 5.0.
Ít nhất 1 năm kinh nghiệm trong lĩnh vực phát triển web scraping hoặc xử lý dữ liệu tự động.
Kinh nghiệm xây dựng và tối ưu hóa các quy trình thu thập dữ liệu phức tạp từ nhiều nguồn khác nhau.
Có kinh nghiệm với các công cụ scraping và viết script phức tạp để thu thập dữ liệu hiệu quả.
Có khả năng viết và tối ưu hóa các truy vấn SQL phức tạp để tìm kiếm và phân tích dữ liệu.
Kinh nghiệm trong việc triển khai và quản lý proxy để tối ưu hóa quy trình scraping.
Kỹ năng phân tích và giải quyết vấn đề:
Kỹ năng phân tích tốt, có khả năng gỡ lỗi và khắc phục các sự cố trong quá trình scraping.
Khả năng lập kế hoạch và tổ chức công việc, làm việc độc lập hoặc trong môi trường nhóm một cách hiệu quả.
Kinh nghiệm làm việc với API để thu thập và tích hợp dữ liệu.
Kinh nghiệm phân tích dữ liệu, sử dụng các công cụ phân tích và báo cáo.
Kinh nghiệm trong việc thiết kế và triển khai đường ống dữ liệu.