Find Jobs
Hire Freelancers

Pyspark Data engineer for a test project in Spark

₹600-1500 INR

종료됨
게시됨 약 3년 전

₹600-1500 INR

제출할때 지불됩니다
Looking for a pySpark developer to help with a pyspark application for demonstration purpose. The goal is to read 3 small json files each less than 1 mb into a single data frame. Do preprocessing and then fetch some metrics based on regular expression search. ETL task is easy and I am able to achieve it. However the end goal is written below that is also the acceptability criteria for this project. The developer should be able to write code with following points in mind: Well structured, object-oriented and maintainable code. Unit tests for the different components. Documentation, comments and Proper exception handling. Solution is deployable and we can run it (locally and on a cluster) Config management. (separate folders and files like [login to view URL], [login to view URL] etc. rather than one python script). Logging and alerting. Data quality checks (like input/output dataset validation).
프로젝트 ID: 29872024

프로젝트 정보

제안서 1개
원격근무 프로젝트
활동 중 3년 전

돈을 좀 벌 생각이십니까?

프리랜서 입찰의 이점

예산 및 기간 설정
작업 결과에 대한 급여 수급
제안의 개요를 자세히 쓰세요
무료로 프로젝트에 신청하고 입찰할 수 있습니다
1 이 프로젝트에 프리랜서들의 평균 입찰은 ₹1,050 INR입니다.
사용자 아바타
Hi, I am working in MNC as Data Engineer and currently working on Big Data Fields using PySpark and Hadoop Frameworks. Having more than 4 years of experience in Big Data Field in production and certified pyspark developer as well as certified Hadoop developer. Requesting you to please share the details. Thanks Rahul.
₹1,050 INR 7일에
4.4 (4 건의 리뷰)
2.2
2.2

고객에 대한 정보

국기 (INDIA)
Pune, India
0.0
0
7월 8, 2019부터 회원입니다

고객 확인

이 거래선이 등록한 다른 일자리

php Project Management Portal
₹1500-12500 INR
감사합니다! 무료 크레딧을 신청할 수 있는 링크를 이메일로 보내드렸습니다.
이메일을 보내는 동안 문제가 발생했습니다. 다시 시도해 주세요.
등록 사용자 전체 등록 건수(일자리)
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
미리 보기 화면을 준비 중...
위치 정보 관련 접근권이 허용되었습니다.
고객님의 로그인 세션이 만료되어, 자동으로 로그아웃 처리가 되었습니다. 다시 로그인하여 주십시오.