ETL案件数
ETL案件・求人の月額単価相場
平均単価
98.1
万円
最高単価
176.0
万円
最低単価
71.5
万円
データ分析基盤の構築業務支援をお願いします。
業務内容につきましては、機密情報が多いため、実際にお会いした面談の際に詳細をお伝えいたします。
・担当機能の設計~開発~テストの流れを、責任を持って最後まで遂行できる方
・Pandas ライブラリを利用した ETL 処理に慣れている方
・データソース:csv, parquet, Redshift/RDS table, boto3 APIの経験
・加工処理:カラムの追加/削除、行列抽出、値の置換、四則演算、日付演算等
・アウトプットの書き込み:S3(csv, Parquet, Json), Redshift, RDS
・静的解析ツールのチェック結果に基づいてコードの修正が可能な方(Flake8, mypy)
・ユニットテストを実装できる方(Pytest)
大手製造業のデータ統合基盤の開発を行っていただきます。
1.詳細設計書作成(バッチ(ETL)設計)
基本設計から詳細設計書を作成する
2.Informatica Intelligent Data Management Cloud(CIH)(以降、IDMC)ツールによる実装
IDMCにて詳細設計書から実装を行う
3.単体・結合テスト計画書作成とテスト実施(単体テスト、結合テスト、システムテスト)
・詳細設計書作成経験
・ETLツールでの設計/実装経験
・Shellに関する設計/実装経験
・課題に関する共有と解決
・Amazon Redshift、S3 全般の知識
・Amazon Redshift、S3 を使った設計・開発経験
・オンプレのOracle ExadataからSnowflakeへDWHを移行
・DWH移行に伴いETL(Datastage)ジョブ他を改修(一部は新規開発、廃止も含む)
・DWH移行に伴い関連システムとのとのインターフェース連携方式変更、その他データフロー変更
・データソース一元化のため、連携ファイル格納先としてS3を新規導入
<規模感>
・移行対象テーブル数:約1500本
・移行ETLジョブ数:約1000本
・インターフェース数:約1000本
・内外関係者とコミュニケーションを取り、一人称で進められる
・上流工程経験(スコープ、方針検討、工数見積など)
・ETL開発経験
・DB/DWH開発経験(Snowflakeの知見があると尚可)
大手WEBシステムのデータ基盤インフラエンジニアとしてご参画いただきます。
【業務内容】
・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ (顧客のエンジニアおよび弊社メンバーと一緒に開発いただきます)
・LinuxによるWEBアプリの開発経験3年以上
・コンテナアプリケーションの開発経験1年以上
・Docker・Kubernetes等でのコンテナ運用経験1年以上
・システムアーキテクチャ設計経験1年以上
販売管理システム(汎用製品用)の老朽化に伴うインフラVersionUP対応を行っていただきます。
VersionUP時、現行の仕様/機能を担保できない場合は、業務APの改修を実施していただきます。
・WindowsServerのVerUP
・OSVerUPに伴う複数のMWのVerUP
・OSやMWの導入における基盤設計~テスト経験者
・業務アプリケーションBizbrowser、VB、VC(画面)開発スキル
・PL/SQL開発スキル
・ETL(Waha-Transformer)有識者
AI技術を活かしたEC事業におけるPM業務をお任せする予定です。
P.A.I.(パーソナル人工知能)の技術を活用したプロダクトを開発している企業にて
新規事業として越境EC事業に取り組んでいます。
最新のAI技術を活かした越境EC事業のプロジェクトマネジメント業務を担当いただける方を
募集しており、以下業務を担当いただきます。
・プロジェクトの進捗管理
・システム開発の要件定義策定
・ベンダーコントロール
・エンジニアチームとの連携
・API やスクレイピングを通じたデータ収集基盤の開発経験
複数の EC サイトからデータを API ないしスクレイピングで収集、統合し、更新するための設計が考えられること
・ETL 開発経験、運用経験
・EC開発に関するPM経験
データ分析プラットフォームの新規構築をお願いします。(ETL/DWHチーム)
【対応業務】
・データ要件定義
・ETL処理開発標準作成
・ETL処理設計開発・テスト
・結合・総合テスト実施
・受入テスト実施
・一人称でプロジェクトを推進可能な能力
・ETL処理の要件定義から実装・テスト経験
・PySparkでの処理構築経験(Glue経験者だとよい)
ETLの開発(データ関係)、JavaでのDataSpiderやEBXの開発を担当して頂きます。
EBXのアドオン、カスタマイズにJavaを使用するため、Javaが必須となります。
システムは、汎用機系のシステム含むデータを集めたものを統合する基幹システムです。
全員がすべてのツールを使えるように、得意なものを教えあっていこうという方針の現場です。
【工程】
基本設計から下流まで。
要件定義から対応できると尚可。
【環境】
DataSpider、Tibco EBX、A-AUTO、Deciplined Agile
【人数】
10名程
・ETLの開発経験(データ関係)
・Java設計経験
・DataSpiderやEBXの開発経験
エネルギー業界の顧客向け業務システムでAWSを利用したETL開発を行っていただきます。
ペアプロ/モブプロを採用しており、他のエンジニアへの技術指導も開発と並行してお願いします。
具体的には面談の際にお話ししますが、キャンペーン等の申込情報や契約情報の一元管理ができておらず、随時開発を行っています。
業務担当者が画面から条件指定して、検索することでキャンペーンの対象者の情報を活用できるようにするなどの効率化を図るためのデータ基盤を構築作業になります。
・Gitを用いたチーム開発経験、コードレビューの経験
・Pythonを利用したETL, Webアプリケーションの開発経験
・Pytestを用いたテストコード作成の経験
・AWS(Lambda, ECS, Glue, StepFunctions, S3, RDS, Aurora 等)を利用したETL開発経験
・スクラムでの開発経験(スクラムで何が大事か、また、スクラムを用いたプロセス改善を理解している)
データ分析基盤(データクリーンルーム)の設計/開発対応を行っていただきます。
・現行案件をベースに、Data Engineeringチームの設立 (データベースやデータウェアハウスに関する案件対応)
・広義的なエンジニアチームの一員として、様々な案件への対応可能性(他既存案件、新規案件、アドホック対応、PoC対応等)
・必要に応じて、ヘルプや検証チームとしての活動
・SQL開発経験
・以下のいずれかのクラウドベースのデータウェアハウスの利用スキル
∟Snowflake、Amazon Redshift、BigQuery、Azure Synapse Analytics
・以下のいずれかのロール経験
∟データエンジニア、データアナリスト、データベースエンジニア、アナリティクスエンジニア
・様々な種類のデータ(構造化/非構造化)を扱った経験
・データインジェスト、データパイプライン、ETL、ELT、データモデルの概念の理解
・リレーショナルおよびディメンショナルデータ構造、理論、実践に関する知識
【案件概要】
・データ基盤の開発/改修/保守運用
・データ基盤の物理/論理データモデル設計/開発/保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計/開発/保守運用
・GCP や AWS などの主なパブリッククラウドサービスにおける開発経験。
・DWHの設計・開発・運用経験
・ETLの設計・開発・運用経験
・SQLの経験
大手自動車メーカーにて、横断的なDWH環境の構築を実施する。
使用ツールはクライアント標準のETLツール(Talend)を使用し、クライアントの既存メンバーの方と協力しながら標準に則った実装を行っていただく。
・SQL実務経験
・DWHに関する知見
・ETLに関する知見