by Team AHT | Jan 2, 2025
Conceptual Workflow Define a Metadata Table: Store the steps (queries or DataFrame operations) in a metadata table. Each row represents a step in the process. Read Metadata Table: Load this table into a DataFrame to dynamically execute the steps in sequence. Process...
by Team AHT | Dec 23, 2024
etl_project/├── config/│ ├── base_config.json├── control/│ ├── control_table_setup.sql│ ├── sample_control_table_data.sql│ ├── log_table_setup.sql├── scripts/│ ├── run_etl.sh│ ├── run_etl.py├── etl/│ ├── execute_query.py│ ├── log_status.py│ ├── stage_runner.py│ ├──...
by Team AHT | Dec 23, 2024
etl_project/├── config/│ ├── base_config.json├── control/│ ├── control_table_setup.sql│ ├── sample_control_table_data.sql├── scripts/│ ├── run_etl.sh│ ├── run_etl.py├── etl/│ ├── execute_query.py│ ├── log_status.py│ ├── stage_runner.py│ ├── job_orchestrator.py├──...
by Team AHT | Dec 22, 2024
etl_project/ ├── config/ │ ├── base_config.json │ ├── product_configs/ │ │ ├── pl_cibil750.json ├── control/ │ ├── control_table_setup.sql │ ├── sample_control_table_data.sql ├── scripts/ │ ├── run_etl.sh │ ├── run_etl.py ├── etl/ │ ├── execute_query.py │ ├──...
by Team AHT | Dec 22, 2024
1. Project Structure etl_project/ ├── config/ │ ├── base_config.json │ ├── product_configs/ │ │ ├── pl_cibil750.json ├── control/ │ ├── control_table_setup.sql │ ├── sample_control_table_data.sql ├── scripts/ │ ├── run_etl.sh │ ├── run_etl.py ├── etl/ │ ├──...
by Team AHT | Dec 22, 2024
etl_project/├── config/│ ├── base_config.json # Static environment configurations│ ├── product_configs/ # Individual configs for each program│ │ ├── pl_cibil750.json├── control/│ ├── control_table_setup.sql # SQL to create the control table│ └──...
by Team AHT | Dec 21, 2024
# Project Structure # etl_project/ # ├── config # │ ├── config.json # │ └── logging.conf # ├── data # │ ├── input # │ │ ├── customer_data.csv # │ └── output # │ ├── eligible_customers.csv # │ └── log_data.csv # ├── etl # │ ├── etl.py # ├── logging # │ └── logger.py #...