by lochan2014 | Jan 2, 2025
Conceptual Workflow Define a Metadata Table: Store the steps (queries or DataFrame operations) in a metadata table. Each row represents a step in the process. Read Metadata Table: Load this table into a DataFrame to dynamically execute the steps in sequence. Process... by lochan2014 | Dec 23, 2024
etl_project/├── config/│ ├── base_config.json├── control/│ ├── control_table_setup.sql│ ├── sample_control_table_data.sql│ ├── log_table_setup.sql├── scripts/│ ├── run_etl.sh│ ├── run_etl.py├── etl/│ ├── execute_query.py│ ├── log_status.py│ ├── stage_runner.py│ ├──... by lochan2014 | Dec 23, 2024
etl_project/├── config/│ ├── base_config.json├── control/│ ├── control_table_setup.sql│ ├── sample_control_table_data.sql├── scripts/│ ├── run_etl.sh│ ├── run_etl.py├── etl/│ ├── execute_query.py│ ├── log_status.py│ ├── stage_runner.py│ ├── job_orchestrator.py├──... by lochan2014 | Dec 22, 2024
etl_project/ ├── config/ │ ├── base_config.json │ ├── product_configs/ │ │ ├── pl_cibil750.json ├── control/ │ ├── control_table_setup.sql │ ├── sample_control_table_data.sql ├── scripts/ │ ├── run_etl.sh │ ├── run_etl.py ├── etl/ │ ├── execute_query.py │ ├──... by lochan2014 | Dec 22, 2024
1. Project Structure etl_project/ ├── config/ │ ├── base_config.json │ ├── product_configs/ │ │ ├── pl_cibil750.json ├── control/ │ ├── control_table_setup.sql │ ├── sample_control_table_data.sql ├── scripts/ │ ├── run_etl.sh │ ├── run_etl.py ├── etl/ │ ├──...