230417 Final PL Data Cleanup and Merge.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "e0e48fd5-4460-4cf1-b979-2fef7ea6a271",
   "metadata": {},
   "source": [
    "# Libraries"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "id": "ab92b7bf-81fc-493d-9b13-a08c44c4303d",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "42500df8-22ef-46d6-9a48-3d0bdc5d249f",
   "metadata": {},
   "source": [
    "# Functions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "id": "d22bbf26-76a3-4a73-b912-543f7ee52092",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "def front_fill_0 (list, x):\n",
    "    new_list=[]\n",
    "    for id in list:\n",
    "        if len(id)<x:\n",
    "            id = '0'*(x-len(id))+id\n",
    "        new_list.append(id)\n",
    "    return new_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 104,
   "id": "09a13b28-f64b-43b9-8d9e-7b17b85297c6",
   "metadata": {},
   "outputs": [],
   "source": [
    "CompositeAllCoopData = pd.read_csv('Data from rejestr.io/CompositeAllCoopData.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "id": "f5d59dce-064d-40d0-b629-d7bb7606f828",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "'''\n",
    "Renaming the columns\n",
    "'''\n",
    "old_columns = CompositeAllCoopData.columns.tolist()\n",
    "snake_columns = [c.replace('.','_') for c in old_columns]\n",
    "CompositeAllCoopData.columns = snake_columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "id": "a371d3e8-e100-46c1-9060-76394e4e11de",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "'''\n",
    "Dropping flag columns\n",
    "'''\n",
    "\n",
    "negative_flag_mask = col_focus = [col for col in CompositeAllCoopData.columns if 'flag' not in col]\n",
    "CompositeAllCoopData = CompositeAllCoopData[negative_flag_mask]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "id": "d3f019a2-5ecd-4504-abd2-34298e79966b",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "'''\n",
    "Dropping useless columns\n",
    "'''\n",
    "columns_to_drop = ['adres_panstwo',\n",
    "                   'info',\n",
    "                   'typ',\n",
    "                   'krs_powiazania_liczby_aktualne',\n",
    "                   'krs_powiazania_liczby_przeszle',\n",
    "                   'krs_rejestry_rejestr_przedsiebiorcow_data_wpisu',\n",
    "                   'krs_wpisy_najnowszy_data',\n",
    "                   'krs_wpisy_najnowszy_numer',\n",
    "                   'krs_wpisy_pierwszy_data',\n",
    "                   'metadane_krs_odpis_synchronizacja_data_czas',\n",
    "                   'nazwy_skrocona',\n",
    "                   'stan_czy_jest_na_gpw',\n",
    "                   'stan_czy_pozytku_publicznego',\n",
    "                   'stan_czy_spolka_skarbu_panstwa',\n",
    "                   'kod',\n",
    "                   'numery_duns']\n",
    "\n",
    "\n",
    "CompositeAllCoopData = CompositeAllCoopData[[column for column in CompositeAllCoopData.columns.tolist() if column not in columns_to_drop]]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "id": "98d641ce-ca4c-4369-90c6-3cce5e10f358",
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Turning REGON in to 9-digit format \n",
    "and\n",
    "Mearging in creation dates\n",
    "'''\n",
    "\n",
    "CompositeAllCoopData.numery_regon = front_fill_0(list=CompositeAllCoopData.numery_regon.astype(str).tolist() , x=9)\n",
    "\n",
    "Creation_dates = pd.read_csv(f'Data from regon/Creation_dates_all.csv')\n",
    "Creation_dates.regon = front_fill_0(list=Creation_dates.regon.astype(str).tolist() , x=9)\n",
    "CompositeAllCoopData = pd.merge(CompositeAllCoopData, Creation_dates[['regon','data_rozpoczecia_dzialalnosci','data_powstania']],left_on='numery_regon',right_on='regon',how='left',sort=False)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "id": "27f00be2-a66c-4e1a-9259-591fb3c17453",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "'''\n",
    "Mearging name category\n",
    "'''\n",
    "Name_category = pd.read_csv('Coop_name_category.csv')\n",
    "Name_category.rename(columns={'category':'nazwa_kategoria'}, inplace=True)\n",
    "CompositeAllCoopData = pd.merge(CompositeAllCoopData, Name_category[['id','nazwa_kategoria']],left_on='id',right_on='id',how='left',sort=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "id": "f6a953e6-9e8f-4e79-bfa0-020275c85cb3",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>adres_kod</th>\n",
       "      <th>adres_miejscowosc</th>\n",
       "      <th>adres_nr_domu</th>\n",
       "      <th>adres_nr_mieszkania</th>\n",
       "      <th>adres_poczta</th>\n",
       "      <th>adres_teryt_gmina</th>\n",
       "      <th>adres_teryt_powiat</th>\n",
       "      <th>adres_teryt_wojewodztwo</th>\n",
       "      <th>adres_ulica</th>\n",
       "      <th>...</th>\n",
       "      <th>uslugi_obce_2019</th>\n",
       "      <th>uslugi_obce_2020</th>\n",
       "      <th>uslugi_obce_2021</th>\n",
       "      <th>adres_cały</th>\n",
       "      <th>latitude</th>\n",
       "      <th>longitude</th>\n",
       "      <th>regon</th>\n",
       "      <th>data_rozpoczecia_dzialalnosci</th>\n",
       "      <th>data_powstania</th>\n",
       "      <th>nazwa_kategoria</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>0 rows × 87 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "Empty DataFrame\n",
       "Columns: [id, adres_kod, adres_miejscowosc, adres_nr_domu, adres_nr_mieszkania, adres_poczta, adres_teryt_gmina, adres_teryt_powiat, adres_teryt_wojewodztwo, adres_ulica, glowna_osoba_id, glowna_osoba_imiona_i_nazwisko, nazwy_pelna, numery_krs, numery_nip, numery_regon, stan_czy_dofinansowana_przez_ue, stan_czy_otrzymala_pomoc_publiczna, stan_czy_wykreslona, stan_forma_prawna, stan_pkd_przewazajace_dzial, stan_w_likwidacji, stan_w_upadlosci, stan_w_zawieszeniu, stan_wielkosc, kontakt_www, kontakt_emaile, krs_rejestry_rejestr_przedsiebiorcow_data_wykreslenia, krs_wpisy_najnowszy_przed_wykresleniem_data, krs_wpisy_najnowszy_przed_wykresleniem_numer, krs_wpisy_wykreslenie_uprawomocnienie_data, metadane_krs_rozdzialy_dostepne, przychody_netto_2014, przychody_netto_2015, przychody_netto_2016, przychody_netto_2017, przychody_netto_2018, przychody_netto_2019, przychody_netto_2020, przychody_netto_2021, zuzycie_materialow_i_energii_2014, zuzycie_materialow_i_energii_2015, zuzycie_materialow_i_energii_2016, zuzycie_materialow_i_energii_2017, zuzycie_materialow_i_energii_2018, zuzycie_materialow_i_energii_2019, zuzycie_materialow_i_energii_2020, zuzycie_materialow_i_energii_2021, wynagrodzenia_i_ubezpieczenia_2014, wynagrodzenia_i_ubezpieczenia_2015, wynagrodzenia_i_ubezpieczenia_2016, wynagrodzenia_i_ubezpieczenia_2017, wynagrodzenia_i_ubezpieczenia_2018, wynagrodzenia_i_ubezpieczenia_2019, wynagrodzenia_i_ubezpieczenia_2020, wynagrodzenia_i_ubezpieczenia_2021, tylko_ubezpieczenia_2014, tylko_ubezpieczenia_2015, tylko_ubezpieczenia_2016, tylko_ubezpieczenia_2017, tylko_ubezpieczenia_2018, tylko_ubezpieczenia_2019, tylko_ubezpieczenia_2020, tylko_ubezpieczenia_2021, koszty_dzialalnosci_operacyjnej_2014, koszty_dzialalnosci_operacyjnej_2015, koszty_dzialalnosci_operacyjnej_2016, koszty_dzialalnosci_operacyjnej_2017, koszty_dzialalnosci_operacyjnej_2018, koszty_dzialalnosci_operacyjnej_2019, koszty_dzialalnosci_operacyjnej_2020, koszty_dzialalnosci_operacyjnej_2021, uslugi_obce_2014, uslugi_obce_2015, uslugi_obce_2016, uslugi_obce_2017, uslugi_obce_2018, uslugi_obce_2019, uslugi_obce_2020, uslugi_obce_2021, adres_cały, latitude, longitude, regon, data_rozpoczecia_dzialalnosci, data_powstania, nazwa_kategoria]\n",
       "Index: []\n",
       "\n",
       "[0 rows x 87 columns]"
      ]
     },
     "execution_count": 110,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'''\n",
    "Applying Janek's fake coops mask.\n",
    "'''\n",
    "\n",
    "jup = pd.read_excel('C:/Users/awers/OneDrive - Fundacja Naukowa Instytut Badań Strukturalnych/NCN OPUS 22 WEAVE/data/PL data/AllCooperatives_spoldzielnie_db.xlsx', sheet_name='Arkusz1')\n",
    "to_drop = jup.loc[jup.czy_sm == 0,'numery.nip'].tolist()\n",
    "to_drop = jup.loc[jup.czy_sm == 0,'numery.nip'].tolist()\n",
    "to_drop = [int(i) for i in to_drop]\n",
    "\n",
    "CompositeAllCoopData.loc[CompositeAllCoopData.id.isin(to_drop)]\n",
    "\n",
    "# must have been deleted already"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "id": "fdf26f33-6510-4fd6-862c-4d9b4e5db371",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['id',\n",
       " 'adres_kod',\n",
       " 'adres_miejscowosc',\n",
       " 'adres_nr_domu',\n",
       " 'adres_nr_mieszkania',\n",
       " 'adres_poczta',\n",
       " 'adres_teryt_gmina',\n",
       " 'adres_teryt_powiat',\n",
       " 'adres_teryt_wojewodztwo',\n",
       " 'adres_ulica',\n",
       " 'glowna_osoba_id',\n",
       " 'glowna_osoba_imiona_i_nazwisko',\n",
       " 'nazwy_pelna',\n",
       " 'numery_krs',\n",
       " 'numery_nip',\n",
       " 'numery_regon',\n",
       " 'stan_czy_dofinansowana_przez_ue',\n",
       " 'stan_czy_otrzymala_pomoc_publiczna',\n",
       " 'stan_czy_wykreslona',\n",
       " 'stan_forma_prawna',\n",
       " 'stan_pkd_przewazajace_dzial',\n",
       " 'stan_w_likwidacji',\n",
       " 'stan_w_upadlosci',\n",
       " 'stan_w_zawieszeniu',\n",
       " 'stan_wielkosc',\n",
       " 'kontakt_www',\n",
       " 'kontakt_emaile',\n",
       " 'krs_rejestry_rejestr_przedsiebiorcow_data_wykreslenia',\n",
       " 'krs_wpisy_najnowszy_przed_wykresleniem_data',\n",
       " 'krs_wpisy_najnowszy_przed_wykresleniem_numer',\n",
       " 'krs_wpisy_wykreslenie_uprawomocnienie_data',\n",
       " 'metadane_krs_rozdzialy_dostepne',\n",
       " 'przychody_netto_2014',\n",
       " 'przychody_netto_2015',\n",
       " 'przychody_netto_2016',\n",
       " 'przychody_netto_2017',\n",
       " 'przychody_netto_2018',\n",
       " 'przychody_netto_2019',\n",
       " 'przychody_netto_2020',\n",
       " 'przychody_netto_2021',\n",
       " 'zuzycie_materialow_i_energii_2014',\n",
       " 'zuzycie_materialow_i_energii_2015',\n",
       " 'zuzycie_materialow_i_energii_2016',\n",
       " 'zuzycie_materialow_i_energii_2017',\n",
       " 'zuzycie_materialow_i_energii_2018',\n",
       " 'zuzycie_materialow_i_energii_2019',\n",
       " 'zuzycie_materialow_i_energii_2020',\n",
       " 'zuzycie_materialow_i_energii_2021',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2014',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2015',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2016',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2017',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2018',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2019',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2020',\n",
       " 'wynagrodzenia_i_ubezpieczenia_2021',\n",
       " 'tylko_ubezpieczenia_2014',\n",
       " 'tylko_ubezpieczenia_2015',\n",
       " 'tylko_ubezpieczenia_2016',\n",
       " 'tylko_ubezpieczenia_2017',\n",
       " 'tylko_ubezpieczenia_2018',\n",
       " 'tylko_ubezpieczenia_2019',\n",
       " 'tylko_ubezpieczenia_2020',\n",
       " 'tylko_ubezpieczenia_2021',\n",
       " 'koszty_dzialalnosci_operacyjnej_2014',\n",
       " 'koszty_dzialalnosci_operacyjnej_2015',\n",
       " 'koszty_dzialalnosci_operacyjnej_2016',\n",
       " 'koszty_dzialalnosci_operacyjnej_2017',\n",
       " 'koszty_dzialalnosci_operacyjnej_2018',\n",
       " 'koszty_dzialalnosci_operacyjnej_2019',\n",
       " 'koszty_dzialalnosci_operacyjnej_2020',\n",
       " 'koszty_dzialalnosci_operacyjnej_2021',\n",
       " 'uslugi_obce_2014',\n",
       " 'uslugi_obce_2015',\n",
       " 'uslugi_obce_2016',\n",
       " 'uslugi_obce_2017',\n",
       " 'uslugi_obce_2018',\n",
       " 'uslugi_obce_2019',\n",
       " 'uslugi_obce_2020',\n",
       " 'uslugi_obce_2021',\n",
       " 'adres_cały',\n",
       " 'latitude',\n",
       " 'longitude',\n",
       " 'regon',\n",
       " 'data_rozpoczecia_dzialalnosci',\n",
       " 'data_powstania',\n",
       " 'nazwa_kategoria']"
      ]
     },
     "execution_count": 111,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "CompositeAllCoopData.columns.tolist()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 112,
   "id": "5c490e91-dedb-4000-8436-9d325e24faf5",
   "metadata": {},
   "outputs": [],
   "source": [
    "CompositeAllCoopData.to_csv('PL_database.csv', index=False)  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a2fd5a03-8747-40c8-a8a1-092544c46355",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.3"
  },
  "toc-autonumbering": true,
  "toc-showtags": false
 },
 "nbformat": 4,
 "nbformat_minor": 5
}