Данные и таблицы

Загрузить CSV в SQLite

Импортирует CSV в таблицу SQLite и при необходимости создаёт её по заголовку файла.

Shell Linux macOS Средний
Скачать sqlite_import.sh
Описание

Что делает скрипт

Скрипт использует csvkit для аккуратного разбора заголовка и sqlite3 для импорта. При --create таблица создаётся с текстовыми колонками, при --replace она предварительно удаляется. Без этих флагов данные добавляются в существующую таблицу. База и исходный CSV не перезаписываются.

Перед запуском
  • --replace удаляет существующую таблицу. Сначала сделайте резервную копию базы.
Запуск

Быстрый старт

bash sqlite_import.sh --db app.db --table users --csv users.csv --create

Скачайте файл, откройте терминал в папке со скриптом и выполните команду.

Примеры

Другие варианты

  • bash sqlite_import.sh --db app.db --table users --csv users.csv
  • bash sqlite_import.sh --db app.db --table users --csv users.csv --replace
Зависимости

Что понадобится

Bash 4+ Стандартные утилиты coreutils
Linux sudo apt install bash
macOS brew install bash
SQLite 3.33+ Командная строка sqlite3
Linux sudo apt install sqlite3
macOS brew install sqlite
csvkit Утилиты csvcut и csvstat
Linux sudo apt install csvkit
macOS brew install csvkit
Исходник

sqlite_import.sh

#!/usr/bin/env bash
set -euo pipefail

usage() {
    echo "Использование: $0 --db <файл.db> --table <имя> --csv <файл.csv> [--create] [--replace]"
}

db=""
table=""
csv_file=""
create=0
replace=0

while [[ $# -gt 0 ]]; do
    case "$1" in
        --db) db="${2:-}"; shift 2 ;;
        --table) table="${2:-}"; shift 2 ;;
        --csv) csv_file="${2:-}"; shift 2 ;;
        --create) create=1; shift ;;
        --replace) replace=1; create=1; shift ;;
        -h|--help) usage; exit 0 ;;
        *) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
    esac
done

if [[ -z "$db" || -z "$table" || -z "$csv_file" ]]; then
    usage >&2
    exit 2
fi
if ! [[ "$table" =~ ^[A-Za-z_][A-Za-z0-9_]*$ ]]; then
    echo "Имя таблицы должно состоять из латиницы, цифр и подчёркиваний" >&2
    exit 2
fi
for tool in sqlite3 csvcut; do
    if ! command -v "$tool" >/dev/null 2>&1; then
        echo "Не найдена программа: $tool" >&2
        exit 2
    fi
done
if [[ ! -f "$csv_file" ]]; then
    echo "CSV не найден: $csv_file" >&2
    exit 2
fi
db_dir="$(dirname "$db")"
if [[ ! -d "$db_dir" ]]; then
    echo "Папка для базы не существует: $db_dir" >&2
    exit 2
fi

mapfile -t columns < <(csvcut -n "$csv_file" | sed -E 's/^[[:space:]]*[0-9]+:[[:space:]]*//' | tr -d '\r')
if [[ ${#columns[@]} -eq 0 ]]; then
    echo "Не удалось прочитать заголовок CSV" >&2
    exit 1
fi

declare -A seen=()
for column in "${columns[@]}"; do
    if [[ -z "$column" ]]; then
        echo "В заголовке есть пустая колонка" >&2
        exit 1
    fi
    if [[ -n "${seen[$column]:-}" ]]; then
        echo "Повторяющаяся колонка: $column" >&2
        exit 1
    fi
    seen["$column"]=1
done

quote_ident() {
    local value="$1"
    local escaped
    escaped=$(printf '%s' "$value" | sed 's/"/""/g')
    printf '"%s"' "$escaped"
}

table_sql=$(quote_ident "$table")
definitions=()
for column in "${columns[@]}"; do
    definitions+=("$(quote_ident "$column") TEXT")
done
printf -v joined '%s, ' "${definitions[@]}"
joined=${joined%, }

if [[ "$replace" -eq 1 ]]; then
    echo "Будет удалена таблица: $table"
    sqlite3 "$db" "DROP TABLE IF EXISTS $table_sql;"
fi

if [[ "$create" -eq 1 ]]; then
    sqlite3 "$db" "CREATE TABLE IF NOT EXISTS $table_sql ($joined);"
else
    exists=$(sqlite3 -readonly "$db" "SELECT count(*) FROM sqlite_master WHERE type='table' AND name='$table';" 2>/dev/null || echo 0)
    if [[ "$exists" -eq 0 ]]; then
        echo "Таблицы $table нет. Добавьте --create или создайте её вручную" >&2
        exit 2
    fi
fi

tmp_csv=$(mktemp "${TMPDIR:-/tmp}/sqlite-import.XXXXXX")
trap 'rm -f "$tmp_csv"' EXIT
cp -- "$csv_file" "$tmp_csv"

sqlite3 "$db" <<SQL
.mode csv
.import --csv --skip 1 "$tmp_csv" "$table"
SQL

rows=$(sqlite3 -readonly "$db" "SELECT count(*) FROM $table_sql;")
echo "Таблица: $table"
echo "Колонок: ${#columns[@]}"
echo "Строк в таблице: $rows"
echo "База: $db"

Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.

CLI 1.0.0

Скачать без браузера

Команда скачает этот файл в текущую папку. CLI работает на Windows, macOS и Linux.

scriptdock get data-sqlite-import
  • Поиск по всему каталогу
  • Python 3.10+
  • Без внешних пакетов
Скачать CLI

GUI-версия готовится. Подробнее

Категория

Данные и таблицы

CSV, JSON, SQLite, Excel, очистка, объединение и отчёты.