Загрузить CSV в SQLite
Импортирует CSV в таблицу SQLite и при необходимости создаёт её по заголовку файла.
Что делает скрипт
Скрипт использует csvkit для аккуратного разбора заголовка и sqlite3 для импорта. При --create таблица создаётся с текстовыми колонками, при --replace она предварительно удаляется. Без этих флагов данные добавляются в существующую таблицу. База и исходный CSV не перезаписываются.
- --replace удаляет существующую таблицу. Сначала сделайте резервную копию базы.
Быстрый старт
bash sqlite_import.sh --db app.db --table users --csv users.csv --create
Скачайте файл, откройте терминал в папке со скриптом и выполните команду.
Другие варианты
bash sqlite_import.sh --db app.db --table users --csv users.csvbash sqlite_import.sh --db app.db --table users --csv users.csv --replace
Что понадобится
sudo apt install bash
brew install bash
sudo apt install sqlite3
brew install sqlite
sudo apt install csvkit
brew install csvkit
sqlite_import.sh
#!/usr/bin/env bash
set -euo pipefail
usage() {
echo "Использование: $0 --db <файл.db> --table <имя> --csv <файл.csv> [--create] [--replace]"
}
db=""
table=""
csv_file=""
create=0
replace=0
while [[ $# -gt 0 ]]; do
case "$1" in
--db) db="${2:-}"; shift 2 ;;
--table) table="${2:-}"; shift 2 ;;
--csv) csv_file="${2:-}"; shift 2 ;;
--create) create=1; shift ;;
--replace) replace=1; create=1; shift ;;
-h|--help) usage; exit 0 ;;
*) echo "Неизвестный аргумент: $1" >&2; usage >&2; exit 2 ;;
esac
done
if [[ -z "$db" || -z "$table" || -z "$csv_file" ]]; then
usage >&2
exit 2
fi
if ! [[ "$table" =~ ^[A-Za-z_][A-Za-z0-9_]*$ ]]; then
echo "Имя таблицы должно состоять из латиницы, цифр и подчёркиваний" >&2
exit 2
fi
for tool in sqlite3 csvcut; do
if ! command -v "$tool" >/dev/null 2>&1; then
echo "Не найдена программа: $tool" >&2
exit 2
fi
done
if [[ ! -f "$csv_file" ]]; then
echo "CSV не найден: $csv_file" >&2
exit 2
fi
db_dir="$(dirname "$db")"
if [[ ! -d "$db_dir" ]]; then
echo "Папка для базы не существует: $db_dir" >&2
exit 2
fi
mapfile -t columns < <(csvcut -n "$csv_file" | sed -E 's/^[[:space:]]*[0-9]+:[[:space:]]*//' | tr -d '\r')
if [[ ${#columns[@]} -eq 0 ]]; then
echo "Не удалось прочитать заголовок CSV" >&2
exit 1
fi
declare -A seen=()
for column in "${columns[@]}"; do
if [[ -z "$column" ]]; then
echo "В заголовке есть пустая колонка" >&2
exit 1
fi
if [[ -n "${seen[$column]:-}" ]]; then
echo "Повторяющаяся колонка: $column" >&2
exit 1
fi
seen["$column"]=1
done
quote_ident() {
local value="$1"
local escaped
escaped=$(printf '%s' "$value" | sed 's/"/""/g')
printf '"%s"' "$escaped"
}
table_sql=$(quote_ident "$table")
definitions=()
for column in "${columns[@]}"; do
definitions+=("$(quote_ident "$column") TEXT")
done
printf -v joined '%s, ' "${definitions[@]}"
joined=${joined%, }
if [[ "$replace" -eq 1 ]]; then
echo "Будет удалена таблица: $table"
sqlite3 "$db" "DROP TABLE IF EXISTS $table_sql;"
fi
if [[ "$create" -eq 1 ]]; then
sqlite3 "$db" "CREATE TABLE IF NOT EXISTS $table_sql ($joined);"
else
exists=$(sqlite3 -readonly "$db" "SELECT count(*) FROM sqlite_master WHERE type='table' AND name='$table';" 2>/dev/null || echo 0)
if [[ "$exists" -eq 0 ]]; then
echo "Таблицы $table нет. Добавьте --create или создайте её вручную" >&2
exit 2
fi
fi
tmp_csv=$(mktemp "${TMPDIR:-/tmp}/sqlite-import.XXXXXX")
trap 'rm -f "$tmp_csv"' EXIT
cp -- "$csv_file" "$tmp_csv"
sqlite3 "$db" <<SQL
.mode csv
.import --csv --skip 1 "$tmp_csv" "$table"
SQL
rows=$(sqlite3 -readonly "$db" "SELECT count(*) FROM $table_sql;")
echo "Таблица: $table"
echo "Колонок: ${#columns[@]}"
echo "Строк в таблице: $rows"
echo "База: $db"
Скрипты работают с файлами и настройками системы. Перед запуском прочитайте код и проверьте пути. Особенно если скрипт удаляет, перезаписывает или перемещает данные.