7.7 KiB
7.7 KiB
HF datasets для QLoRA: перевод судостроения ZH/EN → RU
Дата проверки: 2026-10-28. Все ID ниже проверены через HF API (HTTP 200, доступны без gate).
Главный вывод
Готового параллельного корпуса «судостроение/флот ZH/EN → RU» на HF нет. Стратегия:
- База — универсальные параллельные корпуса (общий языковой сигнал, стиль, морфология RU).
- Домен — фильтрация базы по морской терминологии + монолингвальные морские корпуса для backtranslation.
- Терминология — глоссарии как constrained decoding / SFT-инструкции.
1. Базовые параллельные корпуса (обязательный фундамент)
| Dataset | Пары | Размер | Заметки |
|---|---|---|---|
Helsinki-NLP/opus-100 |
en-ru, en-zh, ru-zh (только test), 114 конфигов | 10M–100M | Главный источник. ru-zh — только test, нужен backtrans/en-pivot |
Helsinki-NLP/multiun |
en/ru/zh + 4 | 100M–1B | Документы ООН, формальный технический регистр — ближе всего к техдокументации |
Helsinki-NLP/news_commentary |
ru, zh | 1M–10M | Политика/экономика, хорошая нормативная лексика |
Helsinki-NLP/opus_infopankki |
ru, zh | 1M–10M | FAQ/инфо-буклеты, чистый параллельный стиль |
Helsinki-NLP/open_subtitles |
ru, zh (58 языков) | 10K–100K | Разговорный, шумный — только с фильтром |
Helsinki-NLP/kde4 |
ru, zh | 100K–1M | Локализация ПО, техническая терминология |
Helsinki-NLP/opus_books |
ru (zh нет) | 1M–10M | Литература, для стиля |
wecover/OPUS_GlobalVoices |
ru, zh | 10M–100M | Новости |
sentence-transformers/parallel-sentences-ccmatrix |
ru, zh | 1B–10B | Майнинг веб-параллели; требует агрессивной фильтрации |
yhavinga/ccmatrix |
ru, zh | — | То же, альтернативная нарезка |
MaLA-LM/mala-bilingual-translation-corpus |
NLLB-seed пары (eng_Latn-rus_Cyrl, zho_Hans-rus_Cyrl) | 10B–100B | Проверить наличие нужных каталогов перед скачиванием |
KvaytG/en-ru-parallel-20m |
en-ru | ~1.65 GB parquet | Готовый чистый EN-RU, хорош как «якорь» качества |
KvaytG/en-ru-parallel-books |
en-ru | — | Литературный регистр |
2. Тестовые/бенчмарк-сеты (eval, не train)
| Dataset | Пары | Назначение |
|---|---|---|
wmt/wmt17 |
ru, zh, en | Классический WMT test (news) |
wmt/wmt20_mlqe_task1 |
ru, zh + direct assessment | Оценка качества, MQM-подобная |
google/wmt24pp |
en-ru_RU | Свежий WMT24++, документированная очистка |
IWSLT/ted_talks_iwslt |
ru, zh | Домен «речь/лекции» |
joefox/newstest-2017-2019-ru_zh |
zh-ru | Прямой ZH-RU test, редкость |
3. Доменные и терминологические ресурсы
| Dataset | Языки | Зачем |
|---|---|---|
BAAI/IndustryCorpus2_transportation |
zh, en | Монолингвальный транспорт/флот → backtranslation + доменная адаптация |
BAAI/IndustryCorpus2_water_resources_ocean |
zh, en | Водные ресурсы/океан |
BAAI/IndustryCorpus2 |
zh, en (полный) | Материнский корпус, подкаталоги transportation / water_resources_ocean |
zjunlp/OceanCorpus |
en (частично zh) | Океанология, научный регистр |
zjunlp/OceanInstruction |
zh, en | Инструкции по океанологии → формат SFT |
zjunlp/OceanBenchmark |
zh, en | Оценка доменных знаний |
Beifengdo/Marine-Science-Professional-English |
zh↔en (учебные материалы) | Китайские вузовские курсы по морским специальностям |
Beifengdo/Principles-of-Naval-Architecture |
zh | Теория корабля |
Beifengdo/Shipping-Economics |
zh | Экономика судоходства |
Beifengdo/Oceanographic-Survey-2020 |
zh | Океанографические съёмки |
Beifengdo/GMDSS-haishangwuxiandian |
zh | GMDSS / морская радиосвязь |
Beifengdo/Ocean-and-Environment |
zh | Океан и окружающая среда |
Beifengdo/Marine-Electrical-and-Electronic-Engineering |
zh | Судовая электротехника |
Beifengdo/Nautical-Instruments-English |
zh/en | Навигационные приборы |
lianghsun/chinese-english-technical-patent-glossary |
zh-en | Технический глоссарий (патенты) — терминологические ограничения |
PatSnap/patent-translation-bench |
zh-en | Эталон технического перевода (регистр патента ≈ техдокументация) |
zouhar/wmt-terminology-2023 |
en, cs, zh, de | Методика terminology-constrained MT |
Jerry999/multilingual-terminology |
en, ar, zh, fr, ja, ru | Мультиязычная терминология, единственный с RU в наборе |
FrancophonIA/Termcat_Nautical_Sports |
ca/en/fr/es | Морская лексика (парусный спорт), маргинально |
4. Чего на HF нет (нужно добывать вне HF)
- SMCP (Standard Marine Communication Phrases) IMO — официальный PDF, только ручная обработка.
- IACS / классификационные общества (RS, LR, DNV, CCS) — правила, на сайтах, не датасеты.
- ГОСТ / ISO 20283, ISO 15016 и пр. — терминология, платные/ограниченные.
opus.nlpl.euAPI с этого хоста недоступен (timeout), поэтому OPUS-корпуса брать через HF-зеркалаHelsinki-NLP/*.
5. План сборки датасета (предложение)
- Термин-лист: собрать 3–5k терминов zh/en → ru (судостроение, судовые системы, классификация, порты). Источники: глоссарии выше + ручная вычитка.
- Доменная фильтрация: прогнать opus-100/multiun/ccmatrix по термин-листу + эмбеддинг-близость к «якорному» доменному тексту → получить 50–150k доменных пар.
- Backtranslation: zh/en монолингвальные доменные корпуса (BAAI, Beifengdo, OceanCorpus) → перевод сильной моделью на ru → фильтр COMET/LaBSE + термин-чек.
- SFT-формат: instruction «переведи ZH→RU, сохрани терминологию» + few-shot глоссарий в промпте; 20–40k примеров достаточно для QLoRA 7–9B.
- Eval: wmt20_mlqe_task1 (ru), joefox/newstest zh-ru, PatSnap patent bench (как прокси техстиля) + собственный доменный held-out (200–500 сегментов, вычитанных вручную).