Система позволяет вести беседы подобного типа:
В составе диалогового пайплайна есть следующие модели:
- Интерпретатор на базе ruT5-small
- Chitchat, QA, Instruct устаревшая модель на базе FRED-T5-XL
- Chitchat, QA, Instruct обновленная модель на базе FRED-T5-XL
- Ранжировщик ответов на базе ruBert-base
- Классификатор вопросов на точные и неточные на базе ruBert-tiny2
- Классификатор реплик пользователя на базе ruBert-tiny2
Поисковый пайплайн:
- Эмбеддинг-модель distiluse-multilingual-v1
- Процессор не ниже 4 ядер
- Видеокарта NVIDIA не ниже GTX 1070 и не меньше 8gb видеопамяти
- Не меньше 16gb оперативной памяти
- 6gb дискового пространства Примечание: на процессоре система работает очень медленно!
- Python <= 3.10 >= 3.7
- Git
Скачайте проект на компьютер:
git clone https://github.com/Den4ikAI/Anfice-chatbot.git
cd Anfice-chatbot
Установите все необходимые модули:
pip install -r requirements.txt
Запустите консольный режим:
python3 -m frontend.console_chat
Или telegram-бота:
python3 -m frontend.telegram_bot
FastAPI:
python3 -m frontend.fastapi_api
FastAPI Chat client:
python3 -m frontend.webchat.chat
Токен бота нужно вставить в файл config.py в папке config Первый запуск будет долгим, т.к скачиваются тяжелые языковые модели
- Чит-чат и QA с разметкой по релевантности (старая версия) карточка hf
- Чит-чат (новый) карточка hf
- Новый датасет чит-чата, QA, инструкций уменьшенная версия и расширеная версия
- Ответы на вопросы по тексту карточка на hf
- Датасет hh-rlhf на русском карточка hf
- Датасет инструкций от GPT-4 (не мой) карточка hf
- Деньгами: можно задонатить сюда -> 5336 6901 8807 9984 (сбер)
- GPU: буду рад доступу к GPU с >24gb VRAM
- Предложениями: вы можете написать мне в telegram со своими предложениями развития проекта