AI Portable Tools
A downloadable tool for Windows
This is my collection of portable AI packages to run it fast without anxious headache in console, sort of "Awesome N" repos, but for portables for win. initially, I made these tools for myself, but maybe someone else will need them. All portables can work offline and tested on gtx 1050 ti 4gb(cuda) and core i3 1005g1 (cpu). OK, heres the list:
!!! IF SOMETHING ISN'T WORKING, MAKE SURE THAT PATH TO TOOL DON'T HAVE SPACES OR NON-ENGLISH SYMBOLS !!!
!!! DOWNLOADS ARE BELOW !!!
!!! TO AVOID CUDA OUT OF MEMORY ERRORS, INSTALL NVIDIA DRIVERS 535 OR NEWER !!!
-TEXT-
Koboldai (without models) [CPU/CUDA] - link - also in downloads / online demo 
-CHAT-
Meta-Llama-3.1-8B-Instruct-Q4_K_S koboldcpp webui (can also load mmproj loras to chat with images) [Vulkan/OpenCL/CPU] - in downloads
Mobile AI Distribution (MAID) (same as koboldcpp, but multiplatform win-linux-android) [CPU] - link - also in downloads
-CHAT WITH DOCUMENTS-
LocalGPT Llama2-7b (w/o gui) [CUDA(tokenizing only, chat on cpu)/CPU] - in downloads / source
-TRANSLATE-
Facebook NLLB 600m webui [CPU] - in downloads / source / webui / model / online demo 
-MIDI MUSIC GENERATION-
Midi composer app [CUDA][CPU] - link - also in downloads / source / online demo 
Multitrack midi music generator (generates short jingles, each instrument generated separately) [CPU] - in downloads / webui 
-TEXT TO MUSIC/AUDIO-
Stable Audio Open 1.0 [CUDA/CPU] - in downloads / source / model / online demo 
[this model is in legacy] AudioCraft Plus [CUDA/CPU] - in downloads / source / webui / online demo 
-TEXT TO SPEECH-
Coqui XTTS2 webui (voice cloning is more "stable" than bark, but less artistic) [CUDA/CPU] - in downloads / source / webui 
Suno ai Bark webui (tts is more chaotic than xtts, but if you have patience, you can roll ideal variant) (with zeroshot voice conversion) [CUDA/CPU] - in downloads / source / webui / online demo 
TorToiSe webui (english-only) [CUDA/CPU] - in downloads / source / webui / online demo 
-VOICE CONVERSION VIA TRAINING-
RVC singing voice cloning webui [CUDA] - link - also in downloads / source 
-VOICE ZEROSHOT CONVERSION-
FreeVC webui [CPU] - in downloads / source / webui 
-VOICE TO TEXT-
Whispercpp GUI [DirectX/CPU] - link - also in downloads / source / gui / online demo 
-UNIVERSAL AUDIO RESTORATION-
AudioSR (cli interface) [CUDA/CPU] - in downloads / source 
-VOCALS RESTORATION-
VoiceFixer webui [CPU] - in downloads / source / webui 
-DUAL SPEAKER SPEECH SEPARATION-
Dual Path RNN (w/o gui) [CPU] - in downloads / source 
-STEMS EXTRACTION BY PROMPT-
AudioSep webui [CUDA/CPU] - in downloads / source / webui 
-VOCALS/STEMS EXTRACTION-
UVR [CPU/CUDA] - link - also in downloads / online demo 
Demucs gui [CPU][CUDA] - link - also in downloads / source / gui 
-IMAGE COLORIZATION-
DeOldify .NET gui [CPU] - link - also in downloads / source / gui / online demo 
-ZEROSHOT IMAGE MATTING-
DIS (BRIAAI RMBG 1.4 model) webui [CPU] - in downloads / source / webui / model 
-MONOCULAR-DEPTH-ESTIMATION-
ZoeDepth-webui [CUDA/CPU][CPU] - in downloads / source / webui 
-IMAGE UPSCALING-
real-ESRGAN-gui [Vulkan] - link - also in downloads / source / gui / online demo 
ChaiNNer (supports a LOT of upscaling methods) [CUDA/Vulkan] - link - also in downloads / gui 
Automatic1111 sdwebui with StableSR extension [CUDA/CPU] - in downloads / source / webui / extension 
-IMAGE RELIGHTING-
IC-Light webui [CUDA] - in downloads / source 
-TEXT2IMAGE-
Automatic1111 Stable Diffusion webui base (without models) - link / webui 
Automatic1111 sd-webui deliberate v2 (sd1.5) model [CUDA/CPU][DIRECTX/CPU] - in downloads / source / webui / directx webui / model
lllyasviel sd-webui-forge (faster and less vram usage on nvidia cards) deliberate v2 (sd1.5) model [CUDA] - in downloads / source / model
Automatic1111 sd-webui Illuminati Diffusion (sd2.1) model [CUDA/CPU] - in downloads / source / webui / model
Automatic1111 sd-webui SDXL 1.0 (sdxl) model [CUDA/CPU] - in downloads
/ source / webui / model / refiner
Fooocus (sdxl) [CUDA] - link- also in downloads / source / webui / model / refiner 
ComfyUI (without models) [CUDA/CPU] - link - also in downloads / source / webui 
-IMAGE EDITING BY PROMPT-
Automatic1111 Instructpix2pix (sd1.5) model (you also can download just model and use in default automatic1111 if you want, webui doesnt downloads any other files while loading this one) [DIRECTX/CPU][CUDA/CPU] - in downloads / source / ip2p source / webui / directx webui / model 
-IMAGE TO IMAGE VARIATIONS-
Automatic1111 sd-unclip (sd2.1) model (there is an alternative that works without any models - controlnet reference) [CUDA/CPU] - in downloads / source / webui / model 
-IMAGE EDITING BY CONCEPTS-
LEDITS webui [CUDA/CPU] - in downloads / source / webui 
-OBJECT REMOVING-
lama cleaner [CPU] - in downloads / source / webui / online demo
-VIDEO FRAMES INTERPOLATION-
Flowframes [CUDA/Vulkan] - in downloads / source / gui 
-VIDEO UPSCALING-
RealBasicVSR (cli interface) [CUDA/CPU] - in downloads / source 
-TEXT2VIDEO-
Automatic1111 sdwebui with animatediff extension [CUDA/CPU] - in downloads / source / webui / extension / model / online demo 
-VIDEO HUMAN MATTING-
RobustVideoMatting (w/o gui) [CUDA/CPU] - in downloads / source / online demo
-VIDEO ZERO-SHOT MATTING-
Track-anything webui [CPU] - in downloads / webui / online demo 
-VIDEO FEW-SHOT MATTING VIA TRAINING-
DeepXTools by Iperov [CUDA] - link - also in downloads
-ZERO-SHOT DEEPFAKING-
Roop neurogen mod (Refacer model) (lightning fast, has realtime deepfake on webcam function) (the refacer model swaps faces better than simswap, but have only 128px resolution and may have more artifacts when head is on side) [DirectX/CUDA/CPU] - in downloads / source / webui / mod by 
Deepinsight Refacer gradio webui (replaces only certain faces, has cool face upscale feature) [CUDA] - in downloads / source / webui / mod by 
Simswap (w/o gui) [CUDA/CPU] - in downloads / source
-DEEPFAKING VIA TRAINING-
DeepFaceLab (w/o gui) [DirectX][CUDA] - link - also in downloads / source 
DeepfaceLive [DirectX][CUDA] - link - also in downloads / source 
-LIPS MANIPULATION ON VIDEO-
wav2lip gui [CUDA/CPU] - link - also in downloads / source / gui 
-SINGLE IMAGE To MESH-
TripoSR (outputs is still rough, but better, than shap-e) [CUDA/CPU] - in downloads / source / online demo 
-MESH GENERATION BY IMAGES-
Dust3r webui (one model that does end-to-end photogrammetry, useful when traditional photogrammetry software like metashape dont determines camera positions, but quality may be bad) [CUDA/CPU] - in downloads / source 
-NOVEL VIEWS GENERATION BY IMAGES-
NERFStudio (splatfacto, nerfacto) [CUDA/CPU(cpu is extremely slow,but working)] - in downloads / source 
--------------------------------------------------------------
You can theoretically run these tools on windows 7, jut download this file and place it along with python.exe
--------------------------------------------------------------
Page on github: https://github.com/4eJIoBek1/Portable-AI-Tools
Alternative downloads with torrents on Archive.org: https://archive.org/details/@takeonme1?tab=uploads
Page on civitai: https://civitai.com/models/104609
Download
Install instructions
-unpack the archive
-follow the instructions in instruction.txt
Comments
Log in with itch.io to leave a comment.
Hello,
I was trying to get Hunyuan-3D to work on my computer but unfortunately, I got several errors when installing it.
If possible, can you please give it a try and provide a portable version?
Thank you!
hi, what about new text2video like Pyramid-flow or Allegro ? Can you please submit portable versions ?? thanks for all
Sorry i havent pc that can run it. (Im also too lazy too, i just see 3B in allegro and realizing that its hueg as xbox)
Is there any apps for windows to make a black and white video color?? perferred to use gpu but it doesnt have to
I think no, only if you make it in python. There was colab for video colorization in deoldify https://github.com/jantic/DeOldify
Emmm vegas pro afaik has deoldify as effect, but this is not that you're requested, deoldify is also old
Привет. Сделайте, пожалуйста, оффлайн цпу версию вот этого ХФ спейса: Math Olympiad Solver - a Hugging Face Space by AI-MO Это великолепная математическая 7в ллм-ка и градио-интерфейс для её запуска.
https://huggingface.co/bartowski/NuminaMath-7B-TIR-GGUF
Gguf модельки можно запускать везде, где используется llama.cpp, например koboldcpp
Это необычная ггуф-моделька, для правильной работы она требует особый алгоритм запуска, доступный только в питоновском скрипте. Вот пруф моих слов, на реддите чел пожаловался на неправильную работу этой модели, и опытный айтишник ответил ему:
You should read the kaggle post, this model is meant to be run in a certain way where you stop after each code generation, run the code and append the output / errors and then re-run for a set number of passes. Then extract the final answer.
Here is the discussion link - https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/discussion/519303
Я и сам попробовал запустить ггуф этой модели с помощью llama-cli, результат таков: математическое описание решения задачи сильно укорочено и содержит ошибки, но запуск сгенерированного моделькой питоновского скрипта отображает верный ответ на математическую задачу. Когда же ставишь ту же задачу перед хф спейсом, он справляется на пятёрку с плюсом: выдаёт подробное решение без ошибок и питоновский скрипт решения задачи не только отображается в градио, но и сам запускается на выполнение. Поэтому я и обратился к Вам с просьбой сделать портабельную версию этого хф спейса. Koboldcpp не подходит для работы с этой моделью.
Ладно, меня раскусили, я просто очень ленивая жопа. Но разве ллмка, которую обучили одному таску так нужна, чтобы прям портабельку делать?
Это лучшая математическая ллм-ка, она реально может решать задачи из школьных учебников после гугловского перевода на английский, до этого таких ллм-ок не было.
Я не тороплю, лето на дворе: отдыхайте на здоровье, Вы как никто другой заслужили отдых, потому что сделали много полезных сборок. Просто надеюсь, что, скажем, в сентябре Вы всё-таки соберёте эту портабельку.)) Вообще говоря, я ещё в дискорде Пинокио подал заявку на локальное портирование этого хф спейса, но тамошний главный сборщик пока не откликнулся...
Один кодер посоветовал мне использовать chatllm.cpp (альтернатива llama.cpp) для локальной работы с NuminaMath, вот инструкция: chatllm.cpp/docs/tool_calling.md at master · foldl/chatllm.cpp (github.com)
Is it possible to make portable copies on Linux? I tried, but it kept trying to use the version of Python installed to my system.
Would love to have a portable copy of Stable Diffusion for Linux! 🐧
I havent used linux as while as win, if you want, you can create your own by using https://github.com/Kron4ek/Conty
Also, someone created portable sd for linux https://github.com/Shedou/Neuro/tree/main/SD_WEBUI_Neuro_Linux, but i havent tested it and dont know anything about it
Thanks a ton for these links! Definitely gonna check these out! 👍
На ХФ опубликовали ИИ генератор музыки, сделанный на ЯваСкрипте:
MusicGen Web - a Hugging Face Space by Xenova
Код: https://github.com/xenova/transformers.js/tree/v3/examples/musicgen-web
Как его запустить на локальном пк/ноутбуке? Я скачал исходники с гитхаба и исходники с ХФ. Пробовал запускать оба варианта (открывал index.html в браузере), но в обоих случаях в браузере отображалась пустая страница.
Там разработчик ещё саму модель подгрузил на ХФ и дал образец кода для запуска, но это не питон и не ванильный ЯваСкрипт, как его инкапсулировать в хтмл непонятно:
Xenova/musicgen-small · Hugging Face
Кажется, удалось найти вариант, который можно запускать оффлайн: flatsiedatsie/transformers_js_musicgen (github.com)
UPDATE: Увы, тоже не работает...
Это же тот же musicgen с 30 секундным окном внимания, что и был, но с другим бэкэндом
А я всё жду опенсорсную stableaudio 90s от harmonai (или как там они его называют), они чет уже год вае какой-то свой резерчат
Появилась ещё одна конкурентка Кобольд.срр (помимо Мейд, которая уже есть в Вашей коллекции). Называется Ева. Сделана на С , маленькая, быстрая. Кроме общения с ИИ Ева также умеет рисовать картинки по запросу (на основе стейбл-диффьюжн.срр) и преобразовывать речь в текст (использует встроенный уиспер.срр) Ещё в Еве вроде как есть синтез речи (но как его использовать пока не разобрался). Версии для цпу и гпу:
https://github.com/ylsdamxssjxxdd/eva/releases/download/b2636/eva-b2636-64bit.ex..., https://github.com/ylsdamxssjxxdd/eva/releases/download/b2636/eva-b2636-cuda.exe
Прикольно, но чем плох кобольдцпп, тем, что не может транскрибировать аудио? Картинки он тоже умеет делать. Ну и интерфейс там конечно в лучших китайских традициях дориматокинаватойотацивикхондааккордмицубишилансердогиракиролтон
Thank you for all this powerfull softwares ! I have a problem with
LocalGPT Llama2-7b (w/o gui) [CUDA(tokenizing only, chat on cpu)/CPU]
i launch the first .bat to ingest a document (a pdf in folder SOURCE_DOCUMENTS)., a message shows loading document... and that's all ! console command is not freezed but nothing seems to work, i wait some hours...
so i launch the last .bat to start localgpt, i have errors :
"
CUDA extension not installed.
CUDA extension not installed.
2024-03-27 10:54:55,908 - INFO - run_localGPT.py:244 - Running on: cuda
2024-03-27 10:54:55,908 - INFO - run_localGPT.py:245 - Display Source Documents set to: False
2024-03-27 10:54:55,909 - INFO - run_localGPT.py:246 - Use history set to: False
2024-03-27 10:54:57,360 - INFO - SentenceTransformer.py:66 - Load pretrained SentenceTransformer: hkunlp/instructor-large
load INSTRUCTOR_Transformer
D:\LocalGPT\miniconda3\lib\site-packages\torch\_utils.py:776: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly. To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage()
return self.fget.__get__(instance, owner)()
max_seq_length 512
2024-03-27 10:55:00,011 - INFO - run_localGPT.py:132 - Loaded embeddings from hkunlp/instructor-large
2024-03-27 10:55:00,260 - INFO - run_localGPT.py:60 - Loading Model: TheBloke/Llama-2-7b-Chat-GGUF, on: cuda
2024-03-27 10:55:00,260 - INFO - run_localGPT.py:61 - This action can take a few minutes!
2024-03-27 10:55:00,262 - INFO - load_models.py:38 - Using Llamacpp for GGUF/GGML quantized models
Traceback (most recent call last):
File "D:\LocalGPT\localGPT\run_localGPT.py", line 285, in <module>
main()
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1157, in __call__
return self.main(*args, **kwargs)
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1078, in main
rv = self.invoke(ctx)
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1434, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 783, in invoke
return __callback(*args, **kwargs)
File "D:\LocalGPT\localGPT\run_localGPT.py", line 252, in main
qa = retrieval_qa_pipline(device_type, use_history, promptTemplate_type=model_type)
File "D:\LocalGPT\localGPT\run_localGPT.py", line 142, in retrieval_qa_pipline
llm = load_model(device_type, model_id=MODEL_ID, model_basename=MODEL_BASENAME, LOGGING=logging)
File "D:\LocalGPT\localGPT\run_localGPT.py", line 65, in load_model
llm = load_quantized_model_gguf_ggml(model_id, model_basename, device_type, LOGGING)
File "D:\LocalGPT\localGPT\load_models.py", line 56, in load_quantized_model_gguf_ggml
return LlamaCpp(**kwargs)
File "D:\LocalGPT\miniconda3\lib\site-packages\langchain\load\serializable.py", line 74, in __init__
super().__init__(**kwargs)
File "pydantic\main.py", line 341, in pydantic.main.BaseModel.__init__
pydantic.error_wrappers.ValidationError: 1 validation error for LlamaCpp
__root__
Could not load Llama model from path: ./models\models--TheBloke--Llama-2-7b-Chat-GGUF\snapshots\191239b3e26b2882fb562ffccdd1cf0f65402adb\llama-2-7b-chat.Q4_K_M.gguf. Received error [WinError -1073741795] Windows Error 0xc000001d (type=value_error)
"
can you help me ? i have 3060 RTX and Xeon E5 with 64 GB RAM?
thank you for all.
localgpt for some reasons dont accepts all documents, on some it stucks and dont works, i dont know how to fix that and yes, this is annoying.
your llama.cpp dont works in 2 bat bcause you are trying to run llama on cuda, when cublas doesnt exist in repack because cpu is enough. To fix that, add set CUDA_VISIBLE_DEVICES=-1 in bat file. Soon ill reupload it with this fix
thank you a lot for your answer. i will try the new version.
When i ingest a document (constitution.pdf from localgpt github) , i don't have error, but it seems to be stucked after the message loaded, the cursor blinked but nothing else...
ingest.py:147 - Loading documents from D:\LocalGPT\localGPT/SOURCE_DOCUMENTS
Importing: constitution.pdf
D:\LocalGPT\localGPT/SOURCE_DOCUMENTS\constitution.pdf loaded.
So, i run the second bat, here i have a error :
CUDA extension not installed.
CUDA extension not installed.
2024-05-02 06:37:16,651 - INFO - run_localGPT.py:244 - Running on: cpu
2024-05-02 06:37:16,652 - INFO - run_localGPT.py:245 - Display Source Documents set to: False
2024-05-02 06:37:16,652 - INFO - run_localGPT.py:246 - Use history set to: False
2024-05-02 06:37:18,572 - INFO - SentenceTransformer.py:66 - Load pretrained SentenceTransformer: hkunlp/instructor-large
load INSTRUCTOR_Transformer
D:\LocalGPT\miniconda3\lib\site-packages\torch\_utils.py:776: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly. To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage()
return self.fget.__get__(instance, owner)()
max_seq_length 512
2024-05-02 06:37:21,224 - INFO - run_localGPT.py:132 - Loaded embeddings from hkunlp/instructor-large
2024-05-02 06:37:21,655 - INFO - run_localGPT.py:60 - Loading Model: TheBloke/Llama-2-7b-Chat-GGUF, on: cpu
2024-05-02 06:37:21,655 - INFO - run_localGPT.py:61 - This action can take a few minutes!
2024-05-02 06:37:21,656 - INFO - load_models.py:38 - Using Llamacpp for GGUF/GGML quantized models
Traceback (most recent call last):
File "D:\LocalGPT\localGPT\run_localGPT.py", line 285, in <module>
main()
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1157, in __call__
return self.main(*args, **kwargs)
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1078, in main
rv = self.invoke(ctx)
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1434, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 783, in invoke
return __callback(*args, **kwargs)
File "D:\LocalGPT\localGPT\run_localGPT.py", line 252, in main
qa = retrieval_qa_pipline(device_type, use_history, promptTemplate_type=model_type)
File "D:\LocalGPT\localGPT\run_localGPT.py", line 142, in retrieval_qa_pipline
llm = load_model(device_type, model_id=MODEL_ID, model_basename=MODEL_BASENAME, LOGGING=logging)
File "D:\LocalGPT\localGPT\run_localGPT.py", line 65, in load_model
llm = load_quantized_model_gguf_ggml(model_id, model_basename, device_type, LOGGING)
File "D:\LocalGPT\localGPT\load_models.py", line 56, in load_quantized_model_gguf_ggml
return LlamaCpp(**kwargs)
File "D:\LocalGPT\miniconda3\lib\site-packages\langchain\load\serializable.py", line 74, in __init__
super().__init__(**kwargs)
File "pydantic\main.py", line 341, in pydantic.main.BaseModel.__init__
pydantic.error_wrappers.ValidationError: 1 validation error for LlamaCpp
__root__
Could not load Llama model from path: ./models\models--TheBloke--Llama-2-7b-Chat-GGUF\snapshots\191239b3e26b2882fb562ffccdd1cf0f65402adb\llama-2-7b-chat.Q4_K_M.gguf. Received error [WinError -1073741795] Windows Error 0xc000001d (type=value_error)
Please help me, i really want / need this localgpt to work !, thank you for all
Localgpt is buggy and extremely unstable, so:
1) create small .txt file with some text and try to ingest, transformating big document into tokens can be REALLY long and i havent tested it cause ima lazy shit
2) try to 2) .bat file and replace paths to llama model into absolute paths (right click on ggml file and click copy path to file and paste this path without quotemarks)
This may help i think
Hi, thank you for your answer !
i unzip your localgpt archive to d:\localgpt\
that's ok to ingest a little txt file, it's works !
But it seems i have the same error with i launch 2.bat.
I edit the 2.bat and at the line "set PATH=", i add to the end my path, so i have :
set PATH=C:\Windows\system32;C:\Windows;%DIR%\git\bin;%DIR%;%DIR%\Scripts;D:\LocalGPT\localGPT\models\models--TheBloke--Llama-2-7b-Chat-GGUF\snapshots\191239b3e26b2882fb562ffccdd1cf0f65402adb;
but i have " Could not load Llama model from path: ./models\models--TheBloke--Llama-2-7b-Chat-GGUF\snapshots\191239b3e26b2882fb562ffccdd1cf0f65402adb\llama-2-7b-chat.Q4_K_M.gguf. Received error [WinError -1073741795] Windows Error 0xc000001d (type=value_error)"
i don't understand where is the problem ! i delete the folder models--TheBloke--Llama-2-7b-Chat-GGUF\snapshots\191239b3e26b2882fb562ffccdd1cf0f65402adb\llama-2-7b-chat.Q4_K_M.gguf and 2.bat re download the model (create folders and sub folders correctly) but there is alway the same error when trying to load model !
Please help.
Thank you for all, and sorry to be too noob !
Ummm, try to load it from c: drive, not d:, maybe it ll works but it worked fine in all locations on my pc
Была такая программа Amuse, она с помощью комбинации технологий: DirectML и ONNX могла при использовании модели SD Turbo генерить картинки за 9-10 секунд даже на слабой бюджетной встройке АМД. Но потом у кодера случилась депрессия/весеннее обострение/или что-то ещё и он удалил Амьюз с гитхаба. У меня на компе сохранился архив с этой полезной прогой, решил поделиться: https://www.dropbox.com/scl/fi/5w0eycv8c2gtdvgs8f1pm/Amuse_v1.3.0.zip?rlkey=8ptq...
Я потестил и вышло оч странно. На 1050 4 гига амьюз делает 512x512 20 шагов аж за 4 минуты на оннх модельке, на оливке ровно минута, ккогда как sdwebui-directml с --medvram флажком тратит чуть больше 40 секунд, при этом врама тратится плюс минус одинаково. На картофельной встройке интела корi3 оно вообще отказалось запускаться, всмысле рядом с моделькой были крестики эти. Я ведь наверное что-то не так делаю, да? Можете провести тесты со своим амьюзом и сдвебуидиректмлом на скорость и врам, а то я походу где-то чето не так сделал видимо. Кстати, оч странная механика подгружания моделек в гуй, я не могу загрузить кастомную модельку, мне пришлось грузить олив версию сд1.5, как совершенно другую, по моему чёт фигня какая-то (.
У меня встройка АМД Вега 7 на бюджетном ноутбучном проце Райзен 7 4700у, выпущенном 4 года тому назад. Важно использовать модель СД-Турбо, она рисует картинку 512х512 менее чем за 10 секунд. Неуверен, что смогу запустить что-либо в сд-веб-уи, так как браузерные гуи и памяти отъедают ого-го, и работают медленнее, и модели для них (не онниксовая СД-турбо, а стандартные) больше весят. В моём распоряжении всего-то 16 гб ДДР4. 11-я винда после всех оптимизаций минимум два гига отнимает. Поэтому я всё время нахожусь в поиске нейросетей для слабых пк. Запустил сейчас Амьюз, дал запрос "a cat in a park, sunglasses", и рисунок был готов за 8,87 секунды! Пруф (см. правый нижний угол скриншота):
Скрин настроек проги:
Скрин настроек модели:
SD-turbo это lcm, а у лцмов падает умность модельки и иногда консистентность и детализация на сложных для нейронки штуках, например людях и это не всегда хорошо, серьёзно. насчёт теста в сдвебуи. Смотри, попробуй скачать вот это, и закинь вот эту лору в папку с лорами (models/lora). При генерации используй эту лору (её можно с любыми модельками), кфг скейл поставь 1.5, 4 шага, семплер euler и замерь скорость генерации картинки на максимально рабочей конфигурации (сначала через просто start.bat, если не работает то start medvram и потом start lowvram). Я уверен, что скорость не будет сильно разниться, а возможностей у автоматика намного больше, плюс здесь используется стандартный формат моделек, который везде есть, а я нашёл в олив
ье только стандартный sd1.5Потестил на низкой "видеопамяти". Встройка берёт себе память из ОЗУ. Итог: браузерное веб-уи ядро питона делибирэйт лора ос = 11,4-12 гб озу, т.е пробовать среднюю загрузку "видеопамяти", наверное, можно и не пытаться, так как она будет близка к 15,4 гб (максимально доступная память для 16 гигов физической памяти на двух плашках). Во время теста возник вопрос: какой вес должен быть у лоры, ну тот, который в промте в угловых скобках цифрой после двоеточия указывается? Картинка рисуется за тридцать секунд, но цвета фона едкие, кислотные, вырвиглазные, сам фон замылен, морда кота периодически бывает искорёжена.
Hello, is it possible to include Text-Generation-WebUI? And if so, could you show me the process of packaging the application? How do you do it?
If needed, send me an email to [email protected] as I don't check itch.io often.
Thanks!
It already has automatic installer(your folder with this webui will be portable), just download repo, run setup-windows.bat and it will be done. Text generation webui is supporting alot of backends, that make it modular and not too suitable to make portable of it. If you want something really "portable", use llama.cpp. Or ima just a lazy to do it, ya(.
>could you show me the process of packaging the application?
I have a rough "toolkit" of it on huggingface (link) with also rough instructions in it. In short the process consists of:
-cloning repo from github or huggingface demo (yes you can clone and run it locally)
-pip installing all repository requirements (open miniconda3/scripts/start.bat in cmd, this will open miniconda)
-then little rewriting .bat file to run exact .py file that will be launch something you want and adding some things that repo need to be set, such as environment variables or smth. This bat file is stolen from various other .bats (basically from one that was in automatic1111 portable) and sets your path(folder where you can execute .exes just by typing its name, not needed to type its full path), user folder, appdata folder, python folder, huggingface cache folder and other folders that needs to be placed deeply in your computer as paths inside the miniconda3 folder, that makes it portable. If you open each .bat, i created rough description of what each section does.
-testing it and packing in .7z
You can theoretically make a portable of any program, that is have dependeces of some unix hell packages, like this one or this. If your program is written and compiled for windows, in 95% it just dont needs an installer lol, you can just pack your skyrim folder and here it is, portable skyrim.
Доброго времени суток. Тут вышел новый питоновский гуи, который существенно ускоряет генерацию картинок. На мощном процессоре картинка 512х512 создаётся всего за 10 секунд. Ссылка: rupeshs/fastsdcpu: Fast stable diffusion CPU (github.com) И всё было бы хорошо, если бы не эта ошибка:
Поэтому вся надежда на Вас, уважаемый gz1k.
чёт почувствовал себя доном карлеоне :3. Ща попробую собрать. Я кстати, не пробовал делать портабельки микромамбой, вместо этого берётся просто миниконда, она оказывается сама по себе тоже портабельная https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/resolve/main/п�%8...
лол, у него в батнике прям написано micromamba activate "%~dp0env\envs\fastsd-env" && python "%~dp0main.py"
т.е. ему надо чёрным по белому микромамба, хотя по логике там любой питон подойдёт
АААА бля это не просто сд, а дистилированный в consistency model чтобы мало степов делать, охуеть
правда результаты отличаются от ванильного сд в худшую сторону
latent consistency model
просто дримшейпер
но да, lcm действительно оч быстрый, всего 23 секунды на моём цпу против 5 минут на обычной pytorch имплементации в автоматике
готово https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/blob/main/fastsdcpu[ex...
но здесь работает только openvino, тк она быстрее раза в три и на большинстве новых цпу поддерживается. А ещё эта портабелька почему-то не может без интернета, я пытался, но отвязать её не получилось.
Ура, заработало! Спасибо! Чуть позже попрошу автора программы, чтобы он сделал оффлайн-версию. Будем надеяться, что согласится.
Разработчик добавил оффлайн-режим.
Whenever I try to run Shap-E, it always just opens in the browser and loads forever? I have tried CUDA, and CPU. What am I doing wrong? 🤔
(I have a GTX 1050Ti and a i5-3550.)
seems like variables HF_DATASETS_OFFLINE, TRANSFORMERS_OFFLINE and DIFFUSERS_OFFLINE=1 for some strange reason brokes loading of exact this one webui lol, i removed them and replaced with another variable that makes webui works offline, so you can redownload it. let me know if it really works.
You also can make your portable work without downloading these 6gb twice, just open miniconda3/scripts/activate.bat in console and type
conda env config vars set HF_DATASETS_OFFLINE=0 TRANSFORMERS_OFFLINE=0 DIFFUSERS_OFFLINE=0 GRADIO_ANALYTICS_ENABLED=0
Okay I needed to open the activate.bat in cmd and type in what you said correct? It said that to save changes, I needed to reactivate my environment, so I closed the cmd, and restarted my PC, but the loading screen is still endless. Did I do something wrong? 😅
No, you did everything correct... Idk, maybe if you just redownload it (Link) everything will work correct.
I will try, but my internet is very slow. (Like 50kbps kind of slow.) So it may take me awhile, but I'll let you know if it fixes the issue.
I finally redownloaded it, and everything works as it should! Thanks so much for the help! 👍
lol ok 🤗
Ссылка на архив.орг больше не открывает список рар-ов с нейросетями.
Они как я понял чёто временно сломали и профили почему-то не отображаются у всех юзеров. Ну, это особо не проблема, архив это не основной хост для загрузок
Профили на архиве снова заработали
Синтезатор речи для более чем 1100 языков: fairseq/examples/mms at main · facebookresearch/fairseq · GitHub Все языки скачивать нет смысла, но сам движок наверняка можно заставить работать локально.
Без вебгуя пользоваться такой штукой будет немного боль, есть таковой только для транскрибации(и я не уверен, работает ли он)https://huggingface.co/spaces/GreenRaptor/MMS , а для ттс надо писать батники походу(либо делать всё через юпитер, благо тут блокнотик естьhttps://colab.research.google.com/github/facebookresearch/fairseq/blob/main/exam...) Я эту штуку пытался запустить неделю назад, но она так и не заработала, щас там много чего поисправляли, так что как-нибудь обязательно попробую запустить.
я знал изначально, что STT у ммса был такой себе, а ттс только сейчас потыкал, он вот такой:
это на уровне говорилки, камон
думаю связка bark voicefixer whisper будет весить меньше и результат выдаст лучше
Появился вебгуй https://huggingface.co/spaces/mms-meta/MMS, можно потыкать, но опять же я оч сомневаюсь, что надо делать портабельку
Это уникальный ттс, там множество редких языков, определённо надо делать!))
Короче на следующей неделе думаю запилю
Новый ИИ, меняющий фотографии: Zeqiang-Lai/DragGAN: Online Demo and Implementation of DragGAN - "Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold" （DragGAN 全功能实现，在线Demo，本地部署试用，代码、模型已全部开源，支持Windows, macOS, Linux） (github.com) Возможно его в архив упаковать?
О, кто-то код запилил, спасибо огромное, сегодня вечером попробую запустить и упаковать
запускается и работает и на куде и на цпу, но на цпу отказывается импортировать свою картинку, я ишшью конечно написал на гитхабе, но хз, сколько времени уйдёт в целом на то, чтобы эта фича норм заработала. на куде надо 6 гб врама минимум, так что если есть столько, то вот временный билд: https://dropmefiles.com/LvErf Двигание сгенерированных картинок из латента на цпу работает, если что, плюс тут ещё пока нет модельки с imagenet (широкий охват тем картинок, а не только лица/коты) и я её не тестил.
Спасибо. Попробую на цпу запустить. У меня нет видеокарты, только встройка.
С ДропМиФайлз почему-то не скачивается.
а, это я смешарик, не загрузил, я нашёл другой вебгуй, на котором всё работает https://huggingface.co/spaces/wuutiing2/DragGAN_pytorch и оказалось, что кастомные картинки оно кодирует не оч, не думаю, что в таком случае драгган кому-нибудь нужен. Если что, то это стайлган-штука, которая изменяет НЕ фотографии, а значения в латенте стайлгана, т.е. сгенерированные стайлганом картинки
Здравствуйте. Большое спасибо за Вашу сборку полезных нейросетей. Подскажите, пожалуйста: как установить Nllb 600m Translator на Windows?
там немного муторно и без графического интерфейса, хотя он есть (https://huggingface.co/spaces/Geonmo/nllb-translation-demo), если надо, то мне не сложно сделать архивчик с гуем
-надо поставить миниконду, устанавливать всем пользователям или делать основным питоном не обязательно
-потом надо переместить содержимое папки miniconda3 в свою миниконду с заменой
- потом переместить .cache в папку пользователя (там модельки)
-потом зайти в anaconda prompt (miniconda3)
-cd *здесь путь до папки, где лежит inference.ipynb, можно просто перетащить папку в окно консоли*
- python -m notebook
-откроется окошко браузера с юпайтером. надо открыть этот самый inference.ipynb и там запускаем все ячейки и всё должно заработать
Но вообще лучше я на днях переделаю с граф. интерфейсом
Благодарю за ответ. Стало немного понятнее (читал английскую инструкцию в txt-файле из архива с нллб, но опыта работы с питоном у меня нет, поэтому полностью разобраться в ней не получилось). Про онлайн-демку на хагингфейс знаю, я написал её админу с просьбой помочь мне разобраться в том, как установить оффлайн версию, но он лишь посоветовал мне изучать питон. Также на гитхабе нашёл страницу авторов нллб и там в разделе решения проблем задал тот же вопрос, ответа пока не последовало. Оставалось только продолжать гуглить, что я и сделал и в итоге нашёл вот этот проект: https://github.com/thammegowda/nllb-serve Сделал всё по приведённой там инструкции и переводчик наконец-то заработал в браузере (открывается на 6060 порте локалхоста), причём особенно радует то, что он может работать оффлайн (отключал вай-фай, чтобы проверить). Не знаю, будете ли Вы делать гуи-сборку нллб, используя установочный пакет с той странички, которую я дал выше, или, возможно, Вы знаете какой-то другой гуи-дистрибутив, но, думаю, люди будут Вам благодарны, потому что с миникондой и юпитером действительно как-то заморочно получается, имхо.
короче я немного подумал и сделал батник, чтобы запускать всякие вебгуйки на градио однокнопочно, теперь nllb, point-e, freevc, track-anything(ну, почти) и shap-e запускаются просто с тыканья по батнику.
Архив с Shap-e вроде как старый остался, от 6-го мая. Спасибо, что упростили установку, благодарствую. Раз уж Вы делаете доброе дело, то, может быть, имеет смысл собрать в одном месте и другие нейросети, которые можно установить на ПК? Gpt4all, Alpaca Electron, Faraday.dev, Freedomgpt - это только то, что касается бесед с ии, да и то это далеко неполный список. А ведь наверняка существует немало похожих программ и по работе с изображениями, звуком, видео, программным кодом, синтезом речи и т.д. Простым пользователям бывает сложно найти их в огромном массиве англоязычной информации по данной теме, приходится тратить уйму времени пока среди кучи онлайн версий удаётся-таки найти сборку для автономной работы на цпу.
Все альпакогуи основываются на консольном экзешнике llama.cpp, а значит все используют формат моделей ggml. Koboldcpp имхо самое удобное сейчас, что есть для ggml, плюс он мало весит. Из современных альпак самая лучшая сейчас это wizardLM (есть даже uncensored версия, которая никогда не откажет в ответе и вроде такая же умная), но она галлюцинирует иногда. И ещё есть vicuna 1.1, которая галлюцинирует поменьше (хотя мб это я сам себе галлюцинирую и у обоих всё збс, но визард плохо умеет в мультиязычность). Викуна с koboldcpp в загрузках есть, wizardlm с тем же гуем будет скоро, а остальной шлак, делающий то же самое, не думаю, что будет полезен. Для видео/картинок то же самое примерно получается, вот например есть vladmandic/automatic, automatic1111 и invokeai, они в целом выполняют одну функцию, но не выкладывать же теперь их все три, так что лучше будет меньше хлама и всё норм работающее (кроме point-e, он не оч)
post on something else, mega is shit
you can also download tools from archive.org without limits https://archive.org/details/@takeonme1?tab=uploads
thank you so much
Thank you so much for this! I couldn't get AUTOMATIC1111 to install correctly for the life of me! This saved me so much time! Really made my week! Thanks a ton! 😊