Како преузети и инсталирати Ллама 2 локално

Мета је издала Ллама 2 у лето 2023. Нова верзија Лламе је фино подешена са 40% више токена од оригиналног Ллама модела, удвостручавајући дужину контекста и значајно надмашујући друге доступне моделе отвореног кода. Најбржи и најлакши начин за приступ Ллами 2 је преко АПИ-ја преко онлајн платформе. Међутим, ако желите најбоље искуство, најбоље је инсталирати и учитати Ллама 2 директно на рачунар.

Имајући то на уму, направили смо водич корак по корак о томе како да користите Тект-Генератион-ВебУИ да учитате квантизовани Ллама 2 ЛЛМ локално на ваш рачунар.

Зашто инсталирати Ллама 2 локално

Постоји много разлога зашто људи бирају да директно покрећу Лламу 2. Неки то раде због приватности, неки због прилагођавања, а други због могућности ван мреже. Ако истражујете, фино подешавате или интегришете Ллама 2 за своје пројекте, онда приступ Ллама 2 преко АПИ-ја можда није за вас. Сврха локалног покретања ЛЛМ-а на вашем рачунару је да смањите ослањање на АИ алате треће стране и користите АИ било када и било где, без бриге о цурењу потенцијално осетљивих података компанијама и другим организацијама.

Уз то, почнимо са водичем корак по корак за локално инсталирање Лламе 2.

Да бисмо поједноставили ствари, користићемо програм за инсталацију једним кликом за Тект-Генератион-ВебУИ (програм који се користи за учитавање Ллама 2 са ГУИ). Међутим, да би овај инсталатер радио, потребно је да преузмете алатку за прављење Висуал Студио 2019 и инсталирате неопходне ресурсе.

Преузимање: Висуал Студио 2019 (Бесплатно)

Само напред и преузмите издање софтвера за заједницу.

Сада инсталирајте Висуал Студио 2019, а затим отворите софтвер. Када отворите, означите поље за развој радне површине са Ц++ и притисните инсталл.

Сада када имате инсталиран развој радне површине са Ц++, време је да преузмете програм за инсталацију Тект-Генератион-ВебУИ једним кликом.

Корак 2: Инсталирајте Тект-Генератион-ВебУИ

Тект-Генератион-ВебУИ програм за инсталацију једним кликом је скрипта која аутоматски креира потребне фасцикле и поставља Цонда окружење и све неопходне захтеве за покретање АИ модела.

Да бисте инсталирали скрипту, преузмите програм за инсталацију једним кликом тако што ћете кликнути на Цоде > Довнлоад ЗИП.

Преузимање: Тект-Генератион-ВебУИ Инсталлер (Бесплатно)

Након преузимања, распакујте ЗИП датотеку на жељену локацију, а затим отворите извучену фасциклу.

У оквиру фасцикле, померите се надоле и потражите одговарајући програм за покретање за ваш оперативни систем. Покрените програме двоструким кликом на одговарајућу скрипту.

• Ако користите Виндовс, изаберите старт_виндовс батцх датотеку
• за МацОС, изаберите старт_мацос схелл сцрип
• за Линук, старт_линук схелл скрипта.

Ваш антивирус може да створи упозорење; ово је добро. Промпт је само антивирусни лажно позитиван за покретање батцх датотеке или скрипте. Свеједно кликните на Рун.

Отвориће се терминал и започети подешавање. У почетку, подешавање ће паузирати и питати вас који ГПУ користите. Изаберите одговарајући тип ГПУ-а инсталираног на вашем рачунару и притисните ентер. За оне који немају наменску графичку картицу, изаберите Ништа (желим да покрећем моделе у ЦПУ режиму). Имајте на уму да је рад у ЦПУ режиму много спорији у поређењу са покретањем модела са наменским ГПУ-ом.

Када се подешавање заврши, сада можете локално покренути Тект-Генератион-ВебУИ. То можете учинити отварањем жељеног веб претраживача и уношењем наведене ИП адресе на УРЛ.

ВебУИ је сада спреман за употребу.

Међутим, програм је само учитавач модела. Хајде да преузмемо Ллама 2 за покретање учитавача модела.

Корак 3: Преузмите Ллама 2 модел

Постоји доста ствари које треба узети у обзир када одлучујете која вам је итерација Лламе 2 потребна. То укључује параметре, квантизацију, оптимизацију хардвера, величину и употребу. Све ове информације ће се наћи означене у називу модела.

• Параметри: Број параметара који се користе за обуку модела. Већи параметри чине моделе способнијим, али по цену перформанси.
• Употреба: Може бити стандардна или цхат. Модел ћаскања је оптимизован да се користи као цхатбот као што је ЦхатГПТ, док је стандард подразумевани модел.
• Оптимизација хардвера: Односи се на то који хардвер најбоље покреће модел. ГПТК значи да је модел оптимизован за рад на наменском ГПУ-у, док је ГГМЛ оптимизован за рад на ЦПУ-у.
• Квантизација: Означава прецизност тежина и активација у моделу. За закључивање, прецизност к4 је оптимална.
• Величина: Односи се на величину одређеног модела.

Имајте на уму да неки модели могу бити другачије распоређени и можда чак немају исте врсте приказаних информација. Међутим, ова врста конвенције именовања је прилично уобичајена у библиотеци модела ХуггингФаце, тако да је и даље вредно разумевања.

У овом примеру, модел се може идентификовати као Ллама 2 модел средње величине обучен на 13 милијарди параметара оптимизованих за закључивање ћаскања помоћу наменског ЦПУ-а.

За оне који раде на наменском ГПУ-у, изаберите ГПТК модел, док за оне који користе ЦПУ, изаберите ГГМЛ. Ако желите да разговарате са моделом као што бисте са ЦхатГПТ-ом, изаберите ћаскање, али ако желите да експериментишете са моделом са његовим пуним могућностима, користите стандардни модел. Што се тиче параметара, знајте да ће коришћење већих модела дати боље резултате на рачун перформанси. Лично бих вам препоручио да почнете са 7Б моделом. Што се тиче квантизације, користите к4, јер је само за закључивање.

Преузимање: ГГМЛ (Бесплатно)

Преузимање: ГПТК (Бесплатно)

Сада када знате која итерација Ллама 2 вам је потребна, преузмите модел који желите.

У мом случају, пошто ово користим на ултрабоок-у, користићу ГГМЛ модел фино подешен за ћаскање, ллама-2-7б-цхат-ггмлв3.к4_К_С.бин.

Након што је преузимање завршено, поставите модел у тект-генератион-вебуи-маин > модели.

Сада када сте свој модел преузели и ставили у фасциклу модела, време је да конфигуришете учитавач модела.

Корак 4: Конфигуришите Тект-Генератион-ВебУИ

Сада, хајде да започнемо фазу конфигурације.

Још једном отворите Тект-Генератион-ВебУИ тако што ћете покренути датотеку старт_(ваш ОС) (погледајте претходне кораке изнад).

На картицама које се налазе изнад ГУИ, кликните на Модел. Кликните на дугме за освежавање у падајућем менију модела и изаберите свој модел.

Сада кликните на падајући мени учитавача модела и изаберите АутоГПТК за оне који користе ГТПК модел и цтрансформере за оне који користе ГГМЛ модел. На крају, кликните на Учитај да бисте учитали свој модел.

Да бисте користили модел, отворите картицу Ћаскање и почните да тестирате модел.

Честитамо, успешно сте учитали Ллама2 на ваш локални рачунар!

Испробајте друге ЛЛМ

Сада када знате како да покренете Ллама 2 директно на рачунару користећи Тект-Генератион-ВебУИ, требало би да будете у могућности да покренете и друге ЛЛМ осим Лламе. Само запамтите конвенције именовања модела и да само квантизоване верзије модела (обично к4 прецизности) могу да се учитају на обичне рачунаре. Многи квантизовани ЛЛМ-ови доступни су на ХуггингФаце-у. Ако желите да истражите друге моделе, потражите ТхеБлоке у библиотеци модела ХуггингФаце-а и требало би да пронађете много доступних модела.