Мета је издала Ллама 2 у лето 2023. Нова верзија Лламе је фино подешена са 40% више токена од оригиналног Ллама модела, удвостручавајући дужину контекста и значајно надмашујући друге доступне моделе отвореног кода. Најбржи и најлакши начин за приступ Ллами 2 је преко АПИ-ја преко онлајн платформе. Међутим, ако желите најбоље искуство, најбоље је инсталирати и учитати Ллама 2 директно на рачунар.
Имајући то на уму, направили смо водич корак по корак о томе како да користите Тект-Генератион-ВебУИ да учитате квантизовани Ллама 2 ЛЛМ локално на ваш рачунар.
Преглед садржаја
Зашто инсталирати Ллама 2 локално
Постоји много разлога зашто људи бирају да директно покрећу Лламу 2. Неки то раде због приватности, неки због прилагођавања, а други због могућности ван мреже. Ако истражујете, фино подешавате или интегришете Ллама 2 за своје пројекте, онда приступ Ллама 2 преко АПИ-ја можда није за вас. Сврха локалног покретања ЛЛМ-а на вашем рачунару је да смањите ослањање на АИ алате треће стране и користите АИ било када и било где, без бриге о цурењу потенцијално осетљивих података компанијама и другим организацијама.
Уз то, почнимо са водичем корак по корак за локално инсталирање Лламе 2.
Да бисмо поједноставили ствари, користићемо програм за инсталацију једним кликом за Тект-Генератион-ВебУИ (програм који се користи за учитавање Ллама 2 са ГУИ). Међутим, да би овај инсталатер радио, потребно је да преузмете алатку за прављење Висуал Студио 2019 и инсталирате неопходне ресурсе.
Преузимање: Висуал Студио 2019 (Бесплатно)
Сада када имате инсталиран развој радне површине са Ц++, време је да преузмете програм за инсталацију Тект-Генератион-ВебУИ једним кликом.
Корак 2: Инсталирајте Тект-Генератион-ВебУИ
Тект-Генератион-ВебУИ програм за инсталацију једним кликом је скрипта која аутоматски креира потребне фасцикле и поставља Цонда окружење и све неопходне захтеве за покретање АИ модела.
Да бисте инсталирали скрипту, преузмите програм за инсталацију једним кликом тако што ћете кликнути на Цоде > Довнлоад ЗИП.
Преузимање: Тект-Генератион-ВебУИ Инсталлер (Бесплатно)
- Ако користите Виндовс, изаберите старт_виндовс батцх датотеку
- за МацОС, изаберите старт_мацос схелл сцрип
- за Линук, старт_линук схелл скрипта.
Међутим, програм је само учитавач модела. Хајде да преузмемо Ллама 2 за покретање учитавача модела.
Корак 3: Преузмите Ллама 2 модел
Постоји доста ствари које треба узети у обзир када одлучујете која вам је итерација Лламе 2 потребна. То укључује параметре, квантизацију, оптимизацију хардвера, величину и употребу. Све ове информације ће се наћи означене у називу модела.
- Параметри: Број параметара који се користе за обуку модела. Већи параметри чине моделе способнијим, али по цену перформанси.
- Употреба: Може бити стандардна или цхат. Модел ћаскања је оптимизован да се користи као цхатбот као што је ЦхатГПТ, док је стандард подразумевани модел.
- Оптимизација хардвера: Односи се на то који хардвер најбоље покреће модел. ГПТК значи да је модел оптимизован за рад на наменском ГПУ-у, док је ГГМЛ оптимизован за рад на ЦПУ-у.
- Квантизација: Означава прецизност тежина и активација у моделу. За закључивање, прецизност к4 је оптимална.
- Величина: Односи се на величину одређеног модела.
Имајте на уму да неки модели могу бити другачије распоређени и можда чак немају исте врсте приказаних информација. Међутим, ова врста конвенције именовања је прилично уобичајена у библиотеци модела ХуггингФаце, тако да је и даље вредно разумевања.
У овом примеру, модел се може идентификовати као Ллама 2 модел средње величине обучен на 13 милијарди параметара оптимизованих за закључивање ћаскања помоћу наменског ЦПУ-а.
За оне који раде на наменском ГПУ-у, изаберите ГПТК модел, док за оне који користе ЦПУ, изаберите ГГМЛ. Ако желите да разговарате са моделом као што бисте са ЦхатГПТ-ом, изаберите ћаскање, али ако желите да експериментишете са моделом са његовим пуним могућностима, користите стандардни модел. Што се тиче параметара, знајте да ће коришћење већих модела дати боље резултате на рачун перформанси. Лично бих вам препоручио да почнете са 7Б моделом. Што се тиче квантизације, користите к4, јер је само за закључивање.
Преузимање: ГГМЛ (Бесплатно)
Преузимање: ГПТК (Бесплатно)
Сада када знате која итерација Ллама 2 вам је потребна, преузмите модел који желите.
У мом случају, пошто ово користим на ултрабоок-у, користићу ГГМЛ модел фино подешен за ћаскање, ллама-2-7б-цхат-ггмлв3.к4_К_С.бин.
Након што је преузимање завршено, поставите модел у тект-генератион-вебуи-маин > модели.
Сада када сте свој модел преузели и ставили у фасциклу модела, време је да конфигуришете учитавач модела.
Корак 4: Конфигуришите Тект-Генератион-ВебУИ
Сада, хајде да започнемо фазу конфигурације.
Честитамо, успешно сте учитали Ллама2 на ваш локални рачунар!
Испробајте друге ЛЛМ
Сада када знате како да покренете Ллама 2 директно на рачунару користећи Тект-Генератион-ВебУИ, требало би да будете у могућности да покренете и друге ЛЛМ осим Лламе. Само запамтите конвенције именовања модела и да само квантизоване верзије модела (обично к4 прецизности) могу да се учитају на обичне рачунаре. Многи квантизовани ЛЛМ-ови доступни су на ХуггингФаце-у. Ако желите да истражите друге моделе, потражите ТхеБлоке у библиотеци модела ХуггингФаце-а и требало би да пронађете много доступних модела.