После поражения от Красной Армии многие политические деятели этих партий и боевики национальных частей оказались в эмиграции. Немалая часть из них, осев в Германии, связывала последние надежды на возвращение на родину с германским фашизмом.
После начала войны с Советским Союзом гитлеровское руководство, не давая согласия на образование национальных правительств, к чему стремились закавказские националисты-эмигранты, тем не менее одобрило программу формирования национальных подразделений и частей из числа эмигрантов и военнопленных. Ускорил принятие этого решения провал политики «блицкрига» на Востоке и перспектива длительной войны с Советским Союзом.
Командование вермахта приступило к активной работе по формированию батальонов из различных национальностей Советского Союза с лета 1941 года. Происходило это следующим образом. Из лагерей советских военнопленных «подходящий» человеческий материал направлялся на сборные пункты, чаще всего в с. Веньяминов (близ Варшавы), откуда затем они рассылались в различные формировочные пункты.
В 30 км восточнее Варшавы в местечке Весело, начиная с лета 1942 года, начал действовать специально созданный штаб по формированию батальонов из кавказских национальностей. Позже, в октябре 1943 года здесь же начал действовать штаб по формированию батальонов из прибалтийских национальностей. Штаб возглавляли представители немецкого командования.
В частности, из грузин была предпринята попытка сформировать отдельный полк под названием «Георгиен легион» («Грузинский легион»). 14 мая 1942 года в лагерь по формированию, расположенный в местечке Кручина на территории Польши, прибыл из Берлина эмигрант Тогонидзе, одетый в немецкую военную форму. Вместе с ним было еще несколько кавказцев. На наскоро собранном митинге Тогонидзе заявил следующее: «Кавказ будет занят немецкими войсками до осени. Наша задача организовать грузинские военные части, чтобы вместе с немцами вступить в Грузию. Мы пойдем туда с нашим национальным знаменем».
Сформировать полк на базе Грузинского легиона, однако, не удалось. Легион принял форму усиленного батальона, в составе 4 рот.
В ходе обучения легионеров немцы стремились поддерживать строгий, если не жестокий, порядок. Провинившихся при полной выкладке и в противогазе заставляли выполнять команды «Бегом», «Ложись», «Встать». Нередко их заставляли влезать на дерево и на ветке стоять по стойке «смирно». Многие, не выдержав, падали вниз. Активно применялся и метод круговой поруки, когда за проступок одного солдата несла ответственность вся рота. Так было в каждой национальной части.
Тех же, кто хорошо справлялся со своими обязанностями, стремились поощрять. В мае 1942 года для легионеров-отличников была организована даже специальная поездка в Берлин. От каждого национального батальона выделялось по 4 человека. Вот как описывает эту поездку перебежавший позже на сторону советских войск солдат Грузинского легиона А. Какавадзе:
«10 мая я с тремя товарищами из грузинского батальона был отправлен в Варшаву, откуда в специальном вагоне мы выехали в Берлин. 11 мая в 4 утра мы прибыли в Берлин. До 8 часов утра нас из вагона не выпускали, заставляя привести себя в порядок. К 8 часам утра на перроне вокзала был выстроен почетный караул — до одного батальона с духовым оркестром. Ровно в 8 оркестр заиграл марш. В этот момент нас выпустили из вагона, и мы направились по перрону мимо почетного караула. Навстречу нам шли Геринг и эмигрант Робакидзе. Оба они нас приветствовали и выступили с краткими речами. Робакидзе в своем выступлении сказал о том, что немецкое командование приняло нас в состав германских вооруженных сил, что является для нас большой честью, и нужно помочь немецкой армии освободить Грузию от большевиков. Робакидзе говорил на грузинском языке. Геринг в своем выступлении говорил то же, что и Робакидзе, только добавил, что нужно прогнать из Грузии, кроме большевиков, также и жидов... В Берлине мы пробыли до 10 июня. За это время нас водили в кино, театры, музеи, показывали достопримечательности города. Кроме того, возили на завод Круппа в Берлине и на ряд других заводов.
23 мая в 10 часов нас всех собрали в клубе при гостинице. Сюда приехал Гитлер в сопровождении Геринга и 12 генералов. Гитлер выступил с 15-минутой речью, в которой призывал нас помочь немецкой армии в «освобождении» Кавказа от большевиков. Выступление Гитлера было дословно переведено на русский язык, перепечатано и роздано каждому из нас. 10 июня мы выехали из Берлина».
Однако в целом отношения между грузинами и немцами складывались явно несоюзнические. К примеру, в столовую для немецких солдат грузин не пускали.
В октябре 1942 года легион был отправлен на боевые позиции в районы Алтуд, Майская, Котляревская. После того как в декабре 1942 года батальон был переброшен в район Ново-Полтавское (хутор Баксанский), командир 3-й роты Грузинского легиона послал 3 легионеров с обращением к командиру советской 383-й стрелковой дивизии, в котором говорилось о намерении легионеров перейти на сторону Красной Армии. Через несколько дней около 80 солдат и офицеров из двух рот легиона перешло на сторону советских войск. Немцы усилили контроль за действиями легиона и в конце концов в результате предательства узнали об еще одном готовящемся переходе легионеров. Утром 10 октября немецкое командование подтянуло к позициям легиона два батальона немецкой пехоты и артиллерию. В ходе боя грузины были обезоружены и отправлены в лагерь для военнопленных в Крупно-Ульяновское, где немецкий полевой суд приговорил организаторов перехода к расстрелу.
Тем не менее немцы все же эпизодически использовали грузинских военнопленных, особенно в ходе боевых действий на Кавказском хребте. Так, 80 грузин, прошедших специальную подготовку в Германии, были включены в состав отдельной альпийской роты немцев.
На территории Польши был сформирован и так называемый «Кавказский батальон легионеров», который набирался, часто в принудительном порядке, из числа военнопленных — чеченцев, аварцев, ингушей, кабардинцев, черкесов, осетин и представителей других кавказских народностей.
Кавказский батальон в составе 5 рот летом 1942 года был направлен на позиции в районе г. Моздок. В сентябре 1942 года батальон занял оборону в районе реки Терек, около ст. Ищерская. В январе 1943 года 925-й кавказский батальон оказался в районе Звенигородка в полосе действия советской 5-й танковой армии.
В свою очередь из азербайджанцев был сформирован так называемый Коктебельский добровольческий батальон, летом 1942 года направленный в окрестности г. Феодосия. Здесь добровольческие подразделения общей численностью до 6 тыс. человек охраняли Феодосийскую береговую зону.
В мае 1942 года в г. Радоме (Польша) был сформирован 1-й батальон Армянского легиона. В целом Армянский легион должен был состоять из трех батальонов.
В конце августа 1942 года первый сформированный Армянский батальон прибыл на Восточный фронт в район Майкопа.
В июне 1943 года один из батальонов, сформированный из чувашей и марийцев, был отправлен для несения охранной и вспомогательной службы во Францию.
Туркестанский легион в составе 7 батальонов начал формироваться в июле — августе 1942 года в другом крупном. центре подготовки национальных подразделений, размещенном в лагерях городов Ромны, Прилуки и села Ладна (18 км от Прилук).
Затем будущие легионеры были переведены в учебные центры, размещенные на территории Польши. Всего было сформировано три Туркестанских батальона. Специально для легионеров выпускался журнал «Милли Туркестан» («Национальный Туркестан»). Журнал издавался на нескольких языках: казахском, узбекском, татарском и др. Легионерам было разрешено также носить нарукавный знак «Аллах с нами». Ежедневно совершался и намаз, посещение которого, правда, носило необязательный характер. Прикрепленные к ротам муллы нередко совмещали религиозные функции с командирскими.
В июле 1942 года новоиспеченные легионеры принимали присягу. Вот как это происходило по показаниям перебежчиков:
«Всех нас выстроили в лагере четырехугольником. В каждом углу поставили радиорупоры, перед микрофоном в середине стояли мулла, а рядом, по обе его стороны — немецкие офицеры и духовой оркестр. Для фона стояли станковые пулеметы и винтовки в козлах. Мулла произнес речь, в которой сказал: «Нас угнетали русский народ и большевики. Нам не давали право отдельно жить и организовали коллективизацию, не дали возможности молиться и учиться по-старому. Поэтому мы должны бороться против коммунизма, уничтожить его, взять свою землю в свои руки. Совместно с немецкими солдатами мы должны воевать против Красной Армии. После победы мы будем управлять сами. Главу государства мы сами изберем и будем жить, как брат и союзник Германии, которая даст нам возможность построить фабрики, заводы и у которой мы возьмем культуру. Поэтому мы должны сегодня принять присягу о том, что будем верными Адольфу Гитлеру с целью создания нашего отдельного государства и что будем воевать, не щадя жизни и не отступая». После этого мулла заставил всех нас приложить правую руку к сердцу и сказать: «Перед богом принимаю присягу не отступать».
То, что произошло с Туркестанскими батальонами в дальнейшем, видно на примере одного из них, 3-го. 20 августа 1942 года 3-й Туркестанский батальон был отправлен на фронт по маршруту: Люблин, Львов, Днепропетровск, Таганрог, Ростов, Усть-Лабинская, Белореченская. Здесь, на оборонительном участке, который перед этим занимал немецкий штрафной батальон, 3-й Туркестанский батальон был поставлен в качестве второго эшелона. Рядом с батальоном находился немецкий саперный батальон. Его отдельные взводы были размещены так, чтобы чередоваться со взводами 3-го батальона. Кроме того, для усиления контроля над легионерами в каждый взвод Туркестанского батальона было влито по 5–6 немецких военнослужащих. В последующем батальон был фактически расформирован. Отдельные его роты были направлены на разные участки фронта.