Օգտակար խորհուրդներ

Networksանցեր գերհամակարգիչների համար

Pin
Send
Share
Send
Send


Բաշխված հաշվարկը որոշ հետաքրքիր նախագծերի ներդրման մի եղանակ է: Երբ ձեր համակարգիչը պարապ է, բաժանեք դրա հզորությունը SETI նախագծի հետ, որը փնտրում է արտագնա քաղաքակրթություններ: Այս դեպքում ձեր համակարգիչը կվերլուծի արբանյակային տվյալները և աստղադիտակների ստացված տեղեկատվությունը:

Այս հոդվածը կօգնի ձեզ միանալ նախագծերին (ինչպես, օրինակ ՝ «ՍՏՏԻ»), որոնք ներառում են բաշխված հաշվարկներ: Հոդվածը ձեզ նաև ներկայացնում է BOINC ՝ բաշխված հաշվարկային ծրագրաշարով:

Ձեզ հարկավոր է համակարգիչ: Եթե ​​արդեն ունեք մեկը, գնացեք Աղբյուրների և հղումների բաժին և տեղադրեք BOINC ծրագիրը: Եթե ​​ձեզ չի հետաքրքրում SETI նախագիծը, ստորև կգտնեք այլ նախագծերի ցանկ:

Եթե ​​շատ փող

Առանձնապես, մենք նշում ենք պրոցեսորների չափազանց թանկ, բայց արդյունավետ գիծը Intel Xeon LGA1567 վարդակից:
Այս շարքի լավագույն պրոցեսորը E7-8870- ն է `տասը 2.4 ԳՀց հաճախականությամբ: Դրա գինը 4616 դոլար է: Նման պրոցեսորների համար HP- ը և Supermicro- ն ազատում են: ութ պրոցեսոր: սերվերի շասսի: HyperThreading աջակցությամբ 8 * 10 * 2 = 160 թելերով ութ 10 միջուկային Xeon E7-8870 2.4 ԳՀց պրոցեսոր, որը ցուցադրվում է Windows Task Manager- ում `որպես պրոցեսորի բեռնման հարյուր վաթսուն գրաֆիկ, մատրիցա 10x16:

Որպեսզի ութ պրոցեսոր տեղավորվի գործի մեջ, դրանք անմիջապես տեղադրված չեն մայր տախտակի վրա, այլ առանձին տախտակների վրա, որոնք կպչում են մայրական տախտակին: Լուսանկարում պատկերված են չորս մայր տախտակներ `մայրական տախտակի վրա տեղադրված պրոցեսորներով (յուրաքանչյուրը երկուսը): Սա Supermicro լուծում է: HP լուծման դեպքում յուրաքանչյուր պրոցեսոր ունի իր տախտակը: HP լուծույթի արժեքը երկու-երեք միլիոն է ՝ կախված պրոցեսորների քանակից, հիշողություն և այլն: Supermicro- ի շասսիան արժե 10,000 դոլար, ինչը ավելի գրավիչ է: Բացի այդ, Supermicro- ն կարող է PCI-Express x16 նավահանգստում տեղադրել չորս coprocessor ընդլայնման քարտեր (ի դեպ, Infiniband ադապտերների համար դեռ տեղ կգտնվի դրանց մի կլաստեր հավաքելու համար), բայց HP- ում միայն երկուսն են: Այսպիսով, գերհամակարգիչ ստեղծելու համար Supermicro- ից ութ պրոցեսորային հարթակ ավելի գրավիչ է: Photoուցահանդեսից հետևյալ լուսանկարը ցույց է տալիս ամբողջական գերհամակարգիչը ՝ չորս GPU տախտակով:

Այնուամենայնիվ, դա շատ թանկ է:

Կապի ցանցեր

Շատ ծրագրերում գերհամակարգիչի արդյունավետությունը մեծապես որոշվում է հիշողության և ցանցի հետ աշխատելու պրոֆիլով: Հիշողության հետ աշխատելու պրոֆիլը սովորաբար նկարագրվում է զանգերի սպեցիֆիկալ տեղայնացման միջոցով `զանգերի չափով և դրանց հասցեների ցրմամբ, իսկ ցանցի հետ աշխատելու պրոֆիլը նկարագրվում է այն հանգույցների բաշխմամբ, որոնց միջոցով հաղորդագրությունները փոխանակվում են, փոխարժեքը և հաղորդագրության չափերը:

Գոյություն ունեցող գերհամակարգիչի աշխատանքը հանգույցների միջև տվյալների ինտենսիվ փոխանակման հետ կապված խնդիրների վերաբերյալ (մոդելավորման խնդիրներ, գծապատկերների և անկանոն ցանցերի խնդիրներ, նոսր մատրիցների օգտագործմամբ հաշվարկներ) հիմնականում որոշվում է ցանցի կատարմամբ, ուստի սովորական առևտրային լուծումների (օրինակ ՝ Gigabit Ethernet) օգտագործումը խիստ անարդյունավետ է: Այնուամենայնիվ, իրական ցանցը միշտ էլ փոխզիջումային լուծում է, որի զարգացման մեջ գերակայություններ են դրվում գների, կատարողականի, էներգիայի սպառման և մեծապես հակասող այլ պահանջների միջև. Մի բնութագրման բարելավման փորձերը կարող են հանգեցնել մյուսի վատթարացման:

Հաղորդակցման ցանցը բաղկացած է հանգույցներից, որոնցից յուրաքանչյուրում կա ցանցային ադապտեր, որը միացված է մեկ կամ մի քանի երթուղիչի, որոնք իր հերթին փոխկապակցված են բարձր արագությամբ հաղորդակցման ալիքների (հղումների) միջոցով:

Նկ. 1. Տոպոլոգիա 4D-torus (3x3x3x3)

Անցի կառուցվածքը, որը որոշում է, թե ինչպես են ճիշտ փոխկապակցված համակարգի հանգույցները, որոշվում է ցանցային տեղաբանության միջոցով (սովորաբար վանդակապատ, տորուս կամ հաստ ծառ) և կառուցվածքային պարամետրերի մի շարք. Չափումների քանակը, ծառի մակարդակի քանակը, տորուսի կողմերի չափերը, ծառերի մակարդակներում անջատիչների քանակը, ցանցային հանգույցների քանակը նավահանգիստներ երթուղիչներում և այլն Գծապատկեր 1-ում ներկայացված է քառաչափ ծավալային տորուսի 3x3x3x3- ի տեղաբանության օրինակ:

Ուղղորդիչի ճարտարապետությունը որոշում է ցանցի հանգույցների միջև տվյալների փոխանցման համար պատասխանատու բլոկների կառուցվածքը և ֆունկցիոնալությունը, ինչպես նաև ալիքի, ցանցի և տրանսպորտի շերտերի արձանագրությունների անհրաժեշտ հատկությունները, ներառյալ երթուղղումը, արբիտրաժը և տվյալների հոսքի կառավարման ալգորիթմները: Անցային ադապտերների ճարտարապետությունը որոշում է պրոցեսորի, հիշողության և ցանցի փոխազդեցության համար պատասխանատու բլոկների կառուցվածքը և ֆունկցիոնալությունը, մասնավորապես, MPI- ի գործողություններն աջակցվում են այս մակարդակում ՝ RDMA (Remote Direct Memory Access - ուղղակի մուտք դեպի այլ հանգույցի հիշողություն ՝ առանց դրա պրոցեսորի մասնակցության): Փաթեթի մեկ այլ հանգույցով ստացման հաստատում, բացառիկ իրավիճակների վարում, փաթեթների համախմբում:

Կապի ցանցի աշխատանքը գնահատելու համար առավել հաճախ օգտագործվում են երեք բնութագիր. թողունակությունը (ժամանակի միավորի համար փոխանցված տվյալների քանակը), կապի հետաձգում (տվյալների փոխանցման ժամանակը ցանցի միջոցով), հաղորդագրության տեմպը (սովորաբար, նրանք առանձին դիտում են առաքման արագությունը `երթուղղիչի ներքին ստորաբաժանումների միջև փաթեթներ ուղարկելու, ստանալու և փոխանցելու ժամանակ):

Ամբողջականության համար այս բնութագրերը չափվում են տրաֆիկի տարբեր տեսակների վրա, օրինակ, երբ մի հանգույց տվյալներ է ուղարկում բոլոր մյուսներին, կամ, հակառակը, բոլոր հանգույցները տվյալներ են ուղարկում մեկին, կամ երբ բոլոր հանգույցները տվյալներ են ուղարկում պատահական նպատակակետեր: Ֆունկցիոնալության պահանջները պարտադրվում են ժամանակակից ցանցերում.

  • Shmem գրադարանի արդյունավետ իրականացում, որպես միակողմանի հաղորդակցման մոդելի աջակցման տարբերակ, և GASNet- ը, որի վրա հիմնված է PGAS շատ լեզուների իրականացումը,
  • MPI- ի արդյունավետ իրականացում (սովորաբար դա պահանջում է օղակաձև բուֆերային մեխանիզմի և ստացված փաթեթների հաստատման համար արդյունավետ աջակցություն),
  • կոլեկտիվ գործողությունների արդյունավետ աջակցություն. հեռարձակում (նույն տվյալները միաժամանակ ուղարկելով բազմաթիվ հանգույցներ), կրճատում (երկուական գործողություն կիրառելը, օրինակ ՝ տարբեր հանգույցներից ստացված արժեքների շարք), զանգվածային տարրերի բաշխում հանգույցների շարքի վրա (ցրման), տարրերի հավաքում տեղակայված տարբեր հանգույցներում (հավաքել),
  • արդյունավետ օժանդակություն միջ-հանգույցների համաժամացման գործողություններին (առնվազն պատնեշի համաժամացումը), հանգուցալուծման գործընթացում մեծ թվով գործընթացների ցանցի արդյունավետ փոխգործակցություն և ապահովելով փաթեթների հուսալի առաքում:

Կարևոր է նաև ադապտերների աշխատանքի արդյունավետ աջակցությունը հյուրընկալող հիշողությանը ուղղակիորեն առանց պրոցեսորի ներգրավման:

Արտասահմանյան գերարագ ցանցեր

Բոլոր հաղորդակցման ցանցերը կարելի է բաժանել երկու դասի ՝ առևտրային և սովորական, որոնք մշակվել են որպես համակարգչային համակարգերի մաս և հասանելի են միայն նրանց հետ: Առևտրային ցանցերի շարքում շուկան բաժանված է InfiniBand- ի և Ethernet- ի միջև - Top500 ցուցակում (2011 թ. Հունիս), համակարգերի 42% -ը օգտագործում է InfiniBand- ը, իսկ 45% -ը օգտագործում է Gigabit Ethernet- ը: Միևնույն ժամանակ, եթե InfiniBand- ը կենտրոնացած է բարձրորակ համակարգերի այն հատվածի վրա, որը նախատեսված է մեծ թվով կոմունիկացիաների բարդ հաշվարկային առաջադրանքների համար, ապա Ethernet- ը ավանդաբար զբաղեցնում է այն տեղը, որտեղ հանգույցների միջև տվյալների փոխանակումն անօրինական է: Գերմարդկոմպլեկտներում Ethernet ցանցը, իր ցածր գնով և մատչելիությամբ պայմանավորված, հաճախ օգտագործվում է որպես օժանդակ սպասարկման ցանց ՝ վերահսկողական երթևեկության և առաջադրանքի երթևեկության միջամտությունը նվազեցնելու համար:

Inifiniband ցանցը սկզբում կենտրոնացած էր ճարպային ծառի տեղաբանության հետ կազմաձևերի վրա, բայց անջատիչների և երթուղիչների վերջին տարբերակները (հիմնականում արտադրվել են QLogic- ով) աջակցում են բազմաչափ տորոսի տեղաբանությանը (օգտագործելով Torus-2QoS երթուղղիչի շարժիչը), ինչպես նաև հիբրիդային տեղաբանությունը 3D torus- ից: և ճարպ: Sandia RedSky գերհամակարգիչը, որը հավաքվել է 2010-ի սկզբին և այժմ Top500- ում 16-րդ տեղում է, InfiniBand ցանցի և տեղաբանության 3D torus- ի (6x6x8) առաջին լայնածավալ նախագծերից մեկն է: Նաև այժմ մեծ ուշադրություն է դարձվում RDMA գործողությունների և Shmem գրադարանի (մասնավորապես, Qlogic Shmem) արդյունավետ աջակցությանը:

InfiniBand- ի ժողովրդականությունը պայմանավորված է նրա համեմատաբար ցածր գնով, ծրագրավորված մշակված էկոհամակարգով և MPI- ի արդյունավետ աջակցությամբ: Այնուամենայնիվ, InfiniBand- ն ունի իր թերությունները. Հաղորդագրությունների առաքման ցածր տեմպը (Mellanox- ի վերջին լուծումներից վայրկյանում 40 միլիոն հաղորդագրություն), կարճ տուփերի փոխանցման ցածր արդյունավետությունը, համեմատաբար մեծ հետաձգումը (ավելի քան 1,5 մկվ-ից ավելի փոխանցման հանգույց-հանգույց և լրացուցիչ 0,1-): 0,5 μs մեկ տրանզիտային հանգույցի համար), թույլ օժանդակություն տրոդոիդային տեղաբանությանը: Ընդհանուր առմամբ, կարելի է պնդել, որ InfiniBand- ը զանգվածային օգտագործողի համար արտադրանք է, և դրա մշակման ընթացքում փոխզիջում է ձեռք բերվել արդյունավետության և բազմակողմանիության միջև:

Կարող ենք նշել նաև Extoll ցանցը, որը պատրաստվում է շուկա գործարկելու համար. Հայդելբերգի համալսարանի զարգացումը `պրոֆեսոր Ուլրիխ Բրյունինգի ղեկավարությամբ: Այս ցանցի զարգացման հիմնական շեշտը միակողմանի հաղորդակցություններում ձգձգումների նվազագույնի հասցնելն է և առաքման արագության բարձրացումը: Նախատեսվում է, որ Extoll- ը կունենա 3D torus topology և կօգտագործի օպտիկական հղումներ ՝ յուրաքանչյուր անցուղու համար 10 Գբ / վ թողունակությամբ (յուրաքանչյուր կապուղիում գտնվող սերիական տվյալների փոխանցման ալիք) և թողունակության համար յուրաքանչյուր օղակի 12 գոտի լայնությամբ: Այժմ FPGA- ում կա Extoll ցանցի նախատիպեր. R1 - Virtex4, R2 Ventoux- ի հիման վրա `Virtex6- ի հիման վրա երկկողմանի դասավորություն: Մեկ հղման թողունակությունը յուրաքանչյուր հղման համար 600 ՄԲ / վ է (R1- ի համար): Կաջակցվի նաև պրոցեսորի հետ երկու ինտերֆեյս (HyperTransport 3.0 և PCI Express gen3), ինչը թույլ կտա ինտեգրել այս ցանցը Intel և AMD հարթակներում: Extoll- ը օժանդակում է միակողմանի գրառումների կազմակերպման մի քանի եղանակների, իր սեփական MMU- ի (հիշողության կառավարման ստորաբաժանում, վիրտուալ հասցեների ֆիզիկական հասցեների թարգմանության բլոկ) և ատոմային գործողություններ:

Ի տարբերություն առևտրային ցանցերի, մաքսային ցանցերը զբաղեցնում են շուկայի շատ ավելի փոքր մասնաբաժին, սակայն դրանք օգտագործվում են Cray, IBM, SGI, Fujitsu, NEC և Bull- ի ամենահզոր գերհամակարգիչները: Մաքսային ցանցեր մշակելիս մշակողները ավելի շատ ազատություն ունեն և փորձում են օգտագործել ավելի առաջադեմ մոտեցումներ ՝ վերջնական արտադրանքի շուկայական գրավչության ցածր կարևորության պատճառով ՝ հիմնականում լուծելով առաջադրանքների որոշակի դասի վրա առավելագույն կատարողականություն ձեռք բերելու խնդիրը:

K Computer գերհամակարգիչը օգտագործում է Tofu (TOrus FUsion) հաղորդակցման ցանց, որը հանդիսանում է մասշտաբային 3D տորուս, որի հանգույցները պարունակում են 12 հանգույցների խմբեր (հանգույցների խմբերը միացված են 12 ցանցերով 3D torus- ով, և այս խմբից յուրաքանչյուր հանգույց ունի իր արդյունքը) 3D torus ցանց): Յուրաքանչյուր խմբի հանգույցները միմյանց հետ փոխկապակցված են 2x3x4 կողմերով առանց առանց կրկնօրինակ կապերի կողմերի 3D torus- ի, ինչը համարժեք է 2D տորուսին ՝ կողմերով 3x4 (այնպես որ մենք ստանում ենք 5D տորուս ՝ ֆիքսված երկու չափսերով): Այսպիսով, Tofu ցանցային հանգույցը ունի 10 օղակ ՝ յուրաքանչյուրը 40 Գբ / վ մեկ միակողմանի թողունակությամբ: Հանգույցների խոչընդոտ համաժամացումը և կրճատումը (ամբողջական և լողացող կետ) ապահովված են ապարատներում:

Tianhe-1A գերհամակարգչի մշակման հիմնական նպատակներն են եղել էներգիայի բարձր արդյունավետության հասնելը, զարգացնել իրենց սեփական պրոցեսորը և ցանցը գերազանցող InfiniBand QDR- ին: Գերհամակարգիչը բաղկացած է 7168 հաշվողական հանգույցներից, որոնք կապված են Arch- ի սեփական նախագծի Arch ցանցի հետ, ծառի հաստ տոպոլոգիայի հետ: Անցը կառուցված է 16 պորտային երթուղիչներից, միակողմանի կապի թողունակությունը `8 Գբ / վ, հետաձգումը` 1,57 մկս: RDMA- ի գործողությունները աջակցվում են, և կոլեկտիվ գործողությունները օպտիմիզացվել:

Հաշվարկային հանգույցները համատեղելու համար տորոիդային տոպոլոգիա օգտագործող համակարգերի դասական ներկայացուցիչները համակարգեր են IBM Blue Gene շարքի համար, որի առաջին երկու սերունդներում `Blue Gene / L (2004) և Blue Gene / P (2007) - օգտագործել են 3D torus topology: Blue Gene / P- ի ցանցը համեմատաբար թույլ կապեր ունի միակողմանի թողունակության հետ `0,425 Գբ / վ, ինչը հանդիսանում է իր ժամանակակից InfiniBand QDR կապի թողունակության թողունակությունից ցածր թողունակության կարգ, այնուամենայնիվ, խոչընդոտների համաժամացման և կոլեկտիվ գործողությունների (առանձին ծառերի նման ցանցերի վրա) թողունակության վրա հիմնված ապարատային վրա հիմնված աջակցությունը թույլ է տալիս կատարել լավ scalable իրական ծրագրեր: Բացի այդ, բոլոր ինտերֆեյսերը և երթուղղիչ միավորները ինտեգրված են BPC միկրոպրոցեսորի (Blue Gene / P Chip) մեջ, ինչը զգալիորեն նվազեցնում է հաղորդագրությունների փոխանցման հետաձգումները: Հաջորդ սերնդի կապի ցանցը Blue Gene / Q- ն ունի 5D լարում տոպոլոգիա, և, ի տարբերություն իր նախորդների, այն չունի առանձին ցանցեր խոչընդոտների համաժամացման և հավաքական գործողությունների համար: Կապույտ գեն / Q չիպն առաջին անգամ դարձավ բազմաբնույթ-բազմաշերտ թել `չորս հիմնական ապարատի թել` 16 միջուկով, ինչը թույլ է տալիս թուլացնել ցանցի պահանջները և ապահովել հետաձգման հանդուրժողականություն: ՈՒղեցույցի թողունակությունն ավելացել է մինչև 2 GB / վրկ, սակայն Cray Երկվորյակների կամ Extoll- ի համեմատ փոքր է: Այս համակարգերում ցածր թողունակությունը մակարդվում է տորուսի մեծ չափի վրա (մեծ թվով կապեր) և, արդյունքում, ցանցի փոքր տրամագծով (նույնքան մեծ թվով հանգույցներով 3D torus topology ունեցող ցանցերի համեմատությամբ): Հասանելի աղբյուրները հայտնում են Blue Blue Gene / Q տրանսպետաֆլոպի գերհամակարգիչների ստեղծման մասին. Sequoia ՝ 20 PFLOPS և Mira կատարմամբ, 10 PFLOPS: Կարող ենք եզրակացնել, որ Blue Gene / Q- ն կենտրոնացած է խնդիրների վրա, որոնք կօգտագործեն տասնյակ և հարյուր հազարավոր հաշվողական հանգույցներ ՝ «բոլորից բոլորի» տեսակի ցանցային երթևեկությամբ:

Տորոիդային տոպոլոգիայի հետ կապի ցանցերի կառուցման մոտեցման ևս մեկ հետևորդ է Cray- ը, որը շարունակում է օգտագործել 3D tor topology- ը ՝ միաժամանակ ավելացնելով ելքային հոսքը և հարևան հանգույցները միացնող կապերի քանակը: Cray toroidal ցանցի ներկայիս սերունդը Cray Gemini ցանցն է: Մեկ Երկվորյակ երթուղիչը համապատասխանում է նախորդ SeaStar2 + սերնդի երկու երթուղիչին, այսինքն ՝ իրականում երկու ցանցային հանգույցների, հետևաբար Երկվորյակների մեջ 6 հղման փոխարեն 10-ը օգտագործվում են հարևան հանգույցներին միանալու համար (2-ը ծառայում են երկու ադապտերները միմյանց միացնելու համար):

Գերհամակարգիչի համար ցանցի բաղադրիչները (ցանցային ադապտերներ, անջատիչներ, երթուղիչներ), ի տարբերություն պրոցեսորների, հաճախ ավելի թանկ են, և դրանց հասանելիությունը ավելի սահմանափակ է: Օրինակ ՝ այժմ InfiniBand ցանցի անջատիչները, որոնք գերհամակարգիչների հիմնական առևտրային ցանցն են, արտադրում են ընդամենը երկու ընկերություն, որոնցից երկուսն էլ վերահսկվում են Միացյալ Նահանգների կողմից: Սա նշանակում է, որ գերարագ ցանցերի բնագավառում սեփական զարգացումների բացակայության դեպքում ցանկացած գերհամակարգչային համակարգչի ստեղծումը ցանկացած երկրում, բացառությամբ ԱՄՆ, Չինաստան կամ Japanապոնիա, կարելի է հեշտությամբ վերահսկել:

Ներքին ցանցեր

Սուպերհամակարգիչներում օգտագործման համար կապի ցանցերի մշակումն իրականացվում է մի շարք տեղական կազմակերպությունների կողմից ՝ RFNC VNIIEF (բաց աղբյուրներում այդ զարգացումների մասին շատ քիչ տեղեկություններ կան), Ռուսաստանի գիտությունների ակադեմիայի և RSK SKIF- ի ծրագրային համակարգերի ինստիտուտը, IPM RAS- ը և հետազոտական ​​ինստիտուտը Kvant (MVS-Express ցանց) »).

Ռուս-իտալական գերհամակարգիչ SKIF-Aurora- ի համար 3D tor հաղորդակցման ցանցը ամբողջովին կառուցված է ՝ օգտագործելով Altera Stratix IV FPGA- ն, որն էլ բացատրում է բավականին փոքր թողունակությունը յուրաքանչյուր հղման համար `1.25 Գբ / վ (FPGA- ի ռեսուրսները շատ սահմանափակ են):

MVS-Express ցանցում PCI Express 2.0- ն օգտագործվում է հաշվողական հանգույցները ինտեգրելու համար, իսկ հանգույցները միացված են 24-պորտային անջատիչների միջոցով: Անցում կա ճարպային ծառին մոտ գտնվող տեղաբանություն: Հաշվարկային հանգույցում ցանցային ադապտորը ունի 4 նիշ ունեցող լայնությամբ մեկ պորտ, որի արդյունքում միակ հղման միակողմանի գիծը 20 Գբիթ / վրկ է `առանց հաշվի առնելու կոդավորումը գլխավերևում: PCI Express- ը MVS-Express- ում օգտագործելու առավելությունն ընդհանուր հիշողության արդյունավետ աջակցությունն է `միակողմանի հաղորդակցման հնարավորությամբ: Արդյունքում, ցանցը հարմար է Shmem գրադարանի և PGAS լեզուների (UPC, CAF) իրականացման համար:

Ռուսաստանի Դաշնության արդյունաբերության և առևտրի նախարարության աջակցությամբ «NICEVT» ԲԲԸ-ն աշխատանքներ է տանում Անգարա կապի ցանցի զարգացման համար `4D tor torology- ով, որը կարող է հիմք դառնալ գերհամակարգիչների մշակման համար ներքին տեխնոլոգիաների ստեղծման համար:

Angանց «Անգարա»

Անգարայի ցանցի զարգացման հիմնական նպատակները.

  • միակողմանի հաղորդակցությունների (դնել / ստանալ) և PGAS լեզուների արդյունավետ աջակցություն (որպես զուգահեռ ծրագրավորման հիմնական միջոց)
  • Արդյունավետ MPI աջակցություն
  • սեփական բյուրեղի թողարկումը (տվյալների փոխանցման բարձր տեմպերի և ցածր ձգձգումների հասնելու համար),
  • հարմարեցված անհաջող փաթեթ փոխանցում,
  • արդյունավետ աշխատանք ժամանակակից պրոցեսորների և չիպսեթների հետ:

Այս ցանցի զարգացման առաջին փուլում (2006 թ.) Իրականացվել է ցանցային տարբեր տարբերակների մոդելավորում, և հիմնական որոշումներ են կայացվել տոպոլոգիայի, երթուղղիչի ճարտարապետության, երթուղղման ալգորիթմների և արբիտրաժի վերաբերյալ: Բացի տրոդոիդային տեղաբանությունից, հաշվի էին առնվել Քեյլիի ցանցերը և «հաստ ծառը»: Չորս ծավալային տորուսն ընտրվել է `ավելի պարզ երթուղայնացման, լավ հարմարեցվածության և փոքր կապի շնորհիվ ավելի փոքր տորիի հետ: Անցի մոդելավորումը հնարավորություն տվեց մանրամասն ուսումնասիրել ցանցի ճարտարապետության տարբեր պարամետրերի ազդեցությունը հիմնական կատարողականի բնութագրերի վրա, հասկանալ հիշողության ինտենսիվ անկանոն մուտք ունեցող առաջադրանքների երթևեկության օրինակները: Արդյունքում ընտրվեցին բուֆերային օպտիմալ չափերը, վիրտուալ ալիքների քանակը, և վերլուծվեցին հնարավոր խոչընդոտները:

2008-ին հայտնվեց FPGA երթուղիչի առաջին նախատիպը `Virtex4- ի վրա վեց հանգույցների ցանցային դասավորություն, որը միացված էր 2x3 տորուսին, որի վրա կարգաբերվել է երթուղիչի հիմնական գործառույթը, մշակվել է սխալի հանդուրժող տվյալների փոխանցում, մշակվել է սխալի հանդուրժող տվյալների փոխանցում, ստեղծվել և կարգաբերվել է վարորդի և ցածր մակարդակի գրադարանի, Շմեմի գրադարանները: MPI Այժմ գործարկվեց երրորդ սերնդի դասավորությունը, որը բաղկացած է ինը հանգույցներից, որոնք միացված են երկչափ տորուսով 3x3: Собран стенд с двумя узлами для тестирования новых разъемов и каналов передачи данных, предполагаемых к использованию с будущими кристаллами маршрутизатора ВКС. При разработке принципов работы сети ряд деталей был позаимствован из работ и , а также в том или ином виде из архитектур IBM Blue Gene и Cray SeaStar.

Сеть «Ангара» имеет топологию 4D-тор. Поддерживается детерминированная маршрутизация, сохраняющая порядок передачи пакетов и предотвращающая появление дедлоков (взаимных блокировок), а также адаптивная маршрутизация, позволяющая одновременно использовать множество путей между узлами и обходить перегруженные и вышедшие из строя участки сети. Հատուկ ուշադրություն է դարձվել բազմակողմանի տորուսի վրա հարդարված ծառի տեղաբանություն ունեցող վիրտուալ ենթահամակարգի միջոցով իրականացվող կոլեկտիվ գործողություններին (հեռարձակում և կրճատում) աջակցելուն: Hardwareանցը ապարատային մակարդակով աջակցում է երկու տեսակի հեռակառավարման գրում, կարդում և ատոմային գործողություններ (լրացում և բացառիկ OR): Հեռակա ընթերցման կատարման սխեման (հարցումն ուղարկելը և պատասխան ստանալը) ներկայացված է Նկ. 2 (հեռակա ձայնագրումն ու ատոմային գործողությունները կատարվում են նույն կերպ): Առանձնացված բլոկում տրամաբանությունն իրականացվում է ցանցից ստացվող հաղորդագրությունների համախմբման համար `հյուրընկալողի հետ ինտերֆեյսի միջոցով փոխանցելիս յուրաքանչյուր գործարքի համար օգտակար տվյալների բաժինը մեծացնելու համար (հյուրընկալողը պրոցեսոր-հիշողություն-կամուրջ կամուրջ է):

Նկ. 2. Հեռավար ընթերցման սխեման Անգարայի ցանցում

Տվյալների հղման շերտում ձախողվում է անվտանգ փաթեթի փոխանցումը: Գոյություն ունի նաև չհաջողված կապի ալիքներն ու հանգույցները շրջանցելու մեխանիզմ ՝ վերականգնելով երթուղղման աղյուսակները: Տարբեր սպասարկման գործողություններ կատարելու համար (մասնավորապես `երթուղղման սեղաններ կազմաձևելու / վերակառուցելու համար) և որոշ հաշվարկներ կատարելու համար օգտագործվում է սպասարկման պրոցեսոր: Հաղորդավարի ինտերֆեյսը օգտագործում է PCI Express:

Նկ. 3. Հաշվողական հանգույցի կառուցվածքը «Անգարա» ցանցային ադապտեր / երթուղիչով

Ուղղիչի հիմնական բլոկները.

  • ինտերֆեյս ընդունող համակարգի հետ, որը պատասխանատու է հյուրընկալող միջերեսում փաթեթներ ստանալու և ուղարկելու համար,
  • ներարկման և արտանետման ստորաբաժանում, որը ստեղծում է փաթեթներ, որոնք պետք է ուղարկվեն ցանց և կեղտոտեն ցանցից եկող փաթեթների վերնագրերը.
  • հարցման մշակման ստորաբաժանում, որը վերամշակում է փաթեթներ, որոնք տեղեկատվություն են պահանջում հյուրընկալող համակարգի հիշողությունից (օրինակ, ընթերցված կամ ատոմային գործողություններ),
  • կոլեկտիվ գործողությունների ցանցային միավոր, որը վերամշակում է կոլեկտիվ գործողությունների հետ կապված փաթեթները, մասնավորապես `նվազեցման գործողություններ իրականացնելը, հեռարձակման պահանջների փաթեթներ առաջացնելը.
  • սպասարկման գործողությունների ստորաբաժանում, որը վերամշակում է փաթեթային փաթեթները, որոնք գնում են և գնում են ծառայության միջանցքից,
  • տարբեր վիրտուալ ալիքներից մուտքեր և միացնող գործիքներ միացնող միակցիչով ՝ տարբեր ուղղություններով և արտանետիչներով,
  • որոշակի ուղղությամբ տվյալներ փոխանցելու և ստանալու հաղորդակցման ալիքներ,
  • տվյալների փոխանցման ստորաբաժանում `տվյալ ուղղությամբ փաթեթներ ուղարկելու համար, և ստացող և ուղղորդման ստորաբաժանում` փաթեթներ ստանալու և դրանց հետագա ճակատագրի որոշման համար:

Հյուրընկալողի փոխազդեցությունը (կենտրոնական պրոցեսորի վրա կատարված ծածկագիրը) երթուղղիչի հետ իրականացվում է `այն մուտքագրելով հիշող հասցեներին, որոնք քարտեզագրվում են երթուղիչի ռեսուրսային շրջանների հասցեներին (հիշողություն քարտեզագրված մուտք / ելք): Սա հնարավորություն է տալիս ծրագրին փոխկապակցվել երթուղիչի հետ առանց միջուկի մասնակցության, ինչը նվազեցնում է փաթեթներ ուղարկելու գլխավերևը, քանի որ միջուկի համատեքստում և հետին անցնելը տևում է հարյուր ժամից ավելի ցիկլեր: Փաթեթներ ուղարկելու համար օգտագործվում է հիշողության շրջաններից մեկը, որը համարվում է օղակի բուֆեր: Առկա է նաև առանձին տարածաշրջան `առանց հիշողություն-հիշողություն պատճենելու գործողություններ կատարելու համար (տվյալները կարդում են հիշողությունից և գրվում են կապի ցանցի ադապտորի կողմից DMA գործողությունների միջոցով) և վերահսկիչ գրանցամատյաններով մարզ: Ուղղիչի որոշակի ռեսուրսների հասանելիությունը վերահսկվում է միջուկային մոդուլի միջոցով:

Ավելի մեծ արդյունավետության հասնելու համար որոշվել է, որ մեկ հանգույցում պետք է իրականացվի միայն մեկ հաշվարկային առաջադրանք, սա վերացրեց վերգետնյա գործը, որը կապված է վիրտուալ հիշողության օգտագործման հետ, խուսափեց առաջադրանքների միջամտությունից, պարզեցրեց երթուղիչի ճարտարապետությունը `ամբողջական MMU բացակայության պատճառով և խուսափեց բոլորից նրա կապի հետաձգման աշխատանքները, ինչպես նաև պարզեցվում են ցանցի անվտանգության մոդելը ՝ դրանից վերացնելով մեկ հանգույցի վրա տարբեր առաջադրանքների գործընթացների անվտանգությունը: Այս լուծումը չի ազդել ցանցի ֆունկցիոնալության վրա, ինչը հիմնականում նախատեսված է խոշոր չափի առաջադրանքների համար (ի տարբերություն InfiniBand- ի, տարբեր չափերի առաջադրանքների համընդհանուր ցանց): Նման որոշում է կայացվել IBM Blue Gene- ում, որտեղ բաժնի համար ներդրվում է առաջադրանքի եզակիության սահմանափակում:

Սարքավորումների մակարդակում աջակցվում է մեկ առաջադրանքի շատ թելերի / գործընթացների երթուղիչի հետ միաժամանակյա աշխատանքը `այն իրականացվում է մի քանի ներարկման ուղիների տեսքով` փաթեթները ձայնագրելու համար մի քանի օղակավոր բուֆերների միջոցով պրոցեսների միջոցով: Այս բուֆերների քանակը և չափը կարող են դինամիկ փոխվել:

Անգարայի ցանցի համար հիմնական ծրագրավորման ռեժիմը MPI, OpenMP և Shmem, ինչպես նաև GASNet և UPC համատեղ օգտագործումն է:

Networkանցի ստուգումն ու նախատիպը ավարտվելուց հետո նախատեսվում է թողարկել VLSI չիպ: VLSI նախատիպի խմբաքանակը նախատեսված կլինի հիմնական տեխնոլոգիական լուծումների կարգաբերման, տեխնոլոգիական գործընթացի և սիմուլյացիայի արդյունքների փորձարարական ստուգման համար: Նախատիպը պարունակում է բոլոր հիմնական գործառույթները, աշխատել PCI Express gen2 x16 ինտերֆեյսի հետ և կապեր `75 Գբ / վ արագությամբ:

Նախատեսվում է Անգարայի ցանցը շուկային խթանել երկու տարբերակով ՝ որպես առանձին առևտրային ցանց PCI Express քարտերի տեսքով `ստանդարտ պրոցեսորներով և չիպսեթներով կլաստերային համակարգերի համար, իսկ որպես NICEVT- ում մշակված դրամային պրոցեսորների հիման վրա քառակի բլոկային համակարգի մաս:

Pin
Send
Share
Send
Send