آیا می دانید فیلم AVATAR با چه غول سیستمهایی Render شده است ؟

[Ehsan_animator 3,012]

[color=blue][b]ويژه نوروزي
شماره: 351
کد خبر: 6580 [/b][/color]

[color=blue][b][align=center]آواتار را دیده‌اید؟[/align][/b][/color]

[align=center][color=blue][b]فیلمی‌که در سراسر جهان به صورت سه بعدی نمایش داده شد و بسیاری از فناوری‌های تصویری برای اولین بار در آن بکار رفت.
آواتار یکی از قوی‌ترین پروژه‌های همکاری نرم‌افزار و سخت‌افزار است که نکات جالبی در پشت پرده آن وجود دارد. می‌دانید برای خلق این تصاویر چه تعداد پردازنده و چه مقدار رم به‌کار رفته؟ ….[/b][/color]
[/align]
سیستمی‌که برای تولید آواتار استفاده شده توانسته در نقطه اوج 388 هزار گیگافلاپ داده پردازش کند و یک سایت پردازشی را بخود اختصاص داده که در این مزرعه سرورها نزدیک به [b]35 هزار هسته پردازشی[/b] از پردازنده‌های زئون اینتل استفاده شده‌اند. این کارگاه توسط شرکت HP تجهیز شده و ساختاری که هیولت پاکارد در این سایت اجرا کرده از نوع کلاسترهای HP Cluster Platform 3000BL هستند.

وتا دیجیتال (Weta Digital) شرکتی است که وظیفه پردازش‌های کامپیوتری پروژه آواتار را برعهده داشته است. این شرکت در حومه شهر ولینگتون در زنلاند نو قرار دارد و فعالیت استودیو آن از 15 سال پیش آغاز شده ضمنا در کارنامه وتا دیجیتال پردازش تصویری فیلم‌هایی مثل ارباب حلقه‌ها و کینگ‌کونگ و برخی دیگر دیده می‌شود که تا کنون 5 جایزه اسکار را نصیب این شرکت کرده‌اند. برای ساخت پروژه 320 میلیون دلاری جیمز کامرون دیتا سنترها در زمینی به مساحت تقریبی هزار متر مربع جای گرفته‌اند. در این ساختمان بزرگ هسته اصلی پردازش‌ها درون 34 رک قرار گرفته که هر کدام شامل 4 شاسی هستند.

درون هر یک از شاسی‌ها 32 دستگاه قرار دارد و حالا می‌توانید به عظمت این غول محاسباتی پی ببرید.

این ساختمان عنوان بزرگ‌ترین کارگاه پردازشی را دارد.

خستین قدم‌ها برای اجرای پروژه توسط دفتر HP در زنلاندنو و ارتباط مستقیم با دفتر اصلی در هوستون برداشته شد و محاسبات توان مورد نیاز برای این ******** کامپیوتر به پایان رسید
ر این مرحله برای خنک سازی سایت از سیستم خنک‌کننده‌های آبی استفاده شد که پس از تحقیقات مقدماتی به عنوان جایگزینی برای روش هواخنک در نظر گرفته شدند.


رک‌ها و شاسی‌ها لوله کشی شدند و جریان آب گرم به سمت موتورخانه هدایت شد که مجهز به رادیاتورهای بزرگ برای دفع حرارت آب بود. محاسبات این مرحله علیرغم این‌که هنوز به بخش اجرای پردازش نرسیده از اهمیت زیادی برخوردار بود. تنها چند درصد اختلاف در راندمان و کارایی توان می‌توانست باعث شکست پروژه شود ضمن این‌که کوچکترین خطا برای کاهش دما با تاثیر مستقیم در توان سرورها باعث تاخیر قابل توجهی در زمان پایان پروژه می‌شد. وتا دیجیتال برای راه‌اندازی این کارگاه از IBM‌ نیز کمک گرفته است. این شرکت به دلیل صرفه‌جویی 40 درصدی در انرژی توانسته جوایزی در حوزه محیط زیست کسب کند ضمن این‌که ده‌ها هزار دلار صرفه‌جویی کرده است. این امتیاز بیشتر به دلیل جایگزینی سیستم خنک‌کننده آبی نصیب این شرکت شد زیرا مصرف برق بسیار پائین‌تری نسبت به ایجاد جریان هوا دارد.

سرورهایی که برای این پروژه استفاده شده‌اند از پردازنده‌های زئون اینتل از سری 54xx (لینک نسخه PDF) استفاده می‌کنند که دارای چهار هسته پردازشی است و بر اساس فناوری ساخت 45 نانومتر تولید شده است این پردازنده‌ها 50 وات مصرف توان دارند و دارای 12 مگابایت کش هستند. در هر سرور دو پردازنده از این نوع قرار گرفته است که هر کدام دارای فرکانس 2.5 گیگاهرتز هستند. تعداد 34816 هسته پردازشی در این ********کامپیوتر تصاویر را پردازش کردند. توان هر یک از این پردازنده‌ها 10 گیگافلاپ در ثانیه است. هر یک از سرورها 24 گیگابایت رم دارد که با در نظر گرفتن هسته اصلی پردازش مجموع رم استفاده شده به 106 ترابایت می‌رسد. میزان‌هارد مورد استفاده در هر سرور ترکیبی از یک‌هارد 60 و یک‌هارد 120 گیگابایتی است. در ابتدا 1280 سرور مورد استفاده قرار گرفت و در مراحل بعدی این تعداد به 4352 دستگاه افزایش پیدا کرد. برای ارتباط سرورها با دیتاسنتر اصلی از لینک‌های 10 گیگابیتی استفاده شده و سیستم عامل مورد استفاده نیز نوعی لینوکس است. این مجموعه سخت‌افزاری برای ماه‌ها در طول 24 ساعت شبانه روز با حداکثر توان کار کرده است.
[b][align=center]
[color=red]
در ماه آخر اجرای این پروژه در هر ثانیه 8 گیگابایت دیتا مورد پردازش قرار گرفته و جالب است بدانید حجم تنها یک دقیقه از نسخه نهایی این فیلم 17.28 گیگابایت بوده که برای مدت زمان 166 دقیقه‌ای فیلم به 2860 ترابایت می‌رسد. به این صورت که هر فریم از مجموع 24 فریم مورد استفاده در یک ثانیه از این فیلم شامل تصویری با حجم 12 مگابایت بوده است. آواتار از 240 هزار فریم تشکیل شده است.[/color][/align][/b]

در پردازش‌های این فیلم از رابط‌های RenderMan که توسط پیکسار تولید و توسعه پیدا کردند استفاده شده ضمن این‌که توضیحات انویدیا درمورد نحوه همکاری با این پروژه نیز قابل توجه است. از مهم‌ترین بخش‌های این همکاری می‌توان به طراحی یک موتور پیش پردازشی برای ردیابی پرتوها به نام PantaRay اشاره کرد که برای کار با میلیاردها چند ضلعی در سکانس‌های پیچیده آواتار استفاده شده است. از این همکاری به عنوان نمونه‌ای از انقلاب تراشه‌های گرافیکی یاد می‌شود.

در این فیلم 10 هزار نفر بطور مستقیم مشارکت داشته‌اند و برآورد می‌شود این تعداد روزانه 4/1 میلیون وظیفه مختلف را انجام داده باشند.

[Ehsan_animator 3,012]

دوستان به دلیل تسلط این بنده حقیر بر مباحث سه بعدی اگه سوالی در پست بالا برایتان پیش آمد بپرسید

سعی می کنم جواب بدم

[REZAT1980 3,414]

هیچ سوالی نیست فقط میخواستم بدونم که به پای سیستم من میرسه یا نه؟

nvidia xfx 295 gtx

[worior 25,819]

[quote]Weta Digit[/quote]

میدونستی ilm واسه استاروار از رندرفارمی با با 4 هزار پردانزنده اوپترون 280 استفاده کرده بود ؟
[quote]
در ماه آخر اجرای این پروژه در هر ثانیه 8 گیگابایت دیتا مورد پردازش قرار گرفته و جالب است بدانید حجم تنها یک دقیقه از نسخه نهایی این فیلم 17.28 گیگابایت بوده که برای مدت زمان 166 دقیقه‌ای فیلم به 2860 ترابایت می‌رسد. به این صورت که هر فریم از مجموع 24 فریم مورد استفاده در یک ثانیه از این فیلم شامل تصویری با حجم 12 مگابایت بوده است. آواتار از 240 هزار فریم تشکیل شده است.
[/quote]
حتما میدونی یک فریم رو با تمام لایه هاش رندر میکنند .. حدود 10 یا 12 لایه البته اونها لایه های مختلف دیگه هم مختص به خودشون دارند ! فقط نمیدونم چطور اینا رو با هم هماهنگ میکنند مدیریت پروژه توی این کارها واقعا خیلی سخت از ساخت خود انیمیشن هاست .

[Ehsan_animator 3,012]

[quote]حتما میدونی یک فریم رو با تمام لایه هاش رندر میکنند .. [/quote]

اتفاقا در اینجا منظور از لایه این است که هر لایه جدا رندر می شه و بعد از آماده شدن تمامی لایه ها با نرم افزارهای میکس رندر با هم ادغام می شن و بعد از ادغام اندازه هر فریم 12 mb شده

اون دوستی هم که سیستم خودش رو با این سیستم مقایسه کرد :

باید بگم این یک سیستم یک پارچه نیست

یعنی شما می تونی با 50 هزار سیستم و یا بیشتر مشابه سیستم خودت و علم سری کردن سیستم ها به این قدرت برسی

واقعا در این زمینه توی کشور ما هیچ اقدامی انجام نشده و ما هنوز در اول راه هستیم

حتی برای خرید نسخه های فول این نرم افزار ها مشکل داریم

من با کمک چند تا آشنا در آمریکا با مدیر یکی از این شرکت های تولید نرم افزار ارتباط برقرار کردم ( شرکت autodesk ) .... این مرتیکه به ما گفت که شما در خرید این نرم افزار در کشورتون تحریم هستید و نمی دونم چطوری به یکی از نسخه های ما دسترسی پیدا کردین .... فکر کرده بود اینجا پشت کوهه ..... اگه باورتون نمی شه من عکس ایمیلشو دارم براتون می زارم

[worior 25,819]

[quote]من با کمک چند تا آشنا در آمریکا با مدیر یکی از این شرکت های تولید نرم افزار ارتباط برقرار کردم ( شرکت autodesk ) .... این مرتیکه به ما گفت که شما در خرید این نرم افزار در کشورتون تحریم هستید و نمی دونم چطوری به یکی از نسخه های ما دسترسی پیدا کردین .... فکر کرده بود اینجا پشت کوهه ..... اگه باورتون نمی شه من عکس ایمیلشو دارم براتون می زارم
[/quote]نرم افزار ؟!! یارو واقعا فکر کرده اینجا پشت کوهه ! بابا رفقای من شیدر مینویسن ! یکی دیگشون نمدونم از چه راهی فقط یادمه 3 ساله پیش که ازش خبر داشتم به رندر من مسلط بود ... ! با اینکه مستندات نرم افزاری خاصی توش نیست .


باور کن اکثر این آمریکایی ها از راپید شیر بی اطلاعن !

[Ehsan_animator 3,012]

[quote]باور کن اکثر این آمریکایی ها از راپید شیر بی اطلاعن ![/quote]

باورت می شه من چندتا کارت تلفن مصرف کردم تا به این آشنامون بفهمونم راپیدشیر چیه و چه کار می کنه

اولش می گفت اینجا غیر قانونیه

گفتم بابا مگه می شه سرورش اونجا باشه و غیر قانونی باشه

تازه این فرد مهندس کامپیوتر هم بود اونم از دانشگاه ام آی تی

الان خیلی هاشون ایمیل می زنن می گن احسان جان مرسی که به ما گفتی

هر موقع یکیشون میاد ایران باید اپدیتش کنم تا وقتی برمیگرده مشکلی نداشته باشه

ولی وریور جان این دوستت که شیدر می نویسه یا اونی که به رندرمن مسلطه واقعا کارش درسته ها

ای کاش میشد باهاشون همجوار بشم

[worior 25,819]

[quote]ای کاش میشد باهاشون همجوار بشم[/quote] تقریبا از همون موقع ازشون خبر ندارم ! اونی هم که برنامه نویسی کار میکرد یه مقداری واسه گیم و .. روی شیدر نویسی کار میکرده که الان به آنریل انجین واسه ساخت بازی تغییر مسیر داده . که نمیدونم فعلا در چه وضعیتیه .
اگر با مایا کار میکنی رندر من بدردت میخوره واگرنه باقی موتوررندر ها چیزی کم ندارند هرچند که قدرت ماده سازی رندرمن با ایون چیزی که من دیدم واقعا خارقالعاده بود ..

[Ehsan_animator 3,012]

وریور جان رندرمن مال پروزه های سنگینه

V-ray ، finalrender و ..... همشون قدیمی شدن ..... می دونی چرا ؟ ..... چون بخش شبکشون محدوده و برای پروژه های بزرگ حتما باید توسط کمپانی مربوطه به صورت سفارشی تولید بشن ..... تازه همین موتور های معمولی هم تو ایران به صورت کامل کار نمی کنن ..... من یک مدت در ساخت یک پروژه انیمیشنی با چند نفر دیگه زیر نظر صدا و سیمای مرکز یکی از استان ها همکاری می کردم هر چی گشتیم نتونستیم V-ray پیدا کنیم که بخش رندر شبکش کار کنه ..... تمام نسخه های در دسترس این موتور رندر کرک شده هستن و به صورت سینگل کار می کنن و به همین خاطر رندر صحنه های ما به جای 1 ماه ، 6 ماه طول کشید

کل پروژه ما 5 دقیقه بود ..... حالا شما تا آخرشو بخون

[mhm 650]

[quote]واقعا در این زمینه توی کشور ما هیچ اقدامی انجام نشده و ما هنوز در اول راه هستیم [/quote]

واقعا کم لطفی می فرمایید. شما مطمئنید که در زمینه کلاستر هیچ اقدامی نشده؟

[Ehsan_animator 3,012]

[quote]واقعا کم لطفی می فرمایید. شما مطمئنید که در زمینه کلاستر هیچ اقدامی نشده؟[/quote]
اگه اقدامی شده من بی اطلاع هستم

لطف می کنید من رو هم در جریان بگذارید

[worior 25,819]

[quote]V-ray[/quote] مال من کار میکنه مشکلی هم نداره ! روی رندر فارم هم تست کردیم !

البته رندر فارم شخصی خود بنده ...

میدونی توی ایران رندر فارم حدود 800 گیگاهرتز هم توسط همین شرکتهای انیمیشن سازی ساخته شده ! و البته انواع سریعترش هم موجوده ! مشکلی که شما در استفاده از وی ری داشتی به احتمال زیاد مربوط به نصب چند نسخه مکس بوده . البته دیگه تا چند روز فرصت ندارم بیام روی نت فکر کنم تا اواسط هفته دیگه ولی اینجا بنویس مراحل کاری که انجام دادی بعدا مشکلت رو حل میکنم .

[Ehsan_animator 3,012]

ما از مکس 2009 استفاده می کردیم ..... تمام نسخه های v-ray که ما برای مکس 2009 پیدا کردیم با رندر شبکه مشکل داشتن .... تمامی سیستم ها از یک نسخه استفاده می کردن ( از روی یک دی وی دی ) .... مجموعا 10 تا سیستم داشتیم ..... مربوط به زمانی می شه که سی پی یو های چها هسته ای اکستریم اینتل تازه اومده بود ..... ما هم از این سی پی یو ها استفاده می کردیم ( البته پولشو صدا و سیما داده بود ) ..... موشن کپچر هم داشتیم ..... همه چی آماده بود غیر از یک رندر فارم ..... پروژه انجام شد ولی کار ما چند برابر شد ..... این V-ray شما از کجا تهیه شده ؟.... مثل ما از توی نت یا از جای دیگه ..... مگه می شه نسخه ی کرک شده وی ری کامل کار کنه ؟؟

[mhm 650]

[quote][quote]واقعا کم لطفی می فرمایید. شما مطمئنید که در زمینه کلاستر هیچ اقدامی نشده؟[/quote]
اگه اقدامی شده من بی اطلاع هستم

لطف می کنید من رو هم در جریان بگذارید [/quote]
بزرگترین ابر رایانه خاورمیانه که از نوع کلاستر هست، 2 سال پیش از طرف [url=http://www.ihpcrc.com/fa/index.php]مرکز تحقیقات پردازش های فوق سریع دانشگاه صنعتی امیرکبیر[/url] رونمایی شد. البته جمهوری اسلامی بیش از یک دهه است که در این زمینه مشغول فعالیت می باشد.

[Ehsan_animator 3,012]

منظور من ابر رایانه نبود ..... رندر فارم یا مزرعه ای از ایست گاههای کاری در حقیقت یک شبکه است نه یک سیستم یک پارچه مثل ابر کامپیوتر ...... این مزرعه فقط در زمینه پردازش گرافیکی عمل می کند ...... هزینه بالا و عدم پشتیبانی فنی ما را مجبور کرده که از این بخش عقب باشیم و یکی از دلایلی که ما نتوانستیم یک انیمیشن کامل 70 دقیقه ای بسازیم همین مشکل است

در ضمن تعریف ابرکامپیوتر در هر سال با سال قبل متفاوت است.... یعنی کف این تعریف در هر سال با پیشرفت سخت افزارها بالاتر می رود.... معلوم نیست این ابرکامپیوتر دانشگاه امیرکبیر که برای سازمان هواشناسی ساخته شده هنوز هم در دسته ابرکامپیوترها قرار بگیرد ..... سیستم شما هم در سی سال پیش یک ابرکامپیوتر به حساب می آمد ولی الان فقط یک PC هست