وبلاگ شرکت در مورد Lattice LIFCL-40-7BG256C CrossLink-NX FPGA برای پردازش و پل زدن تصویربرداری تعبیه شده با 2.5G MIPI D-PHY

Shenzhen Mingjiada Electronics Co., Ltd. مشبک را تامین و بازیافت می کندLIFCL-40-7BG256CCrossLink-NX تعبیه شده بینایی پل زدن و پردازش تراشه FPGA.

در کاربردهای دید جاسازی شده با سرعت بالا و وضوح بالا مانند بینایی ماشین، ادراک هوشمند داخل خودرو، تصویربرداری جاسازی شده صنعتی و دستیابی به بینایی هوش مصنوعی لبه، انتقال داده تصویر با سرعت بالا، پل زدن بی‌وقفه سیگنال‌ها از چندین منبع دوربین، نیازمندی‌های پردازش تصویر کم‌وزن در زمان واقعی و پردازش تصویر با قدرت پایین‌تر در قسمت جلویی. تراشه‌های پردازش بینایی اختصاصی سنتی از سازگاری ضعیف رابط و عدم انعطاف‌پذیری به دلیل عملکرد ثابت رنج می‌برند، در حالی که FPGA‌های همه منظوره تمایل به مصرف انرژی بالا و ادغام کم رابط‌های دید اختصاصی دارند، که تعادل بین نیازهای چندگانه کوچک‌سازی، مصرف انرژی کم، تعامل سیگنال بینایی با پهنای باند بالا و توان پردازشی قابل توسعه را دشوار می‌سازد. شبکهLIFCL-40-7BG256C، بخشی از سری CrossLink-NX از FPGA های اختصاصی دید تعبیه شده، بر روی پلت فرم پردازش پیشرفته Nexus اختصاصی Lattice ساخته شده است. طراحی اصلی آن دقیقاً بر پرداختن به سناریوهای کلیدی دوگانه پل زدن و رله در دامنه دید تعبیه شده، در کنار پردازش موازی بلادرنگ در قسمت جلویی متمرکز است. این دستگاه دارای یک ماژول فرستنده گیرنده 2.5G MIPI D-PHY است که امکان اتصال داده های بصری با سرعت بالا را بین دوربین های با کیفیت بالا، پایانه های نمایشگر و پردازنده های کنترل لبه بدون نیاز به تراشه های رابط خارجی با سرعت بالا فراهم می کند. این دستگاه با مصرف انرژی بسیار کم، معماری بسیار قابل اعتماد و قابلیت های پیکربندی سریع آنی، به دستگاه منطق قابل برنامه ریزی ترجیحی برای دید خودرو، دوربین های صنعتی، امنیت جاسازی شده و دستگاه های دید هوشمند قابل حمل تبدیل شده است.

I. معماری سخت افزار اصلی و مزایای کلیدیLIFCL-40-7BG256C

LIFCL-40-7BG256C به عنوان پرچم‌دار پردازش بینایی FPGA میان رده در سری CrossLink-NX، با استفاده از فناوری پردازش 28 نانومتری FD-SOI پیشرو در صنعت تولید می‌شود. متمایز از معماری‌های سنتی فرآیند FPGA، از فناوری کنترل سوگیری بازخورد قابل برنامه‌ریزی استفاده می‌کند و بهینه‌سازی دینامیکی نسبت عملکرد به توان دستگاه را با توجه به شرایط عملیاتی واقعی امکان‌پذیر می‌سازد. در مقایسه با FPGAهای رقیب با مشخصات مشابه، مصرف انرژی تا 75 درصد کاهش می یابد و آن را کاملاً برای شرایط کاری سخت دستگاه های تعبیه شده با باتری با اتلاف حرارتی محدود به دلیل فضاهای محدود مناسب می کند. این دستگاه دارای 39000 واحد پردازش منطقی قابل برنامه ریزی است. این منابع منطقی فراوان نه تنها عملکردهای اساسی مانند پل‌سازی سیگنال بینایی پیچیده، تبدیل پروتکل و مسیریابی و توزیع داده‌های چند کاناله را انجام می‌دهند، بلکه از پردازش موازی الگوریتم‌های پردازش تصویر سبک وزن در زمان واقعی پشتیبانی می‌کنند - از جمله برش تصویر جلویی، تصحیح رنگ، کاهش نویز پیش‌پردازش، منابع محاسبه‌ای نرخ فریم بدون انطباق پس‌انداز و میزبانی فشرده. CPU یا MCU، در نتیجه بار محاسباتی کلی سیستم را به میزان قابل توجهی کاهش می دهد.

از نظر منابع حافظه، دستگاه دارای نسبت حافظه به واحد منطقی پیشرو در صنعت است که ظرفیت ذخیره سازی تا 170 بیت در هر واحد منطقی دارد. این ظرفیت بزرگ حافظه روی تراشه به طور موثر داده‌های فریم تصویر با کیفیت بالا و داده‌های پردازش متوسط ​​را از الگوریتم‌های بینایی بافر می‌کند، در نتیجه از مسائلی مانند افزایش پیچیدگی سیم‌کشی، تداخل سیگنال و افزایش هزینه‌های سخت‌افزاری مرتبط با تراشه‌های کش خارجی جلوگیری می‌کند. این دستگاه از یک بسته بندی فشرده 256 پین BGA با پسوند مدل 7BG256C استفاده می کند که دقیقاً برای برآورده کردن نیازهای عملیاتی درجه حرارت گسترده در درجه صنعتی طراحی شده است. با محدوده دمای عملیاتی از -40 درجه سانتیگراد تا +100 درجه سانتیگراد. این می تواند در درازمدت در محیط های صنعتی خشن مانند محفظه های موتور خودرو با دمای بالا، خطوط تولید صنعتی با سطح گرد و غبار بالا و متناوب دماهای بالا و پایین، و برنامه های امنیتی در فضای باز که در معرض نور شدید خورشید و سرمای شدید قرار دارند، به طور پایدار عمل کند. همچنین با استانداردهای زیست محیطی اتحادیه اروپا RoHS مطابقت دارد و الزامات صدور گواهینامه تولید انبوه برای محصولات مختلف تجاری و صنعتی را برآورده می کند. علاوه بر این، این دستگاه دارای قابلیت‌های پیکربندی سریع آنی است، با پیکربندی پورت IO تنها در 3 میلی‌ثانیه و پیکربندی کامل سیستم بیش از 8 میلی‌ثانیه طول نمی‌کشد. راه‌اندازی روشن در عرض چند ثانیه و بدون فرآیندهای بارگذاری طولانی انجام می‌شود و نیازهای اصلی تجهیزات بینایی تعبیه‌شده برای راه‌اندازی سریع، تصویربرداری فوری و پاسخ با تأخیر کم را برآورده می‌کند.

II.LIFCL-40-7BG256Cپیکربندی هسته: قابلیت رابط پرسرعت هسته سخت 2.5G MIPI D-PHY

فرستنده و گیرنده هسته سخت 2.5G MIPI D-PHY پیکربندی اصلی LIFCL-40-7BG256C برای کاربردهای بینایی تعبیه شده است و همچنین نشان دهنده مزیت تمایز هسته ای است که این دستگاه را از دستگاه های منطقی قابل برنامه ریزی همه منظوره متمایز می کند. این تراشه به طور طبیعی دو مجموعه از ماژول‌های لایه فیزیکی فرستنده گیرنده 4 کاناله MIPI D-PHY را با هسته سخت ادغام می‌کند و نیاز به شیفترهای سطح پرسرعت خارجی، تقویت‌کننده‌های سیگنال یا تراشه‌های تبدیل پروتکل را از بین می‌برد. در سطح سخت‌افزاری، به صورت بومی از حداکثر سرعت انتقال داده با سرعت بالای ۲.۵ گیگابیت بر ثانیه در هر کانال پشتیبانی می‌کند. پهنای باند ترکیبی یک رابط PHY می‌تواند الزامات جمع‌آوری و انتقال داده‌های همزمان از چندین سنسور تصویر با وضوح بالا را برآورده کند، و آن را برای برنامه‌های رایج منبع داده بصری با کیفیت بالا و سرعت بالا مانند سنسورهای تصویر CMOS با کیفیت ۴K، ماژول‌های دوربین با نرخ فریم بالا و ماژول‌های دوربین دید خودکار صنعتی کاملاً مناسب می‌سازد.

این MIPI D-PHY قوی کاملاً به مشخصات پروتکل استاندارد بین‌المللی MIPI پایبند است و با پروتکل دریافت تصویر CSI-2 و پروتکل خروجی نمایشگر DSI سازگار است و تبادل سیگنال بصری دو جهته انعطاف‌پذیر را امکان‌پذیر می‌کند: در جهت بالا، از دریافت، رمزگشایی و داده‌های زمان‌بندی مجدد تصاویر دوربین‌های RAW با سرعت بالا پشتیبانی می‌کند. در جهت downlink، می‌تواند داده‌های تصویر پردازش‌شده را به سرعت به تجهیزات جانبی مانند نمایشگرهای داخل خودرو و پایانه‌های صفحه لمسی صنعتی ارسال کند، در نتیجه به یک پل یکپارچه سرتاسر برای جمع‌آوری، پردازش و نمایش داده‌های بصری دست می‌یابد. در مقایسه با راه‌حل‌های سنتی که از FPGA برای شبیه‌سازی رابط‌های MIPI از طریق ورودی/خروجی استاندارد استفاده می‌کنند، هسته سخت بومی D-PHY مزایای قابل‌توجهی از جمله یکپارچگی سیگنال برتر، تأخیر انتقال کمتر، افزایش مقاومت در برابر تداخل الکترومغناطیسی و کاهش مصرف انرژی را ارائه می‌دهد. این به طور موثر مشکلات رایجی را که در هنگام انتقال تصویر با سرعت بالا با آن مواجه می‌شوید، کاهش می‌دهد، مانند اعوجاج صفحه، از دست دادن فریم، خطاهای زمان‌بندی و خطاهای داده. علاوه بر این، دستگاه تا 37 جفت جفت ورودی/خروجی دیفرانسیل منبع-همزمان قابل برنامه ریزی را ذخیره می کند، که امکان گسترش انعطاف پذیر را برای پشتیبانی از رابط های استاندارد مختلف دیفرانسیل بصری مانند LVDS، SLVS و subLVDS فراهم می کند. این امر سازگاری و ادغام با ماژول‌های دوربین قدیمی و لوازم جانبی دید صنعتی سفارشی‌شده را تسهیل می‌کند و هم نیازهای برنامه‌های پرسرعت پروژه‌های جدید و هم نیاز به مقاوم‌سازی تجهیزات موجود را برطرف می‌کند.

III. توابع اصلی ازLIFCL-40-7BG256Cسیستم چشم انداز تعبیه شده: پل یکپارچه، رله و پردازش موازی بلادرنگ

(1) پل زدن هوشمند سیگنال های بینایی چند منبع و تبدیل پروتکل بدون درز

در معماری سیستم بینایی جاسازی شده، حسگرهای تصویر، پردازنده‌های کنترل اصلی و پایانه‌های نمایش از سازندگان مختلف اغلب دارای پروتکل‌های رابط ناسازگار، زمان‌بندی داده‌ها و فرمت‌های انتقال هستند، که پل‌سازی و انطباق سیگنال را به یک چالش اصلی در استقرار سیستم تبدیل می‌کنند. با استفاده از ترکیبی از معماری منطقی قابل برنامه ریزی و یک رابط MIPI با سرعت بالا،LIFCL-40-7BG256Cبه عنوان هاب سیگنال مرکزی برای کل سیستم بینایی عمل می کند و از اکتساب همزمان، تجزیه پروتکل، تبدیل فرمت و مسیریابی سیگنال های دید ناهمگن چندگانه پشتیبانی می کند. به عنوان مثال، می تواند به طور همزمان با چندین جریان داده تصویر دوربین MIPI از سیستم دید فراگیر خودرو ارتباط برقرار کند. پس از همگام سازی زمان بندی تصویر چند کاناله و ادغام داده ها، داده ها را در قالبی سازگار با پروتکل پردازنده میزبان خروجی می دهد. همچنین می‌تواند بین ماژول‌های دوربین MIPI و پایانه‌های نمایشگر LVDS، و همچنین بین رابط‌های انتقال دید USB و تراشه‌های پردازش باطنی MIPI، پل‌های متقابل پروتکلی بدون درز ایجاد کند، در نتیجه به طور کامل نقاط درد صنعت ناهماهنگی رابط و ناسازگاری‌های زمان‌بندی بین دستگاه‌های سخت‌افزاری مختلف را برطرف می‌کند. با انعطاف‌پذیری منطق قابل برنامه‌ریزی، منطق پل زدن را می‌توان در صورت تقاضا برای انطباق با داده‌های تصویر با وضوح‌های مختلف، نرخ فریم و فرمت‌های پیکسل (RAW10/RAW12/RAW14) سفارشی کرد. ارتقاء عملکردی را می توان تنها از طریق تکرارهای سیستم عامل بدون نیاز به اصلاح مدارهای سخت افزاری به دست آورد و چرخه های تکرار تحقیق و توسعه محصول را به طور قابل توجهی کوتاه کرد.

(2) تسریع پیش پردازش موازی در زمان واقعی برای دید سبک جلو

بر خلاف تراشه های پل زدن سنتی که صرفاً عملکرد رله سیگنال را ارائه می دهند،LIFCL-40-7BG256Cمجهز به منابع محاسباتی DSP فراوان است. بارهای کاری پیش پردازش موازی بی‌درنگ را برای دید تعبیه‌شده بین باطن انتقال داده تصویر و پردازنده کنترل اصلی تخلیه می‌کند. الگوریتم های اصلی پردازش تصویر - مانند حذف نویز تصویر، تصحیح تراز سفیدی، تبدیل فضای رنگ، برش و مقیاس بندی تصویر، استخراج منطقه مورد علاقه (ROI) و تثبیت نرخ فریم - که قبلاً به CPU میزبان پشتیبان نیاز داشت تا منابع محاسباتی قابل توجهی را مصرف کند، اکنون می توانند به صورت موازی از طریق برنامه FPGA قابل پیاده سازی شوند. در مقایسه با پردازنده های سریال، معماری محاسبات موازی FPGA به طور قابل توجهی تأخیر را کاهش می دهد و از پردازش تصویر صاف و کم تأخیر در کل فرآیند اطمینان حاصل می کند، در نتیجه نیازهای بلادرنگ سناریوهایی مانند درک رانندگی خودمختار داخل خودرو و تشخیص عیب در زمان واقعی صنعتی را برآورده می کند. علاوه بر این، با بارگذاری وظایف محاسباتی در قسمت جلویی، پردازنده میزبان پشتی از نیاز به تخصیص منابع محاسباتی اضافی به پیش پردازش اولیه تصویر رها می شود. بنابراین می‌تواند بر روی وظایف اصلی و سطح بالا مانند تشخیص هدف هوش مصنوعی، تجزیه و تحلیل تصمیم‌گیری و کنترل سیستم تمرکز کند، که منجر به بهبود قابل‌توجه در بازده عملیاتی کلی سیستم و تخصیص منطقی‌تر مصرف انرژی و منابع محاسباتی می‌شود.

IV. راLIFCL-40-7BG256Cطراحی با قابلیت اطمینان بالا برای محیط های عملیاتی تعبیه شده مناسب است

تجهیزات بینایی جاسازی شده، به ویژه در بخش‌های خودرو، صنعتی و امنیتی، نیازمندی‌های بسیار بالایی برای پایداری قطعات در طول عملیات طولانی‌مدت، و همچنین مقاومت در برابر تداخل و تحمل خطا در برابر تشعشع است. راLIFCL-40-7BG256CCrossLink-NX FPGA به طور خاص برای قابلیت اطمینان در محیط‌های تعبیه‌شده سخت بهینه شده است، دارای نرخ خطای نرم بسیار کم در مقایسه با دستگاه‌های هم‌رده خود است و در مقایسه با محصولات رقیب، بیش از صد برابر در مقاومت در برابر اختلالات تک رویدادی (SEU) و تداخل الکترومغناطیسی (EMI) بهبود یافته است. می‌تواند برای مدت‌های طولانی در محیط‌های صنعتی که با تداخل الکترومغناطیسی قوی، نوسانات شدید دما، و عملکرد مداوم و بدون وقفه مشخص می‌شوند، پایدار عمل کند، در نتیجه مسائلی مانند خرابی ناگهانی سیستم، ناهنجاری‌های داده‌ها و خرابی‌های تصویربرداری در طول عملکرد سیستم‌های بینایی را حذف می‌کند. فرآیند تولید FD-SOI این دستگاه ذاتاً مقاومت در برابر تشعشع را فراهم می کند و آن را قادر می سازد در محیط های پیچیده الکترومغناطیسی - مانند امنیت در فضای باز، برنامه های کاربردی داخل خودرو و خطوط تولید اتوماسیون صنعتی - بدون نیاز به مدارهای محافظ اضافی مستقر شود. علاوه بر این، دستگاه دارای مصرف انرژی استاتیک بسیار کم، با مدیریت هوشمند انرژی بین حالت آماده به کار و فعال است. این آن را برای تجهیزات بینایی قابل حمل با باتری و سیستم‌های برق کم ولتاژ خودرو که به استقامت کم مصرف نیاز دارند، متعادل کردن سه معیار اصلی عملکرد، مصرف انرژی و قابلیت اطمینان ایده‌آل می‌کند.

V. پوشش جامع سناریوهای کاربردی معمولی اصلی برایLIFCL-40-7BG256C

شبکه Lattice با استفاده از رابط سخت MIPI D-PHY پرسرعت 2.5G، پل زدن دید یکپارچه و قابلیت‌های پردازش زمان واقعی، و مزایای اصلی مصرف انرژی کم، قابلیت اطمینان بالا و کوچک‌سازیLIFCL-40-7BG256CFPGA به طور گسترده برای برنامه‌های بینایی تعبیه‌شده هسته در بخش‌های مختلف مورد استفاده قرار گرفته است. در زمینه دید هوشمند خودرو، می توان از آن برای سیستم های تصویربرداری با دید فراگیر 360 درجه، تصویربرداری با وضوح بالا برای دوربین های داشبورد، و پل زدن و پیش پردازش سیگنال های بصری برای نظارت بر داخل کابین، اطمینان از انتقال پایدار و پردازش زمان واقعی تصاویر با کیفیت بالا در محیط های با دمای شدید استفاده کرد. در زمینه دید تعبیه شده صنعتی، برای دوربین های فشرده صنعتی با کیفیت بالا، تجهیزات صنعتی تشخیص عیب آنلاین صنعتی و دستگاه های تشخیص بارکد بینایی ماشین مناسب است، که امکان گرفتن تصویر با سرعت بالا، پیش پردازش در زمان واقعی و رابط سیگنال را فراهم می کند. در بخش امنیت هوشمند لبه، برای انتقال داده های تصویر، رمزگذاری، پیش پردازش و گسترش رابط در دوربین های شبکه با کیفیت بالا و دستگاه های عکس فوری امنیتی قابل حمل استفاده می شود. در دستگاه‌های بینایی هوشمند تعبیه‌شده در سطح مصرف‌کننده، با ماژول‌های دید پوشیدنی هوشمند، سیستم‌های نظارت هوشمند خانگی و کیت‌های توسعه دید تعبیه‌شده، مطابق با الزامات نصب فشرده، عملکرد کم مصرف و گسترش عملکردی قابل برنامه‌ریزی و انعطاف‌پذیر سازگار است.

VI. خلاصه ای ازLIFCL-40-7BG256C

شبکهLIFCL-40-7BG256CCrossLink-NX یک FPGA اختصاصی است که به طور خاص برای برنامه های بینایی جاسازی شده طراحی شده است، بر روی یک فرآیند 28 نانومتری FD-SOI کم مصرف ساخته شده است، دارای 39000 گیت منطقی و یک هسته IP سخت MIPI D-PHY با سرعت 2.5 گیگابیت بر ثانیه است که دقیقاً چهار چالش کلیدی دستگاه های چندگانه با تصویر جاسازی شده را برطرف می کند. پل زدن، پردازش تصویر جلویی در زمان واقعی، و عملکرد کم مصرف و با قابلیت اطمینان بالا. این پایداری انتقال سیگنال با سرعت بالا و سهولت ادغام تراشه‌های رابط اختصاصی را با قابلیت توسعه انعطاف‌پذیر و قابلیت‌های محاسباتی موازی منطق قابل برنامه‌ریزی FPGA ترکیب می‌کند و ساخت یک معماری سیستم بینایی تعبیه‌شده مینیمالیستی را بدون نیاز به مدارهای پیچیده محیطی امکان‌پذیر می‌سازد. این دستگاه چه در محیط‌های با قابلیت اطمینان بالا و پرتقاضا مانند برنامه‌های کاربردی خودرو و صنعتی، یا در دستگاه‌های قابل حمل و بینایی کم مصرف، پل زدن کارآمد سیگنال‌های بینایی، پیش‌پردازش بی‌درنگ داده‌های تصویر و بهینه‌سازی منطقی قدرت محاسباتی سیستم را ممکن می‌سازد. بنابراین به انتخاب ترجیحی تراشه منطقی قابل برنامه ریزی برای ارتقای راه حل های سخت افزاری دید تعبیه شده و ایجاد تکرار و نوآوری محصول تبدیل شده است.