وبلاگ شرکت در مورد Lattice LIFCL-40-8BG400C LIFCL-40 CrossLink-NX FPGA پیاده‌سازی MIPI Bridging و Edge AI

شرکت Shenzhen Mingjiada Electronics Co., Ltd. تامین کننده و بازیافت کننده شبکهLIFCL-40-8BG400CLIFCL-40 CrossLink-NXTM FPGA برای پل گذاری MIPI و AI لبه.

منLIFCL-40-8BG400Cخلاصه اصلی: طراحی شده برای دید جاسازی شده و هوش لبه ای

درقفلLIFCL-40-8BG400Cمتعلق به سری FPGAs Lattice CrossLink-NX TM است. بر اساس پلت فرم فرآیند 28nm FD-SOI Nexus ساخته شده است، یک تراشه مخصوص دید جاسازی شده است که مصرف انرژی کم، اندازه فشرده،قابلیت اطمینان بالا، و عملکرد بالا طراحی شده برای پل رابط MIPI، همجوشی چند سنسور، و سناریوهای نتیجه گیری هوش مصنوعی کم وزن،این به طور کامل نیازهای ارتقاء هوشمند در سراسر خودرو را پاسخ می دهداین تراشه در یک BGA 400 پین بسته بندی شده است و منابع منطقی و رابط های سخت جامع را ارائه می دهد.این امکان تبدیل پروتکل MIPI و ادغام محاسبات AI را بدون لبه های اضافی فراهم می کند، از بین بردن معماری دو تراشه ای (تراشه پل + شتاب دهنده هوش مصنوعی) که در راه حل های سنتی یافت می شود. این به طور قابل توجهی اثرات سخت افزاری، مصرف برق و هزینه را کاهش می دهد.

1پارامترهای سخت افزاری کلیدی

- منابع منطق و حافظه: شامل سلول های منطق 39K با حافظه در تراشه تا 3Mb (از جمله EBR و LRAM) است.نسبت مناسب حافظه به منطق آن امکان ذخیره سازی کارآمد داده های فریم ویدیو و ذخیره وزن مدل AI را فراهم می کند، به حداقل رساندن دسترسی به حافظه خارجی و کاهش تاخیر انتقال داده.

- قدرت محاسباتی: یکپارچه سازی 56 ماژول DSP چندگانه 18 × 18 ، ارائه منابع محاسباتی فراوان برای پشتیبانی موثر از نتیجه گیری CNN سبک وزن.این به خواسته های محاسباتی وظایف AI لبه ای مانند تشخیص شی را برآورده می کند، طبقه بندی تصویر و تشخیص نقص.

- مزیت های رابط هارد کد شده: شامل دو مجموعه از فرستنده های هارد کد شده 4 کانال MIPI D-PHY است که هر کانال با سرعت 2.5Gbps با پهنای باند مجموع PHY 10Gbps کار می کند.به طور بومی از ورودی سنسور تصویر MIPI CSI-2 و خروجی صفحه نمایش MIPI DSI پشتیبانی می کند، امکان انتقال سیگنال MIPI با سرعت بالا بدون مصرف منابع منطقی را فراهم می کند. علاوه بر این از 5Gbps PCIe ، رابط های برنامه نویسی LVDS / SubLVDS / OpenLDI پشتیبانی می کند.ارائه سازگاری تبدیل پروتکل استثنایی.

- مصرف انرژی پایین و قابلیت اطمینان: در مقایسه با FPGAs مشابه، مصرف انرژی 75٪ پایین تر را با جریان آماده کمتر از 70μA بدست می آورد.پشتیبانی از پیکربندی سریع I / O 3ms و راه اندازی سیستم فوری 8ms. میزان خطا نرم بیش از 100 برابر کاهش یافته است، که آن را برای محیط های صنعتی و خودرو مورد نیاز در حالی که نیازهای عملکرد پایدار طولانی مدت را برآورده می کند، مناسب می کند.

2مزیت های تکنولوژیکی اصلی

در مقایسه با تراشه های سنتی پل ASIC و FPGAs عمومی،LIFCL-40-8BG400C** یکپارچه سازی یک تراشه از پل MIPI و AI لبه را به دست می آورد**. این تراشه تاخیر کم و ثبات بالا تراشه های پل اختصاصی را با انعطاف پذیری قابل برنامه ریزی FPGA ترکیب می کند،امکان سازگاری سریع با دستگاه های مختلف MIPI و مدل های سفارشی هوش مصنوعی در حالی که مصرف انرژی پایین و فاکتور فرم فشرده را حفظ می کنداین کار چالش های اصلی در سناریوهای محاسبات لبه ای را حل می کند، از جمله قدرت محاسبات ناکافی، عدم سازگاری رابط، محدودیت های قدرت و اجزای بیش از حد.

II. قابلیت پیوند MIPI: سرعت بالا، انعطاف پذیری و سازگاری با چندین سناریو

MIPI CSI-2/DSI از رابط های اصلی با سرعت بالا برای سنسورهای تصویر و نمایشگرها است.پردازنده های اصلی و کنترل کننده های میزبان اغلب از دسترسی محدود رابط و سازگاری پروتکل ناکافی رنج می برند..LIFCL-40-8BG400Cاستفاده از هسته سخت بومی MIPI D-PHY و معماری منطقی قابل برنامه ریزی برای امکان پل گذاری متنوع MIPI و تبدیل پروتکل. این شرایط را برای ادغام چند سنسور برآورده می کند،گسترش رابط، و رله سیگنال، ارائه بدون فشرده سازی، انتقال کم تاخیر از جریان های ویدیویی با وضوح بالا در سراسر.

1معماری راه حل پل گذاری MIPI

پل های جمع آوری سنسورهای چند MIPI

برای کاربردهایی مانند سیستم های منظره اطراف خودرو، بازرسی چند دوربین صنعتی و نظارت پانورامیکی امنیتی،LIFCL-40-8BG400Cاطلاعات را از حداکثر 11 سنسور MIPI CSI-2 جمع آوری می کند. با استفاده از فناوری کانال مجازی، چندین جریان داده را داوری می کند و بخیه می کند.جمع آوری داده های حسگر پراکنده به یک خروجی جریان داده MIPI با سرعت بالا به پردازنده میزبان. این به طور ظریف محدودیت رابط های ناکافی MIPI را بر روی کنترل کننده میزبان حل می کند. همزمان از خیاط قاب افقی / عمودی پشتیبانی می کند،از حافظه روی تراشه و بافرهای خارجی DDR برای تولید تصاویر پانورامیک با وضوح فوق العاده استفاده می کند.، برای استفاده از برنامه های نظارت بصری گسترده.

MIPI و تبدیل پروتکل رابط متضاد

این تراشه با استفاده از منابع I / O قابل برنامه ریزی و SERDES با سرعت بالا ، تبدیل دو طرفه بین MIPI CSI-2 و رابط هایی مانند PCIe ، USB3.2 Gen1 ، LVDS و CMOS را تسهیل می کند.برای مثال، سیگنال های سنسور MIPI را به جریان های ویدیویی USB3.0 برای اتصال مستقیم به رایانه های شخصی / کنترل کننده های جاسازی شده تبدیل می کند،یا سیگنال های نمایش LVDS سنتی را به سیگنال های MIPI DSI برای هدایت صفحه نمایش های با وضوح بالا تبدیل می کند.این امر ارتقا هوشمندانه برای تجهیزات قدیمی و اتصال متقابل دستگاه های چند سیستم عامل را تسهیل می کند و امکان سازگاری رابط را بدون جایگزینی کنترل کننده های اصلی فراهم می کند.

تکرار و تقسیم سیگنال MIPI

برای انتقال فاصله طولانی و سناریوهای چند دستگاهی، این امکان تقویت مکرر سیگنال MIPI و خروجی یک به بسیاری را فراهم می کند.این تضمین می کند یکپارچگی انتقال سیگنال با سرعت بالا در حالی که همزمان یک سیگنال سنسور واحد را به چندین واحد نمایش / پردازش ارائه می دهد، افزایش مقیاس پذیری سیستم مناسب برای اطلاعات تفریحی خودرو، اتصال صفحه نمایش صنعتی و کاربردهای مشابه است.

2مزیت های اصلی اجرای پل

- انتقال با تاخیر کم: یک کد سخت MIPI D-PHY در ترکیب با یک معماری منطقی قابل برنامه ریزی، تاخیر انتقال جریان ویدئویی را در زیر سطح میلی ثانیه به دست می آورد.این تضمین می کند عملکرد ویدیوی با وضوح بالا در زمان واقعی، که آن را مناسب برای نظارت پویا و سناریوهای کنترل در زمان واقعی می کند.

- انتقال بدون ضرر: از انتقال داده های ویدئویی بدون ضرر پشتیبانی می کند، کیفیت تصویر اصلی را حفظ می کند و از تخریب ناشی از فشرده سازی و رمزگشایی جلوگیری می کند.این تقاضا برای بازرسی بصری دقیق را برآورده می کند.

- قابلیت برنامه ریزی: پیکربندی انعطاف پذیر تعداد کانال های MIPI، نرخ انتقال و پارامترهای پروتکل، امکان سازگاری سریع با مدل های مختلف سنسور و نمایشگر را فراهم می کند.کوتاه کردن چرخه های توسعه محصول.

III. پیاده سازی نتیجه گیری هوش مصنوعی لبه ای: سبک وزن، کم مصرف، هوش در زمان واقعی در دستگاه

LIFCL-40-8BG400Cاز مجموعه راه حل های Lattice sensAITM و زنجیره ابزار توسعه Radiant استفاده می کند تا نتیجه گیری هوش مصنوعی سبک را در لبه انجام دهد بدون اینکه به قدرت محاسباتی ابری یا کنترل کننده های پیشرفته تکیه کند.این یک فرآیند کاملاً حلقه بسته را به دست می آورد که شامل ** خرید جریان ویدئویی MIPI ️ پیش پردازش ️ نتیجه گیری هوش مصنوعی ️ خروجی نتیجه است **، کاهش فشار محاسباتی بر روی کنترل کننده اصلی و ارائه اطلاعات واقعی لبه.

1. فرآیند استفاده از هوش مصنوعی

سازگاری و بهینه سازی مدل

برای سناریوهای لبه ای با محاسبات و ذخیره سازی محدود، مدل های سبک وزن مانند MobileNet، YOLO-tiny و CNN انتخاب می شوند.و جمع آوری برای فشرده سازی وزن برای سازگاری ذخیره سازی روی تراشه، کاهش هزینه های محاسباتی در حالی که دقت استنباط را حفظ می کند. این امر هماهنگی یکپارچه بین مدل ها و منابع سخت افزاری تراشه را تضمین می کند.

هماهنگی پیش پردازش ویدیو و نتیجه گیری

با استفاده از منطق قابل برنامه ریزی تراشه، پیش پردازش تصویر به طور همزمان در طول انتقال پل MIPI اجرا می شود. این شامل demosaicing، اصلاح رنگ، اصلاح گاما،و منطقه علاقه (ROI) برای حذف داده های اضافیداده های تصویر پیش پردازش شده به طور مستقیم به واحد شتاب DSP وارد می شوند تا وظایف نتیجه گیری مانند تشخیص شی را تکمیل کنند.تشخیص چهره، شناسایی نقص و آمار شمارش. این عملیات لوله از انتهای به انتهای اطمینان از پردازش بدون مشکل بدون تنگه داده است.

نتیجه گیری خروجی و قابلیت همکاری

نتایج نتیجه گیری هوش مصنوعی می تواند به صورت هم زمان از طریق MIPI، GPIO، UART یا رابط های دیگر تولید شود.این خروجی ها ممکن است یا بر روی جریان ویدئویی خام برای نمایش یا انتقال به تراشه کنترل اصلی برای ایجاد اقدامات بعدی قرار گیرداین یک حلقه بسته هوشمند از طرف حاشیه را بدون دخالت ابر به دست می آورد، زمان پاسخ سریعتر و حفظ حریم خصوصی داده ها را افزایش می دهد.

2. سناریوهای اپلیکیشن های معمولی AI Edge

- بازرسی بینایی صنعتی: با دوربین های صنعتی MIPI ادغام می شود تا شناسایی نقص در زمان واقعی، شمارش قطعات و تأیید مشخصات را انجام دهد،جایگزین کردن بازرسی دستی در حالی که افزایش دقت و کارایی.

- درک هوشمند در داخل خودرو: داده های دوربین های داخل خودرو MIPI را جمع آوری می کند تا نظارت بر خستگی راننده، تشخیص موانع و هشدار های خروج از خط را امکان پذیر کند.پشتیبانی از سیستم های پیشرفته کمک به راننده با مصرف انرژی کم مناسب برای محیط های قدرت خودرو.

نظارت بر امنيت: بررسي شکل انسان، هشدارهاي نفوذي و شناسايي صورت اجرا ميکنه.نتیجه گیری محلی و هشدار کاهش بار انتقال ابر در حالی که بهبود پاسخ هشدار.

- تعامل الکترونیک مصرفی: دوربین ها و صفحه نمایش های MIPI را برای تشخیص حرکات و باز کردن چهره، با عملکرد کم مصرف بهینه شده برای عمر باتری دستگاه قابل حمل، هدایت می کند.

IV. راه حل همگرایی تک تراشه: مزایای همبستگی MIPI Bridging + Edge AI

راه حل های دید لبه ای سنتی عمدتاً از معماری دو چیپ از چیپ پل MIPI + چیپ شتاب دهنده هوش مصنوعی استفاده می کنند.افزایش تاخیر، و هزینه های مداوم بالا.LIFCL-40-8BG400Cبه دست آوردن یکپارچه سازی یک تراشه از MIPI پل و AI لبه، ارائه مزایای اصلی قابل توجهی:

- سخت افزاری حداقل، فاکتور شکل به شدت کاهش یافته: جایگزینی یک تراشه از راه حل های دو تراشه، فضای طرح PCB را کاهش می دهد و امکان سازگاری با تراشه های فشرده را فراهم می کند.دستگاه های قابل حمل در حالی که کاهش هزینه های BOM و ساده سازی عیب یابی سخت افزار.

- کار با قدرت کم، تحمل بدون نگرانی: فن آوری فرآیند FD-SOI در ترکیب با بهینه سازی سخت هسته ای، مصرف کل قدرت سیستم را کمتر از 1.5W به دست می آورد.با قدرت آماده در محدوده میکرو آمپراین کار کار با باتری را در سناریوهای لبه ای بدون خنک سازی فعال تسهیل می کند.

- تاخیر کم زنجیره ای کامل: تاخیر انتقال داده بین تراشه ها را از بین می برد و امکان ضبط بی سیم ویدیو، پل و نتیجه گیری هوش مصنوعی را برای برآورده کردن الزامات سختگیرانه در زمان واقعی فراهم می کند.

- قابلیت اطمینان بالا برای محیط های خشن: پشتیبانی از محدوده دمای صنعتی / خودرو با مقاومت قوی در برابر تداخل.قابلیت روشن شدن فوری، روشن شدن سریع دستگاه را برای کاربردهای صنعتی و خودرو تضمین می کند..

V. نتیجه گیری

قفل هاLIFCL-40-8BG400CCrossLink-NXTM FPGA یکپارچه سازی هسته های سخت افزاری بومی MIPI ، قدرت محاسباتی قابل توجهی ، ویژگی های کم مصرف و برنامه نویسی را به دست می آورد.به یکپارچه سازی یک تراشه از پل MIPI و AI لبه ای دست می یابداین مشکل عدم تطابق رابط و اتصال چند سنسور را در سناریوهای دید جاسازی شده حل می کند و در عین حال نتیجه گیری هوشمند در زمان واقعی در لبه، تعادل عملکرد،مصرف برقچه در صنعت بینایی، هوش خودرو، نظارت امنیتی، یا الکترونیک مصرفی، این تراشه انتخاب ایده آل برای سبک وزن،راه حل های هوش بینایی کم مصرفاین امکان را برای ارتقاء سریع هوشمند برای دستگاه ها فراهم می کند در حالی که با چشم انداز در حال تکامل محاسبات لبه ای هماهنگ می شود.