高(gao)云現可提供一套(tao)用于圖(tu)(tu)像信(xin)號處(chu)理(li)的解決方案，其中包括ISP處(chu)理(li)模(mo)塊和實時對其控制(zhi)的MCU處(chu)理(li)器。方案通過處(chu)理(li)從前(qian)端圖(tu)(tu)像傳感器過來的原始Bayer圖(tu)(tu)像，輸出用于顯(xian)示或識別的優(you)化后的RGB圖(tu)(tu)像流(liu)。ISP將 Bayer 格式的像素數(shu)據通過 CFA、CCM、Gamma 校正模(mo)塊和 AEAWB模(mo)塊。其中AEAWB模(mo)塊根據統計數(shu)值及直(zhi)方圖(tu)(tu)信(xin)息進行數(shu)據處(chu)理(li)，從而提供色(se)彩(cai)和亮度平衡(heng)的清晰圖(tu)(tu)像。
?
特性?
?●??支持4種不同傳感器對齊方式（BGGR，GBRG, GRBG, RGGB）,以及圖像(xiang)數據(ju)位(wei)寬8bit和10bit。
?●??支持各種圖像(xiang)分(fen)辨率（VGA, 720p, 1080p, 2K, 4K）。
?●??ISP的模塊(kuai)都為獨立(li)的子模塊(kuai)，包(bao)括：
?- AEAWB模塊 的自動白(bai)平(ping)衡(heng)和自動曝光度調節。
?- CFA模塊 將Bayer圖像(xiang)格式(shi)轉為RGB圖像(xiang)格式(shi)。
?- CCM模塊 模塊實現顏(yan)色(se)校正(zheng)。
?- GAMMA模塊 模塊實現(xian)對圖(tu)像灰度值的非線性(xing)調節。
?
?
ISP Pipeline - Resource Utilization
Module Name | Register | LUT | ALU | DSP | BSRAM | SSRAM |
CFA | 597 | 570 | 693 | 0 | 6 | 0 |
CCM | 578 | 56 | 0 | 6 | 0 | 0 |
GAMMA | 76 | 22 | 0 | 0 | 1 | 0 |
AEAWB | 1238 | 1153 | 748 | 6 | 3 | 4 |
?
Gowin ISP解決方案包括(kuo)一(yi)組(zu)圖像處理(li)(li)IP以及一(yi)個協同處理(li)(li)器，用于實時控制圖像處理(li)(li)流(liu)水(shui)線。ISP解決方案主要(yao)由(you)四(si)個主要(yao)模塊組(zu)成。
CFA (Color Filter Array) Debayer IP
色彩濾波陣列模塊針對不同的(de)傳感器陣列排列模式(shi)，根據插值濾波器系數(shu)特點做了相應的(de)優化，并且使(shi)用(yong)了5x5的(de)高質量算子。通過插入相鄰像(xiang)(xiang)素實現R、G、B輸出，將Bayer圖(tu)像(xiang)(xiang)格(ge)式(shi)轉為RGB圖(tu)像(xiang)(xiang)格(ge)式(shi)。
?
?
CCM (Color Correction Matrix) IP
顏(yan)色(se)(se)校正(zheng)矩(ju)陣提(ti)主要為(wei)(wei)了校正(zheng)在濾光(guang)板處各顏(yan)色(se)(se)塊之(zhi)間(jian)的(de)(de)顏(yan)色(se)(se)滲透帶來(lai)(lai)的(de)(de)顏(yan)色(se)(se)誤(wu)差。通過為(wei)(wei)每個(ge)顏(yan)色(se)(se)分(fen)量(liang)提(ti)供(gong)增益和偏移(yi)系(xi)數(shu)來(lai)(lai)調整接收圖像(xiang)數(shu)據(ju)，以最大限度地擴大每個(ge)顏(yan)色(se)(se)分(fen)量(liang)的(de)(de)數(shu)字(zi)值范圍，并消(xiao)除一個(ge)顏(yan)色(se)(se)分(fen)量(liang)對另一個(ge)顏(yan)色(se)(se)分(fen)量(liang)的(de)(de)影響。
?
Gamma Correction IP
伽馬校正對(dui)(dui)顯示(shi)輸出中的非線性(xing)(xing)特性(xing)(xing)進行補償，同時調整成像數據(ju)的對(dui)(dui)比度。
?
AEAWB (Auto Exposure and Auto White Balance) IP
自動(dong)曝光調整圖像的亮度，使其(qi)在顯示時不會太暗或太亮。
自動白平衡用(yong)于(yu)調整顏色組(zu)成，以在亮度或(huo)亮度范圍內保留相(xiang)同的白色值。
自動曝光(guang)和自動白平衡使(shi)用直方圖(tu)或(huo)平均亮度(du)子模(mo)塊來(lai)獲取圖(tu)像幀過(guo)程中的顏色(se)分(fen)量(liang)值。這通過(guo)寄存器(qi)映射由協同(tong)處(chu)(chu)理器(qi)讀取，如ARM Cortex-M。然(ran)后(hou)，協同(tong)處(chu)(chu)理器(qi)使(shi)用Gray World等(deng)算法調(diao)整成像數(shu)據流的系數(shu)值，以調(diao)整亮度(du)和補(bu)償顏色(se)方差(cha)。
?
Gowin的圖像信號(hao)處理器(qi)IP可(ke)與Gowin IP Core Generator中的其他IP相(xiang)結合，開發完(wan)整的視頻和圖像產品(pin)可(ke)編程(cheng)片上系(xi)統(tong)(SoC)解決方案。
?
?
相機和成像SoC參考設計-資源使用
Module Name | Register | LUT | ALU | DSP | BSRAM | SSRAM | PLL |
| OV5647 Initialization | 225 | 462 | 31 | 0 | 0 | 0 | 0 |
| MIPI CSI-2 Interface | 448 | 444 | 41 | 0 | 1 | 17 | 0 |
| FOV Cropping | 42 | 60 | 0 | 0 | 0 | 0 | 0 |
| ISP Pipeline | 2722 | 2013 | 1441 | 12 | 10 | 16 | 0 |
| Video Frame Buffer | 346 | 684 | 86 | 0 | 8 | 0 | 0 |
| DDR3 Memory Interface | 1729 | 1399 | 61 | 0 | 8 | 70 | 0 |
| Scaler | 892 | 623 | 68 | 0 | 18 | 4 | 0 |
| Other | 119 | 119 | 4 | 0 | 0 | 0 | 3 |
| M1 | 2490 | 5694 | 162 | 3 | 64 | 20 | 0 |
| Total | 9165 | 11636 | 1894 | 13 | 109 | 131 | 3 |
?
高云除了提(ti)供單獨的ISP IP核(he)之(zhi)外(wai)，還(huan)提(ti)供了基于(yu)(yu)DK-Start-GW2A55開發板的參考(kao)設(she)計，該(gai)參考(kao)設(she)計還(huan)包括幾個額外(wai)的模(mo)塊，通(tong)常(chang)與ISP IP一(yi)起使(shi)用(yong)，如MIPI CSI-2接(jie)口模(mo)塊，用(yong)于(yu)(yu)連接(jie)接(jie)口串(chuan)行圖(tu)(tu)(tu)像(xiang)傳感器和去(qu)分組圖(tu)(tu)(tu)像(xiang)數據；幀(zhen)緩沖區模(mo)塊和DDR3內存接(jie)口模(mo)塊，用(yong)于(yu)(yu)存儲幀(zhen)用(yong)于(yu)(yu)后期處理(li)和調(diao)整幀(zhen)率；I2C控制(zhi)器和PROM，用(yong)于(yu)(yu)初(chu)始化(hua)和調(diao)整圖(tu)(tu)(tu)像(xiang)傳感器配置；圖(tu)(tu)(tu)像(xiang)裁(cai)剪模(mo)塊用(yong)于(yu)(yu)獲取有效(xiao)可視的圖(tu)(tu)(tu)像(xiang)流。此外(wai)，該(gai)參考(kao)設(she)計還(huan)包括一(yi)個 ARM Cortex-M 處理(li)器，該(gai)處理(li)器用(yong)于(yu)(yu)實時控制(zhi)圖(tu)(tu)(tu)像(xiang)處理(li)流水線(xian)。