카네기 멜론 대 영상 처리 센서(Pixy2.1)
(Pixy2.1 은 Pixy2 의 Version-Up 된 제품입니다)
Pixy2는 Carnegie Mellon Robotics Institute와 Charmed Labs의 파트너십으로 운용되며 CMUcams로부터 발전되어 왔습니다.
2014 년 3 월에 처음 배송 되기 시작해서 이미 역사상 그리고 전 세계적으로 가장 널리 사용되는 비전 시스템이 되었습니다.
|
|
|
|
Pixy2 안내
Pixy2는 Pixy의 두 번째 버전입니다. 원본 Pixy보다 빠르며 작고 기능이 뛰어나며 라인 트렉킹/활로잉 알고리즘과 기타 기능이 추가되었습니다.
Pixy2에 추가 된 내용은 다음과 같습니다.
- Pixy2는 라인 - 활로잉 로봇을 위한 라인, 라인교차점 및 작은 바코드를 감지합니다.
- 향상된 프레임 율 - 초당 60 프레임.
- 색상 기반 객체 감지에 트레킹 알고리즘이 추가되었습니다.
- Arduino, Raspberry Pi 및 기타 컨트롤러에 대한 라이브러리가 개선되고 단순화 되었습니다.
- 통합된 광원
Pixy2는 원래 Pixy가 할 수있는 모든 작업을 수행합니다.
- 작고, 빠르고, 사용하기 쉽고, 값이 싸고, 즉시 사용 가능한 비전 시스템
- 가르치는 물건을 감지하는 법을 배웁니다.
- 포함 된 케이블을 사용하여 Arduino에 연결합니다. Raspberry Pi, BeagleBone 및 이와 유사한 컨트롤러에서도 작동합니다.
- Arduino, Raspberry Pi 등의 모든 종류의 라이브러리들이 제공됩니다.
- C/C ++ 및 Python이 지원됩니다.
- SPI, I2C, UART, USB 또는 아날로그/디지털 출력 중 하나를 통해 통신합니다.
- 구성 유틸리티는 Windows, MacOS 및 Linux에서 실행됩니다.
- 모든 소프트웨어/펌웨어는 오픈 소스,GNU 라이센스
- 회로도, BOM, PCB 레이아웃 등 모든 하드웨어 문서가 제공됩니다.
1. 센서로서의 비전
로봇을 사용하여 물건을 집어 들고, 공을 쫓거나, 충전소를 찾는 등의 작업을 수행하고, 단일 센서로 모든 작업을 수행하려면 비전이 센서가 답입니다.
비전 (이미지) 센서는 매우 유연하기 때문에 유용합니다.
올바른 알고리즘을 사용하면 이미지 센서가 실제로 어떤 것도 감지하거나 감지 할 수 있습니다.
그러나 이미지 센서에는 두 가지 단점이 있습니다.
1) 많은 양의 데이터와 초당 수십 메가 바이트를 출력하며,
2) 이러한 양의 데이터를 처리하려면 많은 사용 프로세서에 엄청난 부담을 줍니다.
또한 프로세서가 데이터를 따라 잡을 수 있다면 다른 처리 작업에서는 처리 능력의 상당 부분을 사용할 수 없습니다.
Pixy2는 강력한 전용 프로세서와 이미지 센서를 결합하여 이러한 문제를 해결합니다.
Pixy2는 이미지 센서의 이미지를 처리하고 마이크로 컨트롤러에 유용한 정보 (예 : x = 54, y = 103에서 감지 된 보라색 공) 만 보냅니다.
그리고 이것은 프레임 속도 (50Hz)에서 수행합니다.
이 정보는 직력 UART, SPI, I2C, USB 또는 디지털 / 아날로그 출력 중 하나를 통해 사용할 수 있습니다.
따라서 Arduino 나 다른 마이크로 컨트롤러는 Pixy2와 쉽게 대화 할 수 있으며 마이크로 콘트롤러에 부담을 주지 않기 대문에 다른 많은 작업이 가능합니다.
다중 Pixy2를 마이크로 컨트롤러에 연결할 수 있습니다 (예 : 4 Pixys 및 360도 감지 기능이 있는 로봇). 또는 Pixy2사용을 위한 마이크로 컨트롤러 없이 Pixy2를 사용하고 디지털 또는 아날로그 출력을 사용하여 이벤트, 스위치, 서보 등을 구동 시킬 수 있습니다.
2. 컨트롤러 지원
Pixy2는 여러 인터페이스 옵션 (UART 직렬, SPI, I2C, USB 또는 디지털 / 아날로그 출력)을 지원하기 때문에 여러 컨트롤러에 쉽게 연결할 수 있지만 Pixy는 Arduinos와의 대화를 시작했습니다. 지난 몇 개월 동안 우리는 Arduino Due, Raspberry Pi 및 BeagleBone Black에 대한 지원을 추가했습니다. 이러한 플랫폼 모두에 소프트웨어 라이브러리가 제공되므로 빠르게 시작할 수 있습니다. 또한 Linux 기반 컨트롤러 (예 : Raspberry Pi, BeagleBone)를 사용하는 경우 Python API가 추가되었습니다.
3. 초당 60 프레임
"초당 60 프레임"은 무엇을 의미합니까? 즉, Pixy2가 빠름을 의미합니다. Pixy2는 1/60초(16.7 밀리 초)마다 전체 이미지 프레임을 처리합니다. 즉, 탐지 된 모든 개체의 위치를 16.7 밀리 초마다 완벽하게 업데이트 할 수 있습니다. 이 속도면 떨어지는 또는 튀는공의 경로를 추적 할 수 있습니다. (40mph로 주행하는 볼은 16.7ms 이내에 1 피트 미만으로 움직임을 추적합니다.)
4. 보라색 공룡 (및 다른 것들)
Pixy2는 색상 기반 필터링 알고리즘을 사용하여 객체를 감지합니다. 색상 기반 필터링 방법은 빠르고, 효율적이며 비교적 견고하기 때문에 널리 사용됩니다. 우리 대부분은 색상을 표현하기 위해 RGB (빨강, 초록, 파랑)에 익숙합니다. Pixy2는 이미지 센서의 각 RGB 픽셀의 색상 (색조) 및 채도를 계산하고 이를 기본 필터링 매개 변수로 사용합니다. 피사체의 색조는 조명과 노출의 변화에 크게 영향을 받지 않습니다. Pixy2의 필터링 알고리즘은 조명 및 노출 변화에 대해 강력합니다.
5. 7 가지 컬러 서명
Pixy2는 최대 7 가지 색상의 서명을 기억합니다. 즉, 고유 한 색상을 가진 7 가지 개체가있는 경우 Pixy의 색상 필터링 알고리즘은 식별하는 데 아무런 문제가 없습니다. 7 개 이상 필요하면 색상 코드를 사용할 수 있습니다 (아래 참조).
6. 수백 가지의 객체
Pixy2는 말 그대로 수백 개의 물체를 한 번에 찾을 수 있습니다. 연결된 구성 요소 알고리즘을 사용하여 개체가 시작되는 위치와 끝나는 위치를 결정합니다. 그런 다음 Pixy2는 각 객체의 크기와 위치를 컴파일하고 인터페이스 중 하나(예 : SPI)를 통해 보고합니다.
7. 관심있는 물건을 가르쳐주세요.
Pixy2는 독자가 감지에 관심이 있는 것을 물리적으로 가르칠 수 있기 때문에 고유합니다. 보라색 공룡? 픽시 앞에 공룡을 놓고 버튼을 누릅니다. 오렌지 공? Pixy2 앞에 공을 놓고 버튼을 누릅니다. 쉽고 빠릅니다.
좀 더 구체적으로 말하자면 Pixy2는 위에 있는 버튼을 누른 채로 렌즈 앞에 물건을 올려 놓고 가르칩니다. 이렇게 하면 렌즈 밑의 RGB LED가 어떤 물체를 직접보고 있는지에 대한 피드백을 제공합니다. 예를 들어 주황색 공을 Pixy2 바로 앞에 놓으면 LED가 주황색으로 변합니다. 버튼을 놓으면 Pixy2는 객체에 포함된 색상의 통계 모델을 생성하고 플래시에 저장합니다. 그런 다음이 통계 모델을 사용하여 프레임과 유사한 색상 서명이 있는 객체를 찾습니다. Pixy2는 1-7이라는 7 가지 색상 서명을 배울 수 있습니다. 색상 서명 1이 기본 서명입니다. Pixy2를 가르치기 위해 다른 서명 (2-7)은 간단한 버튼 누름 순서가 필요합니다.
8. PixyMon을 사용하면 Pixy가 보는 것을 볼 수 있습니다.
PixyMon은 Windows, MacOS 및 Linux에서 실행되는 응용 프로그램입니다. Pixy2가 원시 또는 처리 된 비디오로 보는 것을 볼 수 있습니다. 또한 Pixy2를 구성하고 출력 포트를 설정하며 컬러 서명을 관리 할 수 있습니다. PixyMon은 표준 미니 USB 케이블을 통해 Pixy2와 통신합니다. PixyMon은 응용 프로그램을 디버깅하는 데 적합합니다. Pixy2뒷면에 USB 케이블을 연결하고 PixyMon을 실행 한 다음 Pixy2가 Arduino 또는 다른 마이크로 컨트롤러에 연결되어있는 동안 Pixy2가 보는 것을 볼 수 있습니다. 아무 것도 뺄 필요가 없습니다. PixyMon은 다른 모든 것과 마찬가지로 오픈 소스입니다.
9. 기술 사양
- 프로세서 : NXP LPC4330, 204MHz, 듀얼 코어
- 이미지 센서 : Aptina MT9M114, 통합 이미지 플로우 프로세서가있는 1296 × 976 해상도
- 렌즈 시야 : 가로 60도, 세로 40도
- 소비 전력 : 140 mA (일반)
- 전원 입력 : USB 입력 (5V) 또는 조정되지 않은 입력 (6V ~ 10V)
- RAM : 264K 바이트
- 플래시 : 2M 바이트
- 사용 가능한 데이터 출력 : UART 직렬, SPI, I2C, USB, 디지털, 아날로그 \
- 크기 : 1.5 "x 1.65"x 0.6 "
- 무게 : 10 그램
- 통합 광원, 약 20 루멘
10. 컬러 코드"란 무엇입니까?
컬러 코드 (CC)는 서로 가깝게 배치 된 두 개 이상의 컬러 태그입니다. Pixy는 CC를 디코딩하여 특수 객체로 제시합니다. CC는 감지하고 식별하려는 객체 많을 경우 유용합니다. (예 : 7 개 이상의 객체로 혼자의 컬러 서명.) 2 개의 태그와 4 가지 색상의 색상 코드 체계는 최대 12 개의 고유 한 색상을 구분할 수 있습니다. 사물. 3, 4 및 5 개의 태그 및 / 또는보다 다양한 색상의 CC가 가능하며 많은 더 많은 고유 한 객체를 허용합니다. (실제로 수천 개의 고유 코드가 5 태그와 6 색의 CC를 사용할 수 있습니다.)
11. 색상 코드가 필요한 이유
CC는 탐지하고 식별하기를 원하는 많은 객체가 있는 경우 유용합니다. 7 개의 개별 컬러 서명만으로 감지 될 수 있습니다. CC는 또한 개선 잘못된 탐지를 줄임으로써 탐지 정확도. 즉, 낮은 확률이 있습니다. 특정 색상은 특정 순서대로 함께 나타나고 함께 닫힙니다. 그만큼 단점은 탐지하고자하는 각 객체에 참조 점을 배치해야한다는 것입니다. 관심있는 대상 (노란색 공, 자주색 장난감)은 고유 한 색을가집니다. 서명 및 CC는 필요하지 않습니다. CC가없는 객체와 CC가없는 객체는 다음과 같을 수 있습니다. side-by-side에서 문제없이 사용할 수 있으므로 일부 개체에는 CC를 자유롭게 사용할 수 있습니다. 다른 사람들은 아닙니다.
CC는 객체의 정확한 각도 추정치를 제공합니다 (위치 및 크기). 이것은 일부 응용 프로그램이 유용하다고 생각하는 계산적인 "공짜 물건"입니다. 그만큼 각도 추정, 디코딩 된 CC, 정규 객체 및 모든 위치 및 크기는 초당 50 프레임으로 제공됩니다.
CC는 로봇이 항해하는 것을 돕는데 특히 유용 할 수 있습니다. 예를 들어, 실내 각 출입구와 복도를 고유하게 식별하는 CC가있는 환경은 저렴한 비용과 견고 함입니다.
12. Pixy2 팬 -틸트 (Pan-Tilt ) 킷
PIxy2.1 팬 - 틸트는 Pixy2.1의 "hello world"어플리케이션을 훌륭하게 만듭니다.
조립하기 쉽고 Pixy2에 할 일이 있습니다. 둘러보기!
Pixy2.1의 팬 - 틸트 메커니즘이 다시 디자인되었습니다. 원래 Pixy의 팬 틸트보다 작고 빠릅니다.
필요한 모든 하드웨어가 포함되어 있습니다.
팬 - 틸트베이스는 Arduino 호환 홀 패턴과 함께 Arduino에 직접 부착되며 스탠드 오프 및 패스너가 포함됩니다.
Arduino, Raspberry Pi 또는 독립형 (컨트롤러 없음)에서 실행되는 여러 가지 팬 틸트 데모가 제공됩니다.
완전한 조립 지침이 여기에 제공됩니다.
Pixy2.1 센서 팬/틸트 부품
13. Arduino 또는 Raspberry Pi에 직접 연결하십시오.
별도의 전선을 사용하지 않아도됩니다.
Pixy2.1에는 Arduino 또는 Raspberry Pi에 연결할 수 있는 특수 케이블이 제공되고 있어 신속하게 시작할 수 있습니다. Pixy2.1는 몇 가지 인터페이스 (SPI, I2C, UART 및 USB)와 간단한 통신 기능을 제공하므로 선택된 컨트롤러를 Pixy2와 간단한 명령어로 대화 할 수 있습니다.
14.프로그래밍을 단순화 하십시오
To get you up and running as fast as possible, we offer software libraries for Arduino and Raspberry Pi. Pixy2.1 makes your programs simpler by only sending the data you’re looking for. For example, if you teach Pixy2.1 a purple object, you will only receive data (X-Y coordinates, size, and unique ID) about the purple objects that Pixy2.1 detects.
상세한 관련자료를 Down Load 받으십시오.
1. 자료 1 -Down Load
2. 자료 2- Down Load
15. 인공지능 chatGPT 의 Pixy 센서를 사용하기 위한 Arduino 용 샘플 코드
인공지능 chatGPT 에게 Pixy 센서를 사용하기 위한 Arduino 용 샘플 코드를 요청했더니 아래와 같은 코딩 결과를 출력했습니다.
Here's an example of how to use a Pixy camera with an Arduino and detect and track an object of a specific color.
#include <Pixy.h>
In case Pixy2 ?
chatGPT (In case Pixy2 ?)출력 일부(상단) 켚춰 화면
#include <Pixy2.h>
Pixy2 pixy;
void setup() {
Serial.begin(9600);
pixy.init();
}
void loop() {
static int i = 0;
int j;
uint16_t blocks;
char buf[32];
blocks = pixy.getBlocks();
if (blocks) {
sprintf(buf, "Detected %d:", blocks);
Serial.println(buf);
for (j = 0; j < blocks; j++) {
sprintf(buf, " block %d: ", j);
Serial.print(buf);
pixy.blocks[j].print();
}
}
}
In this code, the Pixy2 library is used to interface with the Pixy2 camera. The Pixy2 camera is initialized in the setup function and in the loop function, the getBlocks method is used to detect objects. The blocks variable is set to the number of detected objects. If blocks are detected, the number of blocks and their information, such as their x, y, and width and height, is printed on the serial monitor.
Note: In order for this code to work, you need to have the Pixy2 library installed in the Arduino IDE.
16. Pixy2.1- Zumo 로봇 KIt
카네기 멜론 대학교에서 개발한 영상 프로세싱 센서 Pixy2.1 를 탑재한 모바일 로봇 Kit 입니다. Pixy 센서, 팬/틸트, 로봇 조립품 으로 세가지 큰 부품으로 구성되어 있으며 사용자가 최종 완성합니다. 특정 사물을 쫓고 라인을 따르는 것과 같은 유용한 작업을 수행 할 수있는 재미있는 작은 로봇이 됩니다. 컨트롤러는 표준 Arduino입니다.
 |
Kit 공급범위 포함
Kit 공급 범위 외
-
4 AA batteries
-
Wires
17. 제품가격 안내 및 구매
|
SKU |
모델명 |
사양 |
가격(원) |
구매 |
|
Pixy2.1 |
비전프로세씽 센서 | Pixy2.1 |
115,500 |
|
|
Pan/Tilt |
Pixy2.1 팬/틸트 | Pixy2.1 팬/틸트 써보 | 57,750 | |
| ASGMR | Pixy2.1 Zumo 로봇 Kit | Pixy2.1 센서+ Pixy2 팬/틸트 써보 +Zumo bot(Pololu)+Arduino UNO | 363,000 | 구매 |
