ABSTRACT
In this paper, we propose a method to generate the trajectory of a robotic shoe sole spray system by extracting target points from a 3-D model of a mold sole. Point cloud transformation based on the mold 3-D file format, Z-Axis uppermost point extraction, elimination of unnecessary points, and final target point selection are sequentially performed. The Catmull-Rom algorithm is then applied to plan spline trajectory that allows the robot end effector to spray at a constant speed by following the extracted target points. The proposed algorithm is validated on the test bed of a shoe sole spray system. Through the proposed method, the adhesive can be uniformly dispensed to the sole of the shoe in an atypical shape without the process of extracting the work point using the vision system.
-
KEYWORDS: Trajectory generation, Point clouds, Shoe sole spray system, Feature extraction
-
KEYWORDS: 경로 생성, 포인트 클라우드, 신발 창 도포시스템, 특징 추출
1. 서론
신발 제조 산업은 대표적인 노동 집약적 산업으로, 우리나라의 경우, 과거에는 주요 수출 산업이었으나 1990년대 이후에는 3D 업종 기피 현상, 인건비 상승 등으로 인해 인건비가 저렴한 베트남, 말레이시아 등 동남아로 생산기지를 이전하는 “오프쇼어링” 산업이 되었다. 하지만, 2016년 독일의 신발 제조기업 아디다스가 소비자 맞춤형 현지 생산이 가능한 “스피드 팩토리” 가동을 자국에서 시작함으로써 신발 제조업의 리쇼어링의 사례를 만들었고, 또한 신발산업의 패러다임을 대량 생산 체제에서 맞춤형 유연 생산체제로의 변화를 선도하고 있다. 우리나라도 최근에는 해외 인건비의 급격한 상승 등 문제를 고려하여 국내로 신발 제조 공장을 복귀시키는 기업들이 점차 늘고 있다. 국내 신발 제조 산업의 리쇼어링과 발전을 지원하기 위해 2018년부터 한국형 스피드 팩토리인 “지능형 신발 공장”을 구축하고 있으며,
1 소비자 맞춤형 신발 제조 및 공정 인력 절감이 가능한 신발 생산 공정의 로봇 자동화에 관한 연구를 진행하고 있다.
Fig. 1의 신발 구조에 따른 신발의 생산 공정을 크게 분류하면 갑피(Upper) 생산 공정, 창(Sole) 생산 공정, 갑피와 창을 접착 결합 후 출하하는 조립(Assembly) 공정으로 나눌 수 있다. 기존 연구에서는 갑피의 패턴 인식, 각 공정 내의 이송 자동화, 공정별 자동화 장비 제작 등 다양한 형태로 연구가 진행되었다.
Fig. 1 Structure of shoes
생산 공정 중 창의 접착 공정은 접착제를 사용함에 따른 유해성과 조립 공정 중 30% 이상을 차지하는 높은 인력 비중을 해결하기 위해서 최근 자동화를 위한 연구가 지속적으로 시도되고 있다. 대표적인 사례로는
Fig. 2와 같은 대만의 ORISOL사의 접착 시스템
2과 본 저자들의 기존 연구인
Fig. 3의 비전 센서 인식 기반 산업용 로봇 자동화 시스템
3,4 등이 있다.
Fig. 2 ORISOL robot system for the sole adhesive work2 (Adapted from Ref. 2 on the basis of OA)
Fig. 3 KIRO robot system for the sole adhesive work
로봇을 활용한 창 접착제 도포 작업에서 가장 중요한 해결 과제는 접착제를 정량 도포하는 것이다. 이를 위해서는 로봇의 말단이 경유할 창의 작업 포인트 추출과 추출된 작업 포인트들을 로봇의 말단(Tool Center Point, TCP)이 등속으로 경유할 수 있는 경로를 생성할 수 있는 알고리즘이 필요하다. 창의 작업 포인트 추출을 위해서 기존에는 비전 센서 등을 이용하여 작업 포인트들을 추출하거나 창의 2차원 도면을 활용하는 등의 연구가 진행되었다.
4-7 하지만, 소비자가 색상 및 형상을 선택하는 맞춤형 창에서는 색상 또는 주변 환경에 민감한 비전 센서나 3차원 형상 정보를 얻을 수 없는 2차원 도면은 적용이 쉽지 않은 문제점이 있다. 또한 로봇 경로 생성에서는 대다수의 산업용 로봇은 말단의 등속 보간 알고리즘이 탑재되어 있지 않아 별도의 속도 보정 작업이 필요한 것이 현실이다.
따라서 본 논문에서는 조립 공정 중에서
Fig. 4의 창의 접착 공정에 로봇 자동화를 도입하여 갑피와 창의 효율적인 조립을 위해 창에 정밀한 접착제 도포 작업을 수행하는 것을 목적으로 하여 도포 작업 포인트 추출 방법과 로봇의 등속 경로 생성에 대한 방법을 제안하고자 한다.
Fig. 4 Conventional sole adhesive work
지능형 신발 공장에서는 소비자가 맞춤형 신발 주문 시
Fig. 5와 같이 창의 금형인 몰드(Mold)가 즉시 가공 및 제작되고, 창은 몰드에 안착되어 제조 라인에 투입된다. 따라서 탄성체인 창을 고정시킬 수 있고, 몰드의 가공 3차원 모델의 형상을 활용하여 작업 포인트 취득이 가능하다. 본 논문에서는 신발 창의 맞춤형 접착 공정을 위해 정량적인 로봇 도포 자동화 작업이 가능하도록,
Fig. 6의 구성도와 같이 몰드의 3-D Model을 활용하여 도포 작업 포인트들을 추출하기 위한 알고리즘을 제안하였으며, 추출된 도포 작업 포인트들을 활용하여 Catmull-Rom 알고리즘을 적용하여 로봇의 등속 경로 생성에 관한 방법을 제안하였고, 로봇 테스트 베드를 구성하여 실험을 통해 검증하였다.
Fig. 5 Mold and sole of the intelligent shoe factory
Fig. 6 Algorithm of customized sole adhesive work using a robot automation system
2. 창 도포 작업 포인트 추출
본 논문에서는 창 몰드의 상판 영역 중 접착제가 도포되어야 하는 영역과 도포되지 않아야 하는 영역을 각각 도포 영역과 불량 영역으로 정의하고,
Fig. 7과 같이 두 영역의 경계선을 도포 궤적으로 정의하였다. 도포 궤적은 몰드의 도포 영역 중 최상단 경계 포인트들의 집합에 해당한다. 따라서 도포 영역 최상단 포인트들을 검출하는 방식을 통해 궤적 생성에 사용될 작업 포인트들을 추출하였다. 작업 포인트 추출은
Fig. 8과 같이 몰드의 3차원 파일의 포인트 클라우드화, 수직 방향(Z 방향) 최상단 포인트 추출, 작업에 불필요한 포인트들의 소거, 최종 작업 포인트 선정 등의 4단계로 구성된 추출 알고리즘을 통해 이루어진다. 이와 같은 과정을 거쳐 얻어진 작업 포인트들을 기반으로 등속 도포를 위한 로봇의 목표 궤적을 생성할 수 있다.
Fig. 7 Target points on the contour of sole
Fig. 8 Algorithm for target points extraction
2.1 맞춤형 창의 포인트 클라우드 추출
포인트 클라우드 추출에는 STL (StereoLithography) 형식의 몰드 3-D 형상 파일이 활용되었다. 최초로 추출된 원본 클라우드 데이터에는 작업 포인트 추출에 필요한 도포 영역과 불량 영역뿐만 아니라 몰드의 기타 모서리 부분의 포인트들이 포함되어 있다. 따라서 이같은 포인트 들을 최대한 제거하고, 이후 효율적인 처리를 위해 전처리(Preprocessing) 과정을 수행하였다. 이 단계들에 대한 테스트 결과는
Fig. 9와 같이 나타낼 수 있다.
Fig. 9An example of STL model (Left), point cloud model (Center), and preprocessed model (Right) of sole
전처리 과정은 취득한 원본 클라우드상에서 X-Y 평면상에 최대, 최솟값을 가진 포인트를 기반으로 몰드 외곽 사각면을 도출하고, 도출한 사각면과 창 안착 거리 사이의 포인트를 소거하여 수행하였다. 여기서 창 안착 거리는 맞춤형 창의 X-Y 평면상의 최대, 최소 치수이다.
2.2 최상단 경계 포인트 검출
도포 영역의 포인트 클라우드로부터 최상단 경계 포인트 집단을 검출하기 위해, 전체 클라우드를 영역별로 분할한 서브 클라우드들을 구성하고, 각 서브 클라우드에서 Z축 좌표가 가장 큰 포인트들만 수집하는 알고리즘을 적용했다.
서브 클라우드 구성을 위해서 클라우드의 중심점 C를 원점으로 정의하고, C를 기준으로
Fig. 10과 같이 사분면으로 영역을 구분한다.
Fig. 11과 같이 전체 클라우드 점들의 X좌표와 Y좌표를 체크하여 해당 포인트의 4분면의 영역을 구분할 수 있다. 이때, n과 P는 포인트 클라우드상의 포인트 총 개수 및 위치 벡터이며, i
1-i
4는 각 사분면에 할당된 포인트 배열의 인덱스이다. 이후 각 사분면의 안쪽 영역을
Fig. 12와 같이 X, Y 방향의 일정 간격 d로 나눈다. 이때 d의 간격 내에 위치한 점들이 하나의 서브 클라우드를 구성하게 되며, 형성된 각 서브 클라우드 내부에서 모든 점들의 Z축 좌푯값을 비교하여 각 서브 클라우드 내의 Z축 좌표가 가장 큰 포인트를 추출하게 된다.
Fig. 10Quadrant division of point cloud
Fig. 11Algorithm for quadrant division
Fig. 12Sub-cloud division of point cloud
Fig. 13은 X 방향 기준으로 Z축 좌표가 가장 큰 포인트를 추출한 방법으로 Y 방향의 서브 클라우드에도 동일한 방법을 적용하여 Z축 좌표가 가장 큰 포인트를 추출할 수 있다. X, Y 방향의 서브 클라우드에서 각각 추출된 점들을 합산하여 이 중 중복된 점을 제거한 후 남은 점들이 최상단의 경계 포인트들이 된다.
Fig. 13에서 c, e, q는 각각 사분면의 번호, 각 서브 클라우드에 할당된 포인트 배열의 인덱스, 최상단 경계 포인트 배열의 인덱스를 의미하며,
uP는 추출된 Z축 좌표의 가장 큰 포인트 위치 벡터이다.
Fig. 13Top point extraction algorithm along z-axis
Fig. 9의 포인트 클라우드에 대해서 서브 클라우드의 X 방향 간격인 d를 3 mm로 하여 추출한 최상단 경계 포인트는
Fig. 14와 같이 붉은 점으로 나타나게 되며, 총 268개의 점이 추출되었다. 창의 형상과 비교해볼 때 전반적으로 최상단 경계 포인트가 잘 추출된 것으로 보이나 창의 뒤꿈치 특성상 볼록한 형상 부분에서 최상단 경계 포인트는 아니지만 서브 클라우드로 분류되어 실제 경계선이 아닌 부분의 점이 일부 추출되었다.
Fig. 14Top points of sole (d = 3 mm) along z-axis
2.3 작업 포인트 필터링
Fig. 14로부터 알 수 있듯이 최상단 경계 포인트 검출 결과물에는 경계 밖의 포인트들이 일부 포함될 수 있기 때문에 경계 밖의 점들을 제거하기 위한 필터링을 수행하였다. 미소 영역에서 볼 때 곡선의 단편은 직선에 수렴하기 때문에, 경계선상의 인접한 3개의 작업점은 근사적으로 동일 직선상에 놓이게 된다. 따라서 최상단 검출 방법으로부터 얻어진 포인트
uP
i가 경계선상의 점인 경우
Fig. 15의 왼쪽과 같이 경계선의 전후의 점
uP
i+1 및
uP
i-1와 함께 형성하는 각도 θ는 90
o도보다 큰 180
o 근방의 값이어야 한다. 반대로
uP
i가 경계선 밖의 점인 경우 θ는
Fig. 15의 오른쪽과 같이 90
o 미만의 값을 지니게 된다. 이 같은 특성을 토대로 90
o를 기준으로 한 θ값을 계산하여 경계선의 작업 포인트를 필터링할 수 있다. 필터링 방법을
Fig. 14의 결과점들에 적용한 결과,
Fig. 16의 원형 부분과 같이 경계선 밖의 점이 제거된 결과를 확인할 수 있다. 이 과정을 통해 268개의 포인트 중 37개의 포인트 데이터가 제거되었다.
Fig. 15Filtering concept for eliminating wrong top points along z-axis
Fig. 16Filtering result of top points along z-axis
2.4 최종 작업 포인트 선정
궤적 생성 시 지나치게 조밀한 작업 포인트들을 활용하는 것은 궤적 생성 알고리즘의 연산량면에 있어 비효율적일 수 있기 때문에 작업점 밀도를 적정 수준으로 낮추는 작업이 필요하다. 이를 위해 연속된 점 사이의 거리가 일정 기준보다 낮을 경우 최종 작업 포인트 리스트에서 제거하는 방법을 적용하였다.
본 연구에서는
Fig. 17과 같이 기준 거리 dis를 10 mm로 설정하여 그 이하의 점들을 제거함으로써 데이터의 개수를 줄이도록 하였다. 그 결과
Fig. 16의 결과인 231개의 포인트 중
Fig. 18과 같이 총 54개의 최종 작업 포인트들을 도출할 수 있었다. 최종적으로
Table 1과 같이 도출된 포인트들의 3차원 위치 좌표를 추출할 수 있고, 이 정보를 이용하여 궤적을 생성할 수 있다.
Fig. 17Extraction concept of equally interval point
Fig. 18Extracted points for the sole adhesive work
Table 1An example of the 3-D position data of results for the sole adhesive work
Table 1
|
No. |
X pos |
Y pos |
Z pos |
|
1 |
128.70 |
-0.09 |
-2.87 |
|
2 |
132.88 |
-13.03 |
1.04 |
|
: |
|
52 |
104.68 |
25.47 |
-9.16 |
|
53 |
113.09 |
18.94 |
-7.66 |
|
54 |
121.16 |
11.13 |
-5.60 |
3. 로봇 말단 등속 보간 궤적 생성
도출된 작업 포인트를 경유하는 등속 보간 궤적 생성에는 Catmull-Rom 스플라인 알고리즘을 사용하였다.
8,9 Catmull-Rom 방법은 기본적으로
Fig. 19와 같이 2개의 점
Pi와
Pi+1 사이를 보간하기 위해 각 점들 외부에 2개의 제어점
Pi-1과
Pi+2를 추가하여 연속적인 궤적을 생성하는 방법이다. 각 점을 통과하는 시간을 결정하기 위해 Chordal 스플라인 형태로 적용하게 되면 작업점
uP
i 다음 작업 포인트
uP
i+1로 이동하는데 소요되는 시간이 두 점 사이의 거리인 |
uP
i+1-
uP
i-1|에 비례하게 된다. 따라서 거리를 시간으로 나눈 개념인 속도는 전체 궤적에 근사적으로 균등분포되는 결과를 얻을 수 있게 되며, 본 저자들은 이전 연구
8,9에서 이를 통해 등속 속도 궤적 생성이 가능함을 보였다. 이 과정을 시작점부터 반복하여 적용함으로써 모든 점을 통과하는 스플라인 궤적을 생성할 수 있다.
Fig. 19 Principle of Catmull-Rom spline
4. 실험
4.1 맞춤형 창 접착제 도포 테스트베드 구성
본 논문에서 제안한 방법의 검증을 위해 로봇을 이용한 접착제 도포 테스트베드를
Fig. 20과 같이 구축하였다. 테스트베드는 뉴로메카(Neuromeka)사의 Indy 7 매니퓰레이터, 제어 PC, 도포 툴, 컨베이어, 작업 대상물인 창 결합 몰드로 구성되었으며, Indy 7은 IndyDCP 기능을 사용하여 4 Khz주기로 로봇 말단의 위치/속도/가속도를 제어할 수 있다.
10
Fig. 20Testbed for the sole adhesive work
4.2 맞춤형 창 접착제 도포 실험
작업 포인트 추출의 결과로 생성된
Table 1의 54개 작업 포인트에 대해 10초의 모션 시간이 되도록 등속 경로를 생성하였다. 4 kHz 제어 주기로 생성된 40,000개의 포인트들에 대해
Figs. 21부터
23과 같이 말단의 위치/속도/가속도가 생성되었다.
Fig. 22의 속도 결과를 바탕으로 로봇 말단의 속력을 계산한 결과는
Fig. 24와 같이 시작과 종료 부근을 제외하고는 일정한 속력 크기를 유지하는 것을 검증할 수 있었다. 로봇을 이용한 실제 도포 실험 시 로봇이 위치/속도/가속도 궤적을 추종하면서
Fig. 25와 같이 지정한 작업점으로 로봇이 도포 작업을 수행함을 확인할 수 있었다.
Fig. 21Desired posture of robot end-effector
Fig. 22Desired velocity of robot end-effector
Fig. 23Desired acceleration of robot end-effector
Fig. 24Desired speed of robot end-effector
Fig. 25Experimental result of sole adhesive work using robot
5. 결 론
본 논문에서는 신발 갑피와 창의 조립 자동화를 위해, 로봇을 이용하여 창에 접착제를 정밀하게 도포하는 작업을 구현할 수 있도록 로봇 자동 도포 솔루션을 제안하였다. 로봇의 궤적을 구성하는 작업점들을 취득하기 위해서 몰드의 3D 모델 형상을 고려하여 도포 작업 포인트 추출 기술을 개발하였고, Catmull-Rom 알고리즘을 적용하여 주어진 시간 내에 로봇 말단이 등속으로 도포할 수 있는 경로를 생성하고, 실험을 통하여 검증하였다. 또한 몰드의 포인트 클라우드 중 작업점들의 경계선 좌표를 추출하고, 경계선 밖의 점을 제거하는 알고리즘을 통해 정확성을 높였다. 마지막으로 경로 생성의 효율성을 위해 필터링 알고리즘을 추가하여 작업점들의 개수를 최소화하고, 이를 적용했을 때 작업이 잘 수행됨을 실험을 통하여 입증하였다. 향후에는 본 논문에서 얻은 실험실 규모의 기본 성능 검증결과를 실제 생산 환경과 유사한 “지능형 신발 공장 테스트 베드”에서 로봇을 활용한 신발 조립 공정 구현에 적용할 예정이다.
ACKNOWLEDGMENTS
이 연구는 과학기술정보통신부의 ICT R&D 혁신 바우처 지원 사업(No. 2021-0-01942-001, 지능형 신발 제조를 위한 ICT 융합형 3D 디스펜싱 로봇 자동화 SW 개발) 및 한국연구재단 기본연구(No. NRF-2019R1F1A1052895)의 지원을 받아 수행되었음을 밝힙니다.
REFERENCES
- 1.
- 2.
- 3.
Kim, M. G., Kim, J., Shin, D., and Jin, M., “Robot-Based Shoe Manufacturing System,” Proc. of the 18th International Conference on Control, Automation and Systems, pp. 1491-1494, 2018.
- 4.
Kim, J., Kim, M. G., and Jin, M., “Sole Cementing Process Automation Using Industrial Robot,” Proc. of the Autumn Conference on the Korean Society for Precision Engineering, pp.214-215, 2018.
- 5.
Kim, J., “CAD-Based Automated Robot Programming in Adhesive Spray Systems for Shoe Outsoles and Uppers,” Journal of Robotic Systems, Vol. 21, No. 11, pp. 625-634, 2004.
10.1002/rob.20040
- 6.
Lee, W. Y., Park, S. M., Jang, I., Kim, T. H., and Sim, K. B., “CNN-Based Shoe-Upper Pattern Recognition and Generation of Adhesive Point,” Journal of Institute of Control, Robotics and Systems, Vol. 23, No. 9, pp. 725-731, 2017.
10.5302/J.ICROS.2017.17.0109
- 7.
Kang, J. H., Jung, K. M., Kim, H. H., and Lee, G. C., “Design of Upper Stitch Detection Algorithm for Shoe Process Automation,” Proc. of the 35th ICROS Annual Conference, pp. 478-479, 2020.
- 8.
Hwang, M. J., Chung, S. Y., Kim, M. G., Kim, J., and Jin, M., “Constant Speed Trajectory Planning of Manipulator Using Spline Method in a Curved Surface,” Proc. of the Annual Conference on the Korea Robotics Society, pp. 529-530, 2018.
- 9.
Kim, J., Jin, M., Park, S. H., Chung, S. Y., and Hwang, M. J., “Task Space Trajectory Planning for Robot Manipulators to Follow 3-D Curved Contours,” Electronics, Vol. 9, No. 9, p. 1424, 2020.
10.3390/electronics9091424
- 10.
Biography
- Juhyun Kim
Assistant Researcher in Korea Institute of Robotics & Technology Convergence. His research interest is robot manipulation and factory automation.
- Sang Hyun Park
Senior Researcher in Korea Institute of Robotics & Technology Convergence. His research interest is robot manipulator.
- Dong-Guan Shin
Senior Researcher in Korea Institute of Robotics & Technology Convergence. His research interest is embedded system and factory automation.
- Min-Gyu Kim
Principal Researcher in Korea Institute of Robotics and Technology Convergence. His research interest is human-robot interaction.
- Seong Youb Chung
Professor in the Department of Mechanical Engineering, Korea National University of Transportation. His research interest is robot control and robot vision.
- Myun Joong Hwang
Associate Professor in the Department of Mechanical and Information Engineering, University of Seoul. His research interest is robot motion planning, motion control, and field robotics.
- Maolin Jin
Chief Researcher & Center Director with the Korea Institute of Robots and Convergence. His research interest is robot motion control, disaster robotics, and factory automation.
, Maolin Jin1,#
