ABSTRACT
It is challenging to automate the shoe upper adhesive spraying process using a robot due to the three-dimensional curved shape of the shoe upper. This paper proposes a method to automate the shoe upper adhesive spraying process with a 3-D measuring device and an industrial robot. The adhesive spraying automation process consists of the following steps, First, a transformation matrix calibration is performed to make the points measured by the 3-D measuring device and the robot end-effector points the same. Second, the shoe gauge line that connects the shoe adhesive spaying line measured by the 3-D measurement device is smoothed. Lastly, the target points of the robot end-effector to quantitatively spray the adhesive are selected and the robot end-effector position/orientation to operate the robot is generated. The proposed method was validated on the test bed of a shoe upper spray system. With the method proposed in this paper, even nonrobot experts can measure shoe gauge line data with a 3-D measuring device and the shoe upper adhesive spraying process can be automated without manually operating a robot.
-
KEYWORDS: Shoe manufacturing process, Shoe upper adhesive dispensing automation
1. 서론
일반적으로 신발 제조 공정은 수작업 공정이 대다수이며, 분진, 소음, 유해 물질 등 작업자들이 기피하는 공정이 많다. 그로 인해 새로운 노동 인력 진입이 어려워져 인력이 부족함과 동시에 생산 비용 증가로 생산성이 많이 하락하고 있다. 대다수 공정이 수작업으로 진행되고 있는 신발 제조 시장에서는 제화 공정 시스템에 대한 수요가 높으며, 국내외 기업 및 연구소에는 신발 제조 시장을 겨냥한 제화 공정 자동화 연구 개발이 활발히 이루어지고 있다[
1-
6]. 하지만 신발의 다양한 디자인, 사이즈, 모델 등으로 인해 다품종에 적합한 자동화 공정 대응이 필요하며, 신발의 3차원 곡면 형상으로 인해 고난도의 자동화 기술에 요구되는 로봇 전문 인력과 현장 설치 및 적용에 막대한 시간과 비용이 소모되어 쉽게 제화 공정 자동화를 적용하기 어려운 실정이다.
신발은
Fig. 1과 같이 크게 상부에 해당하는 갑피(Upper)와 하부에 해당하는 창(Sole)으로 구분된다. 제화 공정은 갑피와 창을 생산하는 생산 공정과 갑피와 창을 접착 결합하는 조립 공정으로 크게 분류가 되는데, 조립 공정은 다수의 작업자들의 수작업으로 이루어지고 있다. 신발 조립 공정에서는 신발 창과 갑피를 접착 결합하기 위해 창과 갑피 양쪽 접착 면에 각각 접착제를 도포해야 한다. 하지만 갑피의 도포 경계면은 측면의 3차원 곡면 상에 형성되어 로봇을 활용한 자동화를 적용하기 위해 수십 개의 3차원 공간 로봇 교시점 생성과 같은 고난도의 자동화 기술이 필요하다.
Fig. 1 Structure of shoes
현재
Fig. 2 [
7]와 같이 수작업으로 이루어지는 갑피 접착제 도포 공정은 크게 2단계로 구성된다. 첫 번째 단계에서는 작업자가 접착될 갑피와 창을 맞대어 도포 경계 라인(Gauge Line)을 펜으로 표시하는 게이지 마킹 작업이 선행된다. 두 번째 단계에서는 접착제를 도포하는 작업자가 앞서 표시된 마킹된 게이지 라인을 따라 갑피에 접착제를 도포한다. 이와 같은 과정을 참고하여 기존 연구[
4-
6]들은 작업자가 도포 경계 라인을 펜으로 표시하는 작업을
Fig. 3과 같이 3차원 측정 센서로 마킹 데이터를 디지털화하며, 디지털화된 마킹 데이터를 바탕으로 로봇 작업 궤적 생성 후 로봇이 갑피 접착면에 접착제를 도포할 수 있게 한다.
Fig. 2 Photos of the manual process of drawing a gauge line with a pen (left) and gluing (right) [7] (Adapted from Ref. 7 on the basis of website)
Fig. 3 Example of the proposed automation process of drawing a gauge line with the 3-D device (left) and gluing (right)
기존 연구[
5,
6]에서는 비전, 구조광 스캐너와 같은 비접촉식 센서를 활용하여 신발 갑피 게이지 라인을 측정하고, 측정된 데이터를 기반으로 로봇 궤적 생성 기술을 적용하였다. 하지만, 신발 갑피 게이지 라인을 획득하기 위해 신발 형상 전체를 스캔할 수 있는 메커니즘과 스캔한 데이터에서 원하는 신발 게이지 라인을 정확하게 추출할 수 있는 최적화된 알고리즘 개발이 필요하다. 또한 조명, 분진 등과 같이 스캔 품질의 영향을 받을 수 있는 스캐너 특성상 현장에서 바로 적용하기 어렵다.
본 논문의 선행 연구[
4]의 경우에는 현장에서 직관적으로 사용이 가능한 접촉식 센서인 3-D 디지타이저와 갑피 회전 메커니즘을 활용하여 작업자가 신발 갑피 게이지 라인을 측정한 후 접착제 도포를 위한 로봇 작업 궤적을 생성하였다. 그러나, 신발 게이지 라인 측정 시 회전 각도에 따라 측정 위치를 정확하게 매칭되어야 하며, 이를 위해 측정 장치와 회전 메커니즘 간 연동이 필요하다. 또한 디지타이저로 측정된 데이터는 디지타이저 기준 좌표계로 표현된 값으로 로봇 궤적 생성 시 로봇 기준 좌표계로 변환이 필요하다. 이 과정에서 정밀한 변환 행렬로 측정 데이터를 로봇 기준 좌표계로 변환해야 한다.
따라서 본 논문에서는 별도의 회전 메커니즘을 추가하지 않으며, 작업자가 직관적인 3-D 측정 장치를 활용하여 신발 갑피 게이지 라인을 측정한다. 로봇 궤적 생성 시 3-D 측정 장치와 로봇 간 좌표계 변환 행렬 캘리브레이션을 통해 측정된 데이터를 보다 정밀하게 로봇 기준 좌표계로 변환하여 작업 품질을 향상시키고자 한다. 제안하는 방법을 구현하기 위해서 3-D 측정 장치와 로봇 간 좌표계 변환 행렬 캘리브레이션이 선행되며, 신발 게이지 라인 측정 후 로봇 교시 데이터 생성, 로봇 접착제 분사 작업으로
Fig. 4의 순서로 진행된다.
Fig. 4 Flow chart of automation of shoe upper adhesive spraying processing using robot
본 논문의 2장에서는 3-D 측정 장치와 로봇 기준 좌표계 간 변환 행렬 캘리브레이션에 대해 설명한다. 3장에서는 측정 장치로 신발의 게이지 라인을 측정하고, 로봇으로 신발 갑피 접착제 분사를 위한 로봇 교시점 생성 방법을 설명한다. 4장은 앞서 기술한 방법들을 적용한 사용자 인터페이스와 테스트 베드에 실증한 사례를 보이고, 5장에서는 본 논문의 결론을 제시한다.
2. 측정 장치, 로봇 간 좌표계 변환 행렬 캘리브레이션
본 논문에서는 3차원 측정 디바이스로 3-D (Three-Dimensional) 디지타이저[
8]를 사용하였다. 디지타이저로 신발 게이지 라인을 측정하고, 측정된 위치를 로봇 기준 좌표계로 변환해야 한다. 디지타이저에서 측정된 위치는 디지타이저 좌표계를 기준으로 표현된 값으로 로봇에 적용하기 위해서는 로봇 기준 좌표계로 변환되어야 한다. 변환 행렬(
TBA)은 좌표계{A}를 기준으로 좌표계{B}의 상대적인 위치 벡터(
P)와 회전 행렬(
R)의 조합으로 표현되는 행렬로 정의하며,
식(1)과 같이 표현이 된다[
9].
디지타이저와 로봇 말단을 정확하게 매칭하기 위해서는 정밀한 변환 행렬이 필요하며, 디지타이저와 로봇 기준 좌표계 간 정밀한 변환 행렬을 구하기 위해서 좌표계 변환 행렬 캘리브레이션을 수행하였다.
좌표계 변환 행렬 캘리브레이션은
식(2)에서 디지타이저로 로봇 말단 위치를 측정하여 로봇 기준 좌표계로 변환한 값(
TDigitizer Robot ⋅PDigitizer )과 로봇 기준 좌표계에서 계산된 로봇 말단 위치 값(
PRobot) 간 발생하는 위치 오차(
dP)값을 최소화하는 최적의 변환 행렬 파라미터를 찾아내는 방법이다.
식(2)의 위치 오차(
dP)는 좌표계 변환행렬의 미소 변화에 관한
식(3)으로 나타내었다. 최종적으로
식(3)을 변환 행렬의 오차 파라미터로 나누고, 이를 파라미터의 오차에 대한 행렬식으로 표현하여
식(4)와 같이 자코비안 행렬식으로 표현한다[
10].
식(4)를 행렬로 이루어진 일차 선형 방정식(5)으로 표현하였으며,
식(5)에서 오차 파라미터 행렬인 ∆
X를 구하기 위해
식(6)와 같이 의사 역행렬(Pseudo Inverse Matrix) 형태로 하여 변환 행렬 오차 파라미터를 계산한다. 계산되어 나온 변환 행렬 오차 파라미터는 변환 행렬 공칭 파라미터에 반복적으로 보정한다. 정확한 변환 행렬 보정 파라미터 값을 산출하기 위해서 최소 측정 회수인 2회 이상으로 서로 다른 위치에 대해 측정하였다. 본 논문에서
Fig. 5와 같이 로봇 말단에 위치 측정 지그를 설치하여 로봇 말단의 위치를 3-D 디지타이저가 측정할 수 있으며, 서로 다른 3차원 위치 8곳을 측정하였다. 좌표계 변환 행렬 캘리브레이션 결과 공칭 변환 행렬 파라미터 대비 보정된 변환 행렬 파라미터를
Table 1로 나타내었다.
Fig. 5 Example of a measurement method for calibration
Table 1 Result of coordinate transformation matrix parameter calibration
Table 1
|
Parameter [mm, rad] |
x |
y
|
z
|
α
|
β
|
γ
|
|
Nominal |
310.0 |
1050.0 |
-250.0 |
0 |
0 |
0 |
|
Calibration |
315.50 |
1065.5 |
-257.2 |
-0.0408 |
0.001 |
0 |
Fig. 6(a)에서는 측정한 위치 8곳에 대해서 좌표계 변환 행렬 캘리브레이션 전과 후를 비교하였다.
Fig. 6(b)에서는 위치 오차 데이터 8개에 대한 RMS (Root Mean Square) 값을 나타내었다. 캘리브레이션을 수행하기 위한 반복 회수는 총 20회로 설정하였으며, 캘리브레이션 전후로 RMS 값이 24.2723 mm에서 2.4187 mm로 약 90% 감소하였다.
Fig. 7에서는 측정된 신발 게이지 라인 데이터에 대한 좌표계 변환 행렬 캘리브레이션 전과 후의 변환 그래프를 나타내었다. 좌표계 변환 행렬 캘리브레이션을 통해 측정 장치, 로봇 간 좌표계 변환 행렬의 정밀한 값을 확인할 수 있다.
Fig. 6 Graph of comparison before/after calibration (a): error position of measured points (b): RMS error of measured points
Fig. 7 Graph of comparison before/after calibration of shoe gauge line
3. 접착제 분사를 위한 로봇 교시 데이터 생성
3.1 측정 점 후처리
로봇으로 신발 갑피 접착제 분사를 수행하기 위해서는 로봇의 접착제 분사 경로를 생성해야 한다. 분사 경로는 사용자가 디지타이저를 이용하여 신발의 창과 갑피의 게이지 라인을 측정한 데이터를 로봇 기준 좌표계로 변환해야 한다. 하지만, 작업자가 디지타이저로 측정 시 손 떨림, 측정 실수 등으로 의도한 경로에 오차가 발생할 수 있으며, 측정 점들의 형태가 불연속적으로 샘플링 되는 경우가 있다[
11]. 로봇은 접착제 분사를 원활히 수행하기 위해서 주어진 작업 점들을 연속적으로 연결이 되어야 하며, 불연속적인 작업 점들에 대해 평활화(Smoothing) 과정이 필요하다.
Fig. 8에서 디지털로 표현된 게이지 라인을 평활화 하기 위해서
식(7)에서 3차원 직교 좌표계(
X-Y-Z)로 표현된 측정 데이터셋의 중심 점을 구하고,
식(8),
식(9)에서 중심 점으로부터 거리(
r)와 각도(
θ)로 하여 높이(
z)와 함께 표현되는 원통형 좌표계(
r-θ-Z)로 변환하였다. 변환 결과
Fig. 9(a)와 같이 각도에 대한 거리 관계 식으로 표현된 그래프와,
Fig. 9(b)와 같이 각도에 대한 높이 관계 식으로 표현된 그래프로 나타내었다. 변환된 관계 식을 3차 평활화 스플라인 알고리즘[
12]을 적용한 결과 각각의 그래프에 대해
Figs. 10(a),
10(b)와 같이 부드러운 라인으로 평활화되는 것을 확인할 수 있다.
Fig. 8Measurement point of the shoe gauge line
Fig. 9Graph of cylindrical coordinate (a): The function of distance for angle R(θi) (b): The function of height for angle Z(θi)
Fig. 10Result of smoothing algorithm in cylindrical coordinate (a): The function of distance for angle R(θi)(b): The function of height for angle Z(θi)
평활화 알고리즘이 적용되어 원통형 좌표계로 표현된 결과 값들을 다시 3차원 직교 좌표계로 변환하였다. 최초 측정된 데이터 셋
Fig. 11(a)에서 평활화 알고리즘 처리된 데이터 셋
Fig. 11(b)를 비교하였을 때 보다 매끄럽고, 연속적인 형태가 만들어진 것을 확인할 수 있다.
Fig. 11Graph of result gauge line: (a) before smoothing algorithm, (b) after smoothing algorithm
3.2 로봇 작업 점 선정 및 로봇 교시 데이터 추출
갑피 접착제 도포 공정에서는 접착제를 갑피에 정량적으로 도포하는 것이 중요하다. 로봇으로 접착제를 정량적으로 도포하기 위해서 일정한 간격을 가진 로봇 작업 점으로 구성되어야 한다.
Fig. 12과 같이 사용자가 도포 조건에 해당하는 로봇 작업 점 개수(
k)를 입력한다. 입력된 측정 포인트 중 이전 점(
i)부터 다음 점(
i + 1)까지의 거리들을 순서대로 합한 값을
L로 정의하였으며,
L을 로봇 작업 점 개수만큼 나눈 값을 기준 거리(
D)라고 정의하였다. 시작 점에서 기준 거리에 만족하는 다음 점을 로봇 작업 점으로 선정하고, 이 점을 기준으로 다음 기준 거리에 만족하는 검을 로봇 작업 점으로 선정하였다.
Fig. 12Flow chart of robot task point selection algorithm
로봇이 작업 점 위치에서 접착제 도포를 할 수 있도록
Fig. 13과 같이 로봇 툴의 방향을 정의하였다. 로봇 툴의 방향은 세 가지 방향 벡터(
R→Tool,x,R→Tool,y,R→Tool,z)로 구성되어야 한다. 선정된 현재 작업 점과 다음 작업 점 간의 기울기 방향 벡터를
R→Tool,x, 동일한 평면에서
R→Tool,x와 수직한 방향 벡터를
R→Tool,y, 두 개의 방향 벡터
R→Tool,x,R→Tool,y, 를 외적한 방향 벡터를
R→Tool,z로 하여 로봇 툴의 방향을 정의하였다.
Fig. 13Example of defining robot orientation on task point
앞서 기술한 로봇 작업 점 선정 알고리즘을 적용하기 위해 후처리 된 신발 게이지 라인을
Fig. 14(a)과 같이 약 8,000개의 데이터로 샘플링하였다. 샘플링 된 데이터를 바탕으로 로봇 작업 점 선정 알고리즘을 적용하였으며,
Fig. 14(b)과 같이 로봇 작업 점 40개를 선정하였다. 마지막으로 로봇 툴 방향 정의에 따라
Fig. 14(c)과 같이 선정된 40개의 로봇 작업 점에 대해 툴 방향을 정의하여 로봇 교시 데이터로 표현하였다.
Fig. 14 Result of set robot task point (a): sampling data in 3-D gauge line (b) selected robot task data in sampling data (c) defined robot task points (position, orientation)
4. 갑피 접착제 도포 SW 인터페이스 및 실증
본 논문에서 제안하는 로봇을 활용하여 신발 갑피 접착제 도포 자동화 방법을 적용하기 위해
Figs. 15,
16과 같은 사용자 인터페이스 SW를 개발하였다. 앞서 2장에서 기술한 방법들을 하나의 SW에 기능을 추가하였다.
Fig. 15에서 신발 갑피 작업 점을 추출하기 전에 최초 1회 로봇과 측정 장치 간 좌표계 변환 행렬 캘리브레이션을 수행한다. 결과로 나온 보정된 변환 행렬 값은 데이터 베이스에 저장이 되어 이후 새로운 신발 모델이 추가되어 작업 점을 추출하기 위해서 별도의 캘리브레이션 작업을 수행하지 않아도 된다.
Fig. 15 GUI for calibration of transform matrix (robot-digitizer reference coordinate)
Fig. 16 GUI for measurement of shoe gauge line and set of robot task points for adhesive spraying
Fig. 16에서는 신발 갑피 작업 점을 측정한 후 측정한 데이터를 평활화하는 후처리 과정을 거치며, 로봇 작업 점 결과를 모니터링을 할 수 있게 그래픽 인터페이스를 추가하였다. 작업자가 신발 갑피 형태와 분사 조건에 따라 로봇 작업 점 개별 혹은 모든 작업 점에 대하여 분사 거리, 분사 각도, 분사 방향 등을 수정할 수 있도록 파라미터 설정 인터페이스를 추가하였다. 앞서 설정된 로봇 작업 점을 순차적으로 테스트할 수 있게 로봇 구동 기능을 추가하였다.
Fig. 17 Process of automation method of shoe upper adhesive spraying using a robot (a)-(b): the process of calibration of transform matrix, (c)-(d): a measure of shoe gauge line, (e)-(h), shoe upper adhesive spraying using a robot
Fig. 18 Result of the experiment (a): right side view, (b): front view, (c) left side view, (d) rear view
5. 결론
본 논문은 신발 제조 공정 중 수작업으로 이루어지고 있는 신발 갑피 접착제 도포 공정을 로봇으로 활용하여 자동화하는 방법을 제안하였다. 신발 갑피 접착제 도포 자동화 과정에서 좌표계 변환 행렬 캘리브레이션을 수행하여 디지타이저로 측정된 신발 접착제 도포 작업 점을 효과적으로 로봇에 활용할 수 있도록 하였다. 제안하는 로봇 자동화 방법을 하나의 사용자 인터페이스 SW로 개발 후 테스트 베드에 적용하여 검증하였다. 본 논문에서 제안하는 방법을 통해 로봇 비전문가인 작업자가 디지타이저로 다양한 신발 모델의 게이지 라인 데이터를 측정하여 별도의 로봇 조작 없이 갑피 접착제 도포 자동화 공정을 수행할 수 있다.
향후 제안한 방법을 실제 공정에 적용하기 위한 고도화 개발을 수행할 예정이며, 신발 갑피 게이지 라인 측정 방법에 대해서 3차원 비전과 같은 비접촉식 센서를 사용하거나 수작업을 최소화하는 방법으로 적용할 계획이다.
ACKNOWLEDGMENTS
본 연구는 산업통상자원부 로봇산업핵심기술개발사업(No. 20023606, 조립 포장 검사 등을 포함하는 셀생산 공정에서의 신속한 자동화 적용수정을 위하여 빠르게 재구성이 가능한 로보틱 워크셀 기술)의 지원을 받아 수행되었음을 밝힙니다.
REFERENCES
- 1.
Kim, J., Park, S. H., Shin, D. G., Kim, M. G., Chung, S. Y., Hwang, M. J., Jin, M., (2021), 3-D model-based trajectory generation algorithm for robotic shoe sole spray system, Journal of the Korean Society for Precision Engineering, 38(11), 825-832.
10.7736/JKSPE.021.067
- 2.
Oliver, G., Gil, P., Gomez, J. F., Torres, F., (2021), Towards footwear manufacturing 4.0: Shoe sole robotic grasping in assembling operations, The International Journal of Advanced Manufacturing Technology, 114, 811-827.
10.1007/s00170-021-06697-0
- 3.
Luh, Y.-P., Huang, L.-C., Lu, H.-J., Chu, C.-H., (2020), A smart manufacturing solution for multi-axis dispenser motion planning in mixed production of shoe soles, International Journal of Precision Engineering and Manufacturing-Green Technology, 7, 769-779.
10.1007/s40684-020-00211-9
- 4.
Kim, M.-G., Kim, J., Chung, S. Y., Jin, M., Hwang, M. J., (2022), Robot-based automation for upper and sole manufacturing in shoe production, Machines, 10(4), 255.
10.3390/machines10040255
- 5.
Wu, X., Li, Z., Wen, P., (2016), An automatic shoe-groove feature extraction method based on robot and structural laser scanning, International Journal of Advanced Robotic Systems, 14(1), 1729881416678135.
10.1177/1729881416678135
- 6.
Lee, C.-Y., Kao, T.-L., Wang, K.-S., (2018), Implementation of a robotic arm with 3D vision for shoes glue spraying system, Proceedings of the 2018 2nd International Conference on Computer Science and Artificial Intelligence, 562-565.
10.1145/3297156.3297171
- 7.
- 8.
- 9.
- 10.
Jang, W. B., Park S. H., Jin. M (2021), A method of calibration transformation matrix between robot and measuring sensor for automation of shoe manufacturing process, Proceedings of the Korean Society for Precision Engineering 2021 Spring Conference, 240.
- 11.
Jang, W. B., Park, S. H., Lee, J. Y., Jin, M., Chung, S. Y., Hwang, M. J. (2021), Robot path smoothing using discrete measured points, Proceedings of the 36th ICROS Annual Conference on the Institute of Control, Robotics and Systems, 651-652.
https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE10609486
- 12.
Biography
- Won Bo Jang
Researcher at the Korea Institute of Robotics and Technology Convergence (KIRO). His research interests include robotic manipulations, kinematic calibrations, and automation.
- Sang Hyun Park
Principal Researcher at the Korea Institute of Robotics and Technology Convergence (KIRO). His research interests include robotic manipulations.
- Seong Youb Chung
Professor in the Department of Mechanical Engineering, Korea National University of Transportation. His research interests include robot control and vision.
- Myun Joong Hwang
Associate Professor in the Department of Mechanical and Information Engineering, University of Seoul. His research interests include robot motion planning, motion control, and field robotics.
- Murim Kim
Chief Researcher and Center Director with the Korea Institute of Robots and Convergence (KIRO). His research interests include robot motion control, disaster robotics, and factory automation.
Notes
This paper was presented at KSPE Spring Conference in 2023
