1. Rau xà lách là gì? Thực trạng thu hoạch rau xà lách hiện nay
1.1. Rau xà lách là gì?
Rau xà lách hay còn gọi là rau diếp, cải bèo, là cây rau thân thảo có nguồn gốc từ châu Âu với tên khoa học là Lactuca sativa, thuộc cây họ Cúc Asteraceae. Chúng được lai tạo thành nhiều giống khác nhau: rau xà lách thường, rau xà lách thơm, rau xà lách cuộn,.... Lá của rau xà lách được phát triển mọc từ gốc thân và càng lên phía trên ngọn thì càng nhỏ dần lại. Chúng có màu xanh thẫm, thon dài và mềm nhẵn. Lá ở gốc to thì có cuống, còn lá ở thân thì lại không có cuống. Theo như nghiên cứu, thành phần trong rau xà lách có thể giúp bổ gân cốt, sáng mắt, thông kinh mạch, giải độc rượu, lợi khí làm thông miệng, dễ ngủ... Ngoài ra chúng còn có tác dụng giúp giảm thiểu mụn nhọt, ăn ngon, ngủ tốt, chữa đau đầu chóng mặt, chữa tắc sữa, ít sữa cho những người phụ nữ mới sinh con,...
Rau xà lách
1.2. Thực trạng việc thu hoạch rau xà lách hiện nay
Khi đi chợ hay siêu thị để mua rau xà lách, bạn có thể thấy hai loại: rau xà cắt gốc (nguyên cây) và rau xà lách chỉ có lá. Trong bài viết này, chúng ta chỉ nói về rau xà lách cắt nguyên cây thôi nhé!
Phương pháp thu hoạch rau xà lách cắt gốc nguyên cây thường được áp dụng trong quá trình thu hoạch rau xà lách cuộn. Khi cây đủ lớn và đạt đến độ tiêu chuẩn để thu hoạch thì con người sẽ dùng một dụng cụ cắt như dao, kéo để cắt sát gốc cây hoặc có thể nhổ chúng lên rồi cắt gốc cây.
Thu hoạch rau xà lách
Tuy nhiên, khi thực hiện cắt thủ công như vậy nếu không để ý kĩ có thể thu hoạch những cây non, chưa đủ tiêu chuẩn để thu hoạch, hay những cây bị sâu bệnh. Ngoài ra, có thể bị dập, nát rau nếu quá mạnh tay.
Bên cạnh đó, tình trạng thiếu người lao động trong việc thu hoạch rau cũng là một vấn đề đáng lo ngại. Chính vì vậy, ý tưởng nghiên cứu và chế tạo robot thu hoạch rau xà lách Vegebot được hình thành.
2. Sơ qua về chú robot thu hoạch rau xà lách Vegebot
Vegebot được nghiên cứu, chế tạo bởi một nhóm nghiên cứu tại Đại học Cambridge, Anh. Mới đầu chú robot này được phát triển để nhận biết và thu hoạch rau diếp trong phòng thí nghiệm. Và cho tới hiện tại, nó đã được thử nghiệm thành công tại những cánh đồng rau diếp ngoài trời với sự hợp tác của G's Growers và một hợp tác xã rau quả địa phương.
Robot thu hoạch rau xà lách Vegebot
Vegebot gồm hai thành phần chính:hệ thống cắt và hệ thống thị giác máy tính. Khi được khởi động để bắt đầu thực hiện công việc thu hoạch của mình, trước hết Vegebot xác định những cây rau diếp nằm trong tầm nhìn của nó. Sau đó, nó phân tích và xác định xem đâu là cây rau diếp khỏe mạnh, không bị sâu bệnh và sẵn sàng được thu hoạch. Sau khi xác định được cây rau diếp cần thu hoạch, Vegebot thực hiện cắt phần gốc của cây mà không làm cho rau diếp bị dập, nát, hư hỏng. Với khả năng phân biệt rau non, đã trưởng thành và bị sâu hại, Vegebot đã thu hoạch rau chính xác tới 91%. Tuy Vegebot vẫn còn chậm hơn con người khi phải mất trung bình 31 giây để cắt một bắp xà lách, nhưng các kỹ sư cho biết tốc độ này có thể được cải thiện bằng cách sử dụng các vật liệu nhẹ hơn cho robot.
3. Quá trình nghiên cứu và phát triển robot thu hoạch rau xà lách Vegebot
3.1. Các bộ phận của robot thu hoạch rau xà lách Vegebot
Robot thu hoạch rau xà lách Vegebot có cấu tạo bao gồm bao gồm một máy tính xách tay chạy phần mềm điều khiển, một cánh tay robot UR10 với sáu bậc tự do, hai máy ảnh và một bộ kết thúc tùy chỉnh (bộ phận dùng để cắt rau), tất cả được đặt trên một nền tảng di động để kiểm tra trường. Sơ đồ khối hiển thị tích hợp của hệ thống được hiển thị trong hình dưới đây.
Các bộ phận của robot thu hoạch rau xà lách
Vegebot chứa hai máy ảnh: một máy ảnh trên đầu được đặt cách mặt đất khoảng 2 m và một camera thông minh được gắn vào cuối cánh tay robot (bên trong bộ kết thúc) để giúp thực hiện các nhiệm vụ kiểm tra. Cả hai đều là webcam USB thông thường và giúp Vegebot phát hiện (định vị) và phân loại rau xà lách và di chuyển bộ kết thúc vào vị trí. Có các cảm biến bổ sung được tích hợp vào cánh tay robot: các bộ mã hóa khớp tiêu chuẩn và một cảm biến phản hồi lực ghi lại lực và mô-men xoắn được áp dụng vào bộ kết thúc. Cánh tay UR10 cung cấp một loạt các chuyển động và cung cấp thông tin về lực và mô-men xoắn cho phép phản hồi lực được thực hiện.
Máy tính điều khiển điều khiển bộ kết thúc bằng hai dòng I/O kỹ thuật số được định tuyến qua cánh tay UR10. Chúng chuyển đổi hai bộ kích hoạt khí nén bật và tắt, bộ kích hoạt lưỡi gây ra lưỡi cắt qua thân rau xà lách và rút lại, trong khi bộ kích hoạt kẹp mềm giúp kẹp mềm để nắm và thả rau xà lách đạt tiêu chuẩn đã được thu hoạch. Nền tảng di động hỗ trợ các mục phần cứng trên và được di chuyển bằng tay xung quanh cánh đồng. Hệ thống được cung cấp bởi một máy phát điện, cung cấp đủ năng lượng để đáp ứng các yêu cầu đỉnh của hệ thống. Một máy nén khí được sử dụng để kích hoạt các hệ thống khí nén. Máy phát điện và máy nén khí có thể ngồi trên Vegebot để cho phép hệ thống hoàn toàn di động.
Phần mềm được viết trên phiên bản kinetic của hệ điều hành robot (ROS). Các mô-đun ROS tùy chỉnh cho Vegebot được viết bằng Python và được lắp ráp lại thành Vegebot.
Các thành phần của hệ thống Vegebot gồm các nút sau:
- vegebot_commander: Nút này chịu trách nhiệm nhận lệnh từ giao diện người dùng dựa trên web và thực hiện lệnh đó hoặc chuyển chúng cho nút phù hợp.
- lettuce_detect: Nút này đóng gói mã phân loại và định vị rau xà lách từ các hình ảnh 2D. Nó gọi hai mạng lưới thần kinh sâu đang chạy trên Darknet.
- lettuce_sampler: Nút này cung cấp hình ảnh rau xà lách mẫu 2D cho mục đích kiểm tra khi không ở trên cánh đồng.
- vegebot_msgs: Nút này xác định các thông điệp ROS tùy chỉnh được sử dụng cho giao tiếp giữa các nút, bao gồm giả thiết rau xà lách.
- vegebot_webserver: Nút này cung cấp giao diện người dùng HTML phía trước cho người điều khiển robot.
- vegebot_run: Mô-đun này chứa mô hình 3D của Vegebot (trong định dạng URDF) và các tập lệnh để khởi chạy toàn bộ phần mềm trong các điều kiện khác nhau.
Giao diện vận hành của robot
Các trình điều khiển phần cứng ROS tiêu chuẩn (universal_robot, ur_modern và usb_cam) được sử dụng để điều khiển cánh tay UR10 và các webcam. Một cài đặt tiêu chuẩn của Darknet (Redmon, 2013) với YOLOv3 đã được tăng tốc bởi các trình điều khiển CUDA phiên bản 9 để cung cấp dịch vụ phát hiện hình ảnh. Giao diện người dùng HTML có thể được vận hành trên cùng một máy tính điều khiển hoặc từ xa, thông qua một bộ định tuyến WiFi trên bo mạch. Hai camera truyền video trực tiếp đến giao diện người dùng, các hộp giới hạn và lớp cho rau xà lách được phát hiện được đặt lên. Vị trí của đánh dấu hiệu chuẩn cũng được hiển thị. Thư viện roslib.js cung cấp một mô hình robot 3D tương tác hiển thị các chuyển động của robot thực tế. Phản hồi lực cắt trên bộ kết thúc được hiển thị bằng ba đồ thị cột ở bên trái màn hình. Rau xà lách được phát hiện được tích lũy vào thư viện ảnh để tiện cho việc phát hiện sau này, sử dụng thư viện d3.js để lưu trữ. Người điều khiển có thể kiểm tra các hành động riêng lẻ (chẳng hạn như “di chuyển đến vị trí tiền kẹp”) hoặc đơn giản là chọn một rau xà lách được được phát hiện và chỉ thị Vegebot chọn và thu hoạch chúng.
Hình B1b
3.2. Điều khiển và xử lý
Các quy trình để đào tạo và vận hành Vegebot có thể được phân tích ở ba cấp độ. Ở cấp độ cao nhất, chu kỳ học tập, các tập dữ liệu được thu thập cho việc đào tạo ban đầu của hệ thống thị giác, thu hoạch được thực hiện và dữ liệu bổ sung được thu thập. Ngay khi đủ dữ liệu mới được thu thập, hệ thống có thể được đào tạo lại. Như vậy, độ chính xác và khả năng tổng quát của Vegebot trong nguyên lý có thể được cải thiện khi hình ảnh được thu thập từ các cánh đồng mới và trong điều kiện thời tiết khác nhau. Việc kiểm tra các cải tiến này là đề tài của một bài báo trong tương lai. Phiên thu hoạch đề cập đến cấu trúc công việc trên cánh đồng. Đầu tiên, Vegebot được di chuyển dọc theo các luống rau xà lách để đưa khoảng 10 rau xà lách vào không gian làm việc và tầm nhìn của robot.
Điều khiển và xử lý
Phiên bản hiện tại của Vegebot chỉ đơn giản là được đẩy bằng tay vào vị trí. Tiếp theo, Vegebot được hiệu chuẩn tùy chọn,hiệu chuẩn này luôn được thực hiện ở đầu phiên và sau đó theo nhu cầu khi sai khác giữa vị trí rau xà lách được suy ra bởi máy ảnh trên đầu và được phát hiện bởi máy ảnh thông minh tại bộ kết thúc tăng lên. Tiếp theo, hệ thống thị giác phát hiện rau xà lách trong nguồn video, hình ảnh từ máy ảnh trên đầu. Sau đó, con người chọn một rau xà lách bằng cách nhấp vào giao diện người dùng. Đây là quá trình thủ công trong các thí nghiệm vì lý do an toàn. Việc lựa chọn có thể được tự động hóa với một sửa đổi không đáng kể. Sau đó, chuỗi thu hoạch bắt đầu, với rau xà lách được hái và đặt lên nền tảng. Sau khi thu hoạch được các rau xà lách có thể tiếp cận, Vegebot có thể được di chuyển đến một vị trí tập kết.
Chuỗi thu hoạch được tự động hoàn toàn và bao gồm bảy giai đoạn. Đầu tiên, camera thông minh trong bộ kết thúc tiếp cận vị trí là một điểm nằm ở giữa khoảng cách cách đỉnh cây rau xà lách khoảng 10 cm, dựa trên các dự đoán về địa phương từ máy ảnh trên đầu. Bởi vì môi trường khắc nghiệt và các tác động nhận được bởi Vegebot, dự đoán này không thể tránh khỏi sai số lớn hoặc nhỏ. Tại điểm này, máy ảnh trong bộ kết thúc tiếp quản để điều chỉnh vị trí sao cho nó ở đúng trên tâm của rau xà lách. Sau đó, nó hạ thẳng xuống rau xà lách cho đến khi cảm biến phản hồi lực đăng ký lực đẩy của mặt đất chống lại quỹ đạo đi xuống. Kẹp mềm sau đó được kích hoạt và nắm chặt rau xà lách. Tiếp theo, bộ kích hoạt lưỡi được kích hoạt và lưỡi di chuyển theo chiều ngang và cắt qua thân rau xà lách. Vẫn nắm chặt rau xà lách, sau đó nâng lên theo chiều dọc đến cùng một độ cao như vị trí ban đầu, giải phóng nó khỏi tiếp xúc với các rau xà lách xung quanh. Tay sau đó di chuyển đến nơi tập kết rau thu hoạch, kẹp mềm bị vô hiệu hóa và rau xà lách được thả ra.
Phần tiếp theo đề cập đến các phương pháp thu hoạch chính đã được triển khai để cho phép thu hoạch mạnh mẽ và đáng tin cậy trong môi trường nông nghiệp
3.3. Định vị và phân loại rau diếp
Quá trình để hệ thống thị giác phát hiện rau xà lách bao gồm cả định vị (khám phá vị trí của rau xà lách nằm ở đâu, cách robot bao xa) và phân loại (xác định liệu rau xà lách có phải là ứng cử viên phù hợp để thu hoạch hay không). Đầu rau xà lách có hình dạng khác nhau và thường bị che khuất một phần hoặc toàn bộ bởi các lá của chính nó và các lá của các rau xà lách lân cận. Điều kiện ánh sáng ngoài trời cũng thay đổi rất nhiều với các điều kiện thời tiết khác nhau, bao gồm cả mức độ sáng và độ tương phản rất khác nhau. Các rau xà lách cần được phân loại thành “sẵn sàng thu hoạch” (để thu hoạch ngay lập tức), “chưa sẵn sàng thu hoạch” (để thu hoạch vào những ngày sau đó) hoặc “nhiễm trùng” (là những cây bị sâu bệnh để tránh và báo cáo). Ngoài ra, hệ thống định vị phải chuyển đổi tọa độ góc nhìn của rau xà lách thành tọa độ trung tâm của robot để thu hoạch trong điều kiện vật lý rất khắc nghiệt. Tất cả các hoạt động này phải được thực hiện gần như trong thời gian thực vì Vegebot sử dụng thông tin định vị để điều chỉnh động động của bộ kết thúc của nó.
Thu thập dữ liệu về rau xà lách
YOLOv3 là ứng cử viên được chọn để có thể dò tìm, phát hiện cây rau xà lách vì nó cho thời gian phát hiện nhanh nhất và nhược điểm chính của nó là hiệu suất kém trên các đối tượng rất nhỏ gần nhau, tuy nhiên không liên quan đến trường hợp sử dụng này. Với một tập dữ liệu phát hiện đủ lớn, phong phú về các ví dụ của tất cả các loại rau xà lách, sẽ không còn nhiều việc phải làm. Trong dự án hiện tại, chỉ có hai tập dữ liệu có sẵn.
Tập dữ liệu phát hiện đầu tiên được thu thập bởi một trong các nhà nghiên cứu, với các hình ảnh được chụp bằng webcam, các hộp giới hạn và những bức ảnh được thêm vào thủ công. Tập dữ liệu này phong phú về các loại rau xà lách ở nhiều nơi khác nhau trên thế giới nhưng dữ liệu về các loại rau xà lách bị “nhiễm trùng” (hư hỏng) vẫn còn bị thiếu. Tập dữ liệu thứ hai bắt nguồn từ một dự án sinh viên trước đó (Nagrani, 20151) trong phát hiện và phân loại rau xà lách, nhưng không có những dữ liệu về rau xà lách ở đa dạng các vị trí, tất cả các rau xà lách đều ở giữa mỗi hình ảnh.
| Tập dữ liệu | Số lượng hình ảnh | Số lượng cây rau xà lách | Chiều cao từ camera | Điều kiện thời tiết | Chất lượng hình ảnh |
| A | 157 | 7-10 | ~ 1.8 | Nhiều mây/nắng | Trung bình |
| B | 209 | 8-14 | ~ 2 | Nhiều nắng | Cao |
| C | 117 | 3-6 | ~ 1 | Nhiều mây | Trung bình |
| D | 131 | 4-11 | ~ 1.2 | Nhiều mây/mưa | Thấp |
| E | 891 | 1 | ~ 0.3 | Nhiều mây/nắng/mưa | Cao |
Bảng chi tiết về các tập dữ liệu con khác nhau được sử dụng để tạo ra tập dữ liệu định vị bao gồm số lượng rau xà lách và điều kiện trong đó các hình ảnh được chụp
Tuyệt vời nhất là phải thu thập một cơ sở dữ liệu phát hiện rộng hơn từ nhiều nơi khác nhau và giai đoạn của chu kỳ mùa vụ, và đại diện cho đầy đủ các vị trí của rau xà lách. Hoặc, các hình ảnh phân loại hiện có có thể được chèn vào các nền khác để tạo ra một tập dữ liệu huấn luyện nhân tạo cho việc phát hiện rau xà lách.
Giải pháp được lựa chọn là chia đường dẫn thành hai luồng khác nhau, mỗi luồng được đào tạo bởi một trong các tập dữ liệu hiện có. Luồng đầu tiên, một bộ phát hiện đối tượng YOLOv3 sẽ được sử dụng đơn giản để phát hiện sự hiện diện và vị trí của rau xà lách (số lượng lớp được giảm xuống thành một lớp “rau xà lách” duy nhất) và giới hạn độ dài cánh tay có thể với tới được rau xà lách. Có thể do rau xà lách ở mép của khung hình và ngoài tầm với của cánh tay, cây rau xà lách đó sẽ không phải là ứng cử viên được chọn. Sau đó, mỗi giới hạn chưa được thu hoạch còn lại sẽ được cắt để cung cấp thêm thông tin hình ảnh cho giai đoạn tiếp theo. Và sau đó một mạng phân loại đối tượng Darknet thứ hai được áp dụng cho mỗi giới hạn không thể thu hoạch. Mặc dù yêu cầu một luồng hai giai đoạn, phương pháp này cung cấp hiệu suất tốt hơn cả về định vị và phân loại. Kiến trúc đã được chọn để đạt được hiệu suất tốt nhất với các tập dữ liệu có sẵn và với nội dung thông tin của các tập dữ liệu đó. Có một lợi thế bổ sung khi sử dụng luồng hai giai đoạn. Hình ảnh đầu vào cho YOLO được thay đổi kích thước từ 1.920 × 1.080 thành độ phân giải 320 × 320. Điều này vẫn đủ thông tin hình ảnh để phân biệt, nhưng có thể không đủ để xác định liệu một trong 10 rau xà lách hiển thị trên máy ảnh trên đầu có bị hư hỏng hay không. Bằng cách trước tiên phát hiện giới hạn thao tác của cánh tay robot và sau đó cắt từng rau xà lách từ hình ảnh gốc 1.920 × 1.080 trước khi thay đổi kích thước thành 224 × 224, nhiều thông tin hình ảnh hơn về mỗi rau xà lách có sẵn cho mạng phân loại. Điều này cải thiện khả năng xác định phân loại chính xác trên các hình ảnh từ máy ảnh trên đầu.
Dự đoán trên mạng lưới mất 0,082 giây để định vị trong giai đoạn đầu tiên và 0,013 giây thời gian phân loại cho mỗi rau xà lách được phát hiện được chuyển đến giai đoạn thứ hai. Giả sử có 10 rau xà lách là ứng cử viên trên mỗi hình ảnh, tổng thời gian cho định vị và phân loại trên phần cứng hiện tại là khoảng 0,212 giây, chậm hơn so với một mạng phát hiện đối tượng YOLO đơn lẻ, nhưng vẫn đủ nhanh cho điều chỉnh thời gian thực. Máy ảnh thông minh trong bộ kết thúc thường chỉ có một rau xà lách trong tầm nhìn trong quá trình điều chỉnh tinh chỉnh, giảm thời gian phát hiện xuống còn 0,095 giây. Thời gian thu hoạch hơi lâu hơn, do đó đây không phải là bước giới hạn thời gian. Đường dẫn xử lý hình ảnh từ cả máy ảnh trên đầu và máy ảnh trong bộ kết thúc. Máy ảnh trên đầu cung cấp các ứng viên để thu hoạch và máy ảnh trong bộ kết thúc được sử dụng để điều chỉnh tinh chỉnh tiếp cận đến rau xà lách mong muốn.
3.3.1. Tập dữ liệu định vị rau xà lách
Huấn luyện một bộ phát hiện đối tượng CNN sâu yêu cầu một lượng dữ liệu lớn. Tập dữ liệu cũng cần phải là một biểu diễn tốt của các kịch bản thực tế mà Vegebot sẽ gặp phải. Vì không có tập dữ liệu hiện có phù hợp cho mục đích của dự án này, một tập dữ liệu mới về xác định vị trí rau xà lách đã được thu thập, gắn nhãn và lắp ráp.
Tập dữ diệu định vị rau xà lách
Quá trình thu thập hình ảnh từ trường sử dụng webcam. Hình ảnh được chia thành nhiều tập dữ liệu con tương ứng với các thí nghiệm trên đồng khác nhau mà chúng được thu thập. Điều này cho phép theo dõi tốt hơn tập dữ liệu để đảm bảo tập dữ liệu được lắp ráp cân bằng tốt. Các hình ảnh bao gồm các điều kiện thời tiết khác nhau, độ cao máy ảnh, các trường rau xà lách, bố cục rau xà lách, độ trưởng thành của rau xà lách và chất lượng hình ảnh, vì đây là các yếu tố có thể thay đổi trong quá trình thu hoạch rau xà lách.
Các hình ảnh đã được gắn nhãn thủ công trong các hộp giới hạn vuông bằng công cụ VoTT Visual Object Tagging Tool (Vott, 2018). Các hình ảnh rau xà lách được gắn nhãn sao cho tâm của khung hình là trung tâm hình học của rau xà lách tương ứng và kích thước của hộp giới hạn lớn hơn 10% so với đầu rau xà lách. Chỉ có những cây rau xà lách mà đầu của chúng được bao gồm đầy đủ trong hình ảnh mới được gắn nhãn. Tập dữ liệu được phân chia ngẫu nhiên thành các tập huấn luyện (70%), xác thực (20%) và kiểm tra (10%), trong đó tập xác thực được sử dụng để điều chỉnh siêu tham số và tập kiểm tra chỉ được sử dụng để đánh giá hiệu suất cuối cùng. Mặc dù chỉ có rau xà lách mà đầy đủ hiển thị trong hình ảnh mới được gắn nhãn, thuật toán YOLO vẫn đủ mạnh để phát hiện rau xà lách ở các cạnh. Việc phân loại các cây rau xà lách này sẽ làm tăng độ phức tạp của vấn đề một cách không cần thiết. Thực tế, những cây rau xà lách này có khả năng bị ngoài tầm với của cánh tay robot Vegebot và do đó chúng bị loại bỏ khỏi các ứng viên được phát hiện. Cũng có trường hợp rau xà lách bị chặn bởi cỏ dại, chính Vegebot hoặc các chướng ngại vật khác, dẫn đến các hộp giới hạn hẹp thay vì vuông. Thuật toán từ chối rau xà lách đã được triển khai để từ chối các ứng viên như vậy.
3.3.2. Tập dữ liệu phân loại rau xà lách
Mục tiêu của phân loại là chọn ra những cây rau xà lách đã sẵn sàng thu hoạch trong số tất cả các cây rau xà lách được nhận dạng từ bước định vị trước đó. Rau xà lách chưa đủ độ để thu hoạch và bị nhiễm trùng nên được để lại trên cánh đồng. Kết quả định vị sai có thể gây nguy hiểm: Với một vật không phải là rau xà lách, việc với tay robot có thể gây hư hỏng cho robot (nếu vật đó là một tảng đá) cũng như cho chính vật đó (nếu vật đó là một bàn tay người hoặc một bộ phận của robot). Chính vì vậy có một bộ phận điều hướng giống như một bộ lọc bổ sung để ngăn chặn các kết quả sai: Bằng cách đánh dấu các trường hợp không phải là rau xà lách, hiệu suất của mạng phân loại đã được cải thiện.
| Rau xà lách | Sẵn sàng thu hoạch | Chưa trưởng thành | Bị nhiễm bệnh | Các vật không phải rau xà lách | Tổng |
| Số lượng hình ảnh | 181 | 149 | 121 | 214 | 665 |
Số lượng dữ liệu của từng loại rau xà lách
Các hình ảnh đã được gắn nhãn bởi một trong các nhà nghiên cứu với sự trợ giúp của các chuyên gia trồng trọt để cho phép gắn nhãn và phân loại tập dữ liệu. Có 665 hình ảnh đã được phân chia ngẫu nhiên thành các tập huấn luyện (87,5%) và kiểm tra (12,5%). Một tỷ lệ hình ảnh cao hơn được phân bổ cho tập huấn luyện một cách cố ý do giới hạn của các hình ảnh có sẵn. Mạng phân loại được sử dụng là bộ phân loại đối tượng tiêu chuẩn được cung cấp với Darknet Kích thước lô là 64, phân chia là 4 và mạng được huấn luyện đến 260 vòng lặp. Quá trình huấn luyện được thực hiện trên cùng phần cứng với mạng định vị và mất khoảng 2 giờ.
3.3.3. Hiệu chuẩn và định vị cơ quan tác động cuối
Phương pháp đầu tiên được thử nghiệm trên vấn đề định vị là phương pháp cổ điển của việc mô hình hóa robot và các hệ tọa độ của nó, hiệu chuẩn các thông số máy ảnh, sau đó chuyển đổi điểm ảnh trung tâm mục tiêu của rau xà lách (trung tâm của hộp giới hạn) thành một vị trí trong không gian 3D và cuối cùng sử dụng động học nghịch đảo để di chuyển cánh tay theo yêu cầu. Vấn đề gặp phải là hệ thống hoạt động tốt trong phòng thí nghiệm, nhưng sẽ thất bại khi bị va đập trong khi thực hiện trên cánh đồng rau xà lách. Ngay cả những sai lệch nhỏ trong vị trí của máy ảnh trên cao cũng có nghĩa là robot có thể định vị sai mục tiêu của nó lên đến 10 cm.
Do đó, đã thử nghiệm một phương pháp khác, trong đó robot có thể tự hiệu chuẩn chuyển đổi từ khung nhìn điểm ảnh sang vị trí cánh tay, sử dụng các đánh dấu Aruco được đặt trên đầu cuối cánh tay. Một lần hiệu chuẩn tự động sẽ đủ để đặt lại chuyển đổi. Ví dụ, sau khi di chuyển nền, hiệu chuẩn cũng đặt lại vị trí mục tiêu của trung tâm rau xà lách trong viewport của máy ảnh cuối cùng. Chúng tôi giả định nền được giữ ở mức độ gần như phẳng so với cánh đồng do các đường ray mà Vegebot di chuyển.
Chi tiết quá trình hiệu chỉnh như sau:
Bước 1: Xác định vị trí bộ kết thúc bằng tay qua bất kỳ rau xà lách nào bằng cách sử dụng các điều khiển UR10 tiêu chuẩn.
Bước 2: Tăng bộ kết thúc bằng tay theo chiều dọc đến khoảng cách khoảng 10cm so với rau xà lách.
Bước 3: Kích hoạt hiệu chuẩn tự động:
a, Pixel trung tâm của hộp giới hạn cho rau xà lách trong camera bộ kết thúc được ghi nhận là pixel trung tâm mục tiêu để điều chỉnh tinh chỉnh (camera không được căn giữa trong bộ kết thúc vì lý do không gian)
b, Hiệu chuẩn ghi lại vị trí dọc của bộ kết thúc (trục Z trong ROS) và giả định rằng đây là độ cao của mặt phẳng chứa tất cả các vị trí “pregrasp” trong tương lai.
c, Bộ kết thúc sau đó di chuyển đến ba vị trí ở các cạnh của khung nhìn, trong cùng một mặt phẳng ngang. Mỗi vị trí được ghi lại theo X, Y, Z của bộ kết thúc trong khung tọa độ của cánh tay robot và theo pixel trung tâm u, v của đánh dấu Aruco được phát hiện.
3.4. Thu hoạch rau xà lách
Robot thu hoạch rau xà lách được thiết kế để thu hoạch rau xà lách một cách chính xác và đáng tin cậy, hiệu quả với tổn thất tối thiểu cho rau xà lách. Để đáp ứng các tiêu chuẩn của siêu thị, gốc cắt của rau xà lách phải được cắt bằng một đường thẳng đồng nhất duy nhất sao cho có khoảng 2 mm từ chỗ cắt lên đến lá cây rau xà lách. Những lá ngoài cùng của rau xà lách cũng nên được loại bỏ nếu có thể. Một cánh tay UR10 6-DOF được sử dụng để cung cấp chuyển động cho một bộ kết thúc tùy chỉnh được thiết kế đặc biệt cho việc thu hoạch rau xà lách. Cánh tay UR10 được gắn trên một cơ sở di động có thể được di chuyển dọc theo các hàng rau xà lách.
Để giảm thiểu sự hư hỏng cho rau xà lách và đạt được một vết cắt sạch, bộ kết thúc được làm bằng hai cơ chế đã được sử dụng. Đầu tiên, một bộ phận kẹp mềm được sử dụng để giữ rau xà lách trong suốt quá trình cắt và khi nâng chúng lên. Thứ hai, một cơ chế cắt cần thiết để cắt thân rau xà lách ở một độ cao nhất định. Cơ chế cắt yêu cầu lực (≈20 N) để cắt qua thân rau xà lách và lá ngoài cùng, đồng thời yêu cầu điều chỉnh độ cao và cắt thẳng tuyến tính.
3.4.1. Thiết kế tác động cuối: bộ phận để cắt rau xà lách
Để đạt được lực cắt đủ để cắt thân rau xà lách, cần có một cú cắt thẳng mạnh tại đáy của rau xà lách. Một số cơ chế khác nhau đã được thử nghiệm để xác định cơ chế nào có thể đạt được đủ lực và chất lượng cắt: kẹp mềm và tay dao, kích hoạt khí nén, truyền động băng và chặt xoay.
Bộ phận để cắt rau xà lách
Có rất nhiều các cơ chế khác nhau được xem xét: Phương pháp hai tay thiếu lực cắt và yêu cầu một mức độ phối hợp cao giữa hai tay. Phương pháp động cơ điện xoay không đủ lực để cắt thân rau xà lách đáng tin cậy và dẫn đến cơ chế phải chặt thân rau xà lách. Mặc dù phương pháp truyền động tuyến tính cung cấp đủ lực, tốc độ lại chậm, dẫn đến chất lượng cắt kém. Cơ chế cắt khí nén cung cấp tỷ lệ công suất/trọng lượng cao, làm cho nó rất phù hợp cho ứng dụng này nơi cần một cắt sạch nhanh chóng. Mặc dù không có điều khiển vị trí, kích hoạt khí nén cho phép dễ dàng thực hiện điều khiển cắt/mở.
Cơ chế kẹp mềm có một bộ kẹp di động duy nhất và một bộ kẹp cố định được lót bằng mút. Tương tự như các bộ kết thúc thu hoạch khác (De-An, Jidong, Wei, Ying, & Yu, 2011; Foglia & Reina, 2006), một bộ phận kích hoạt khí nén được sử dụng để điều khiển bộ kẹp vì điều này có thể được sử dụng có thể điều chỉnh bằng cách thay đổi áp suất khí để giữ rau xà lách nhưng không gây hư hỏng với điều khiển mở/đóng đơn giản.
Chi tiết bộ phận để cắt rau xà lách
Bộ kết thúc chỉ sử dụng hai kích hoạt, một cho kẹp và một cho cắt để cho phép điều khiển đơn giản. Hệ thống băng tải được sử dụng để chuyển động tuyến tính từ một kích hoạt đến cả hai bên của lưỡi để cho phép chuyển động mượt mà. Điều này cho phép kích hoạt được gắn trên độ cao của rau xà lách, sao cho khi cắt nó không gây cản trở. Hệ thống truyền động băng cho phép điều chỉnh độ cao của cơ chế cắt dễ dàng bằng cách thay đổi độ cao của cơ chế cắt.
Bảng 4: Thông số thiết kế tác động cuối
3.4.2. Kiểm soát lực trong quá trình cắt rau xà lách
Một thách thức chính để thu hoạch thành công là cắt thân rau xà lách đáng tin cậy ở độ cao chính xác trong một môi trường có tính biến đổi, không chắc chắn và không biết trước. Để đạt được điều này, mặt đất được sử dụng như một điểm tham chiếu cố định và thân rau xà lách được giả định là cách mặt bằng một khoảng cách cố định. Sử dụng phản hồi lực từ các khớp của cánh tay robot UR10, bộ kết thúc được hạ xuống gần mặt đất, bao quanh rau xà lách, cho đến khi đạt được một lực nhất định và có thể giả định tiếp xúc với mặt đất. Chiều cao cắt so với mặt đất có thể được điều chỉnh bằng cách thay đổi độ cao của cơ chế cắt một cách thủ công. Ngưỡng lực được tìm thấy bằng cách xác định thực nghiệm lực cần thiết cho bộ kết thúc tương tác với mặt đất, tức là khi nó vượt qua lực kháng của các lá và các lực phản ứng khác của mặt đất. Ngưỡng lực đã được xác định thực nghiệm là 60N để đảm bảo tất cả các lá được đẩy ra khỏi đầu rau xà lách và bộ kết thúc tiếp xúc và cân bằng với mặt đất. Phương pháp này giúp đẩy các lá ngoài cùng của rau xà lách có thể gây cản trở cho cơ chế cắt. Điều này cũng cho phép bộ kết thúc tự cân bằng trên mặt đất và cung cấp sự ổn định và nhất quán. Các “chân” nhỏ được thêm vào bộ kết thúc để cho phép đạt được sự ổn định và ngăn nó bị nhấn quá sâu vào mặt đất. Phương pháp này cho phép hệ thống thích nghi với các điều kiện địa hình khác nhau, ví dụ: độ cao đất khác nhau so với độ cao của các đường ray của máy kéo.
Sau khi được định vị hoàn toàn, rau xà lách được kẹp chặt và cắt. Mỗi bộ kích hoạt khí nén được điều khiển bằng một van có hai điều khiển vị trí. Hai đầu ra kỹ thuật số từ bộ kết thúc UR10 được sử dụng để điều khiển các van. Sau khi đạt được độ cao chính xác bằng phản hồi lực, quá trình cắt sẽ được thực hiện theo quá trình: đầu tiên kích hoạt cơ chế kẹp để rau xà lách được giữ ở một vị trí cố định. Hệ thống khí nén cắt sau đó được kích hoạt để lưỡi cắt thân rau xà lách. Cánh tay sau đó có thể được nâng lên, với dao được giải phóng và sau đó kẹp được thu hồi để thả rau xà lách về nơi tập kết.
4. Quá trình thực nghiệm và kết quả
Đã có 10 phiên thí nghiệm đã được tiến hành trong các mùa thu hoạch rau xà lách từ năm 2016-2018 tại các cánh đồng rau xà lách ở Cambridgeshire, Vương quốc Anh, trong các điều kiện thời tiết khác nhau và trên nhiều cánh đồng khác nhau. Trong những chuyến thử nghiệm này, hệ thống đã được phát triển và thử nghiệm. Các trường hợp thí nghiệm đã được tiến hành để kiểm tra hiệu suất của hệ thống định vị và phân loại rau xà lách. Toàn bộ hệ thống cũng được tích hợp để kiểm tra hoạt động đầy đủ của hệ thống kết hợp với khả năng thu hoạch vật lý của nó. Ở đầu mỗi phiên thí nghiệm, Vegebot được lắp ráp ở đầu luống rau xà lách. Thông thường, một đội ba người tham gia, một người vận hành máy tính điều khiển, một người quan sát và một người kiểm tra và giải quyết các vấn đề vật lý và kích hoạt máy nén khí khi cần thiết.
4.1. Kết quả định vị
Để thu hoạch thành công một cây rau xà lách, tâm của bộ kết thúc phải được đặt với một sự dung sai so với tâm thực sự của rau xà lách. Sự dung sai được xác định bởi thiết kế cơ khí của bộ kết thúc và khoảng 2 cm cho rau xà lách có kích thước trung bình (đường kính khoảng 15-20 cm). Để thu hoạch thành công, hệ thống định vị phải dự đoán tâm của rau xà lách, sao cho sai khác tuyệt đối so với sự thật. Trong thực tế, đối với một chiều cao máy ảnh nhất định, ngưỡng được chỉ định trong pixel, được tính toán dựa trên tỷ lệ của hình ảnh.
Để kiểm tra khả năng của hệ thống định vị để xác định tâm của rau xà lách với độ chính xác đủ để cho phép thu hoạch thành công, các hình ảnh được chụp bằng cả máy ảnh cấp thấp và cấp cao được sử dụng. Sự khác biệt giữa tâm rau xà lách được phát hiện.
Kết quả định vị
Trong lĩnh vực, điều kiện ánh sáng và thời tiết có thể thay đổi đáng kể. Để kiểm tra độ chính xác với các điều kiện ánh sáng khác nhau, các tập dữ liệu kiểm tra ở tập dữ liệu định vị đã được sửa đổi nhân tạo với xử lý hình ảnh (sử dụng các chức năng ImageEnhance brightness và ImageEnhance contrast trong thư viện Python Willow) đến các mức độ khác nhau về độ sáng và độ tương phản, tạo ra gấp sáu lần (7.200 ảnh) số lượng hình ảnh kiểm tra gốc (1.200 ảnh). Sau đó, hệ thống định vị sẽ kiểm tra dựa trên trên tập hình ảnh này
Quá trình thực nghiệm đã cho thấy việc định vị tương đối chính xác trước sự thay đổi về độ sáng của hình ảnh (điều kiện thay đổi khả năng xảy ra nhất), với sự thay đổi tối thiểu về độ chính xác và độ nhớ lại. Đối với sự biến đổi về độ tương phản của hình ảnh, mặc dù độ chính xác vẫn cao nhưng độ nhớ lại giảm đáng kể đối với sự thay đổi tương phản cao. Có thể rằng việc sử dụng các kỹ thuật tăng cường dữ liệu trên tập dữ liệu đào tạo ban đầu sẽ cải thiện điều này.
Chúng đã có thể phát hiện cỏ dại, chân người cũng như rau xà lách không tạo thành đầu rau. Và chúng đã thể hiện được rằng thuật toán để từ chối rau xà lách có thể hiệu quả trong việc chối rau xà lách nằm ở mép của hình ảnh. Định vị cũng hiệu quả ở các độ cao khác nhau (từ 20cm đến 170cm) so với mặt đất và với độ nghiêng lên đến 45°.
Theo thống kê, tỷ lệ thành công (số rau xà lách được xác định chính xác trên tổng số rau xà lách quan sát được) và các phát hiện các vật thể ngoài rau xà lách đã được ghi lại. Kết quả từ kết quả hệ thống tổng thể này bao gồm hơn 60 thí nghiệm thu hoạch rau xà lách riêng lẻ, trong đó kết quả định vị của tất cả rau xà lách có thể nhìn thấy được quan sát bởi hệ thống đã được ghi lại. Bạn có thể theo dõi kết quả trong bảng dưới đây
|
| Kết quả | Định nghĩa (cách tính) |
| Định vị rau xà lách thành công | 91,0% | Số lượng cây được phát hiện đủ tiêu chuẩn |
| Phát hiện những vật thể không phải rau xà lách | 1,5% | Số lượng những vật thể không phải rau xà lách được phát hiện |
Kết quả định vị
4.2. Kết quả phân loại
Độ chính xác của hệ thống phân loại là rất quan trọng để tránh các vụ nhiễm bệnh hoặc hư hỏng có thể gây nhiễm trùng cho hệ thống thu hoạch. Bằng cách bỏ qua các đầu chưa chín và tránh thu hoạch những thứ không cần thiết, hiệu quả của robot thu hoạch có thể được tối đa hóa. Để kiểm tra tính bền vững của hệ thống, các hình ảnh giống như trong các thí nghiệm định vị (đã được sửa đổi về độ sáng và độ tương phản) đã được chuyển đến mạng phân loại và độ chính xác được ghi lại.
Đối với phân loại, mạng hiển thị độ bền vững lớn nhất đối với sự khác biệt về độ tương phản chứ không phải sự khác biệt về độ sáng; điều này có thể là do dữ liệu đào tạo cho thấy sự khác biệt lớn hơn về độ tương phản so với độ sáng. Các hình ảnh chụp dưới ánh nắng mặt trời sáng có độ tương phản cao hơn là độ sáng cao và không có hình ảnh ban đêm trong tập dữ liệu để đào tạo cho độ sáng thấp. Tăng cường dữ liệu khôn ngoan trước khi đào tạo sẽ cải thiện hiệu suất.
Để hiểu các quyết định phân loại được thực hiện bởi hệ thống, một ma trận nhầm lẫn của các thử nghiệm trên cánh đồng đã được tạo ra. Đường chéo chính hiển thị rau xà lách được phân loại chính xác, cho thấy rằng phân loại thực hiện đủ cho việc xác định nền, rau xà lách bị nhiễm và sẵn sàng thu hoạch. Xác định rau xà lách bị nhiễm là rất quan trọng để tránh sự ô nhiễm và cần tiếp tục nghiên cứu để cải thiện phân loại.
Hệ thống phân loại gặp một phần khó khăn trong việc phân loại và xác định rau xà lách sẵn sàng thu hoạch và rau xà lách non chưa đủ thời gian để thu hoạch. Một trong những lý do là ranh giới giữa rau xà lách chín và chưa chín rất mơ hồ và thay đổi tùy theo yêu cầu thị trường hiện tại, do đó tạo ra một tập dữ liệu có ý nghĩa là thách thức. Tập dữ liệu phân loại được đánh dấu theo các quy tắc rằng một “đầu rau xà lách sẵn sàng thu hoạch” có đường kính khoảng 18 cm, đây là kích thước có thể cho là đã đến thời gian thu hoạch. Trong ngày thử nghiệm trên cánh đồng, đã có một thay đổi trong thông số kỹ thuật thu hoạch: những cây rau xà lách thường được coi là chưa đủ điều kiện và bị bỏ lại trên cánh đồng cũng sẽ được thu hoạch, điều này giải thích tại sao nhiều dự đoán chưa đủ điều kiện thu hoạch ("chưa chín") đã được sửa đổi thành đủ điều kiện thu hoạch (“chín”). Khi các thử nghiệm hệ thống đầy đủ của Vegebot được chạy trên lĩnh vực sau đó, hệ thống cung cấp độ chính xác 100% khi phân loại rau xà lách.
4.3. Hiệu suất thu hoạch
Các thử nghiệm cuối cùng trên thực địa đã được thực hiện vào tháng 5 năm 2018 tại một cánh đồng rau xà lách ở Cambridgeshire, Anh. Những thử nghiệm cuối cùng này được tiếp nối từ hơn 10 lần trước đó từ cánh đồng với hơn 300 cây rau xà lách đã được thu hoạch. Vegebot được đặt ở đầu của một luống rau xà lách, các cây rau xà lách trong tầm nhìn của máy ảnh trên cao được phát hiện và thử thu hoạch. Một khi đã thử thu hoạch tất cả các cây rau diếp khả thi, nền tảng được di chuyển tiếp xuống đường để đến những hàng chưa được thu hoạch. Mỗi vị trí rau diếp, và các kết quả hình ảnh rau xà lách hay không phải rau xà lách đều được ghi lại, cùng với số lượng và quỹ đạo của tất cả các lần thử thu hoạch. Cuối cùng, mỗi cây rau xà lách được kiểm tra xem có bị hư hại không, đặc biệt là phần cuống bị cắt quá gần với thân cây rau diếp hay không. Tổng cộng, 69 cây rau diếp đã được hệ thống thị giác phát hiện, 60 cây nằm trong tầm với của cánh tay robot và thử thu hoạch với 31 cây rau diếp được thu hoạch thành công.
4.3.1. Quỹ đạo của bộ tác động cuối: cánh tay robot, kẹp mềm và lưỡi cắt
Trong các thí nghiệm cuối cùng trên thực địa, hệ thống thị giác đã phát hiện được 69 cây rau diếp đủ điều kiện. Trong số này, đã thử thu hoạch 60 cây, số còn lại nằm ngoài tầm với của cánh tay robot. Có 31 lần thử thu hoạch thành công, với 29 lần thất bại, hầu hết do trọng lượng của bộ phận cuối cùng gây ra sự cố cơ khí trên cánh tay, khiến việc thử thu hoạch trở nên không thể.
Ngoại trừ phần nắm bắt-cắt, tất cả các phần quỹ đạo khác đều bị chậm lại đáng kể do gánh nặng của trọng lượng bộ phận cuối cùng lên cánh tay robot. Điều này dẫn đến thời gian chu kỳ trung bình là 31,7 giây. Quan trọng là, bước giới hạn tốc độ, việc nắm bắt và cắt, chỉ cần 2 giây. Do đó, việc sử dụng một bộ phận cuối cùng nhẹ hơn, ví dụ, xây dựng từ một vật liệu nhẹ hơn như sợi carbon, hoặc sử dụng một cánh tay mạnh hơn có thể dẫn đến thời gian chu kỳ đáng kể thấp hơn.
4.3.2. Hiệu suất thu hoạch tổng thể
Rau xà lách được thu hoạch đạt chuẩn
Xét tất cả các lần thử thu hoạch, tỷ lệ thành công của việc thu hoạch được tìm thấy là 52% (31/60 cây rau xà lách được xác định chính xác). Tuy nhiên, trong 28 trường hợp, việc thất bại trong việc thu hoạch là do các hạn chế thực tế (trọng lượng của cánh tay, không gian làm việc thực tế của cánh tay robot, và phạm vi của tầm nhìn máy ảnh trên cao). Do đó, việc thu hoạch một số cây rau xà lách về mặt vật lý không thể thực hiện được. Nếu bỏ qua các hạn chế của cánh tay, và mẫu số chỉ phản ánh những cây rau xà lách nằm trong không gian làm việc thực tế, thì tỷ lệ thành công của việc tách rời tăng lên 97%. Nói cách khác, ngoại trừ một ngoại lệ, nếu cánh tay có thể với đến cây rau xà lách thì bộ phận cuối cùng có thể thu hoạch nó. Mặc dù đây là một ngoại lệ đáng kể, nhưng có thể đơn giản thực hiện bằng cách sử dụng một cánh tay robot có khả năng tạo ra mô-men xoắn tăng cường.
Qua thử nghiệm, họ đã thấy rằng các đường cắt chất lượng cao và cũng cho thấy những cây có lá ngoài không mong muốn hoặc bị hư hại đều được loại bỏ.
Thời gian thu hoạch thay đổi rất nhiều tùy thuộc vào khoảng cách mà cánh tay cần di chuyển từ cây rau xà lách này đến cây rau xà lách khác, bị làm trầm trọng hơn do trọng lượng của bộ phận cuối cùng làm chậm các chuyển động. Trong một số trường hợp, cần phải loại bỏ thêm một lá (bằng tay) để đạt được sự hoàn hảo của siêu thị. Ngoài ra, trong một số trường hợp cần thêm các lần cắt. Điều này thường do lá của cây rau xà lách và sự di chuyển của đầu cây rau trong khu vực cắt. Ngoài ra, các đường cắt thường hơi quá gần với thân cây để được chấp nhận trên thị trường hiện tại. Thời gian chu kỳ trung bình là 31,7 giây, với phương sai là 32,6 giây. Một lần nữa, giá trị này chủ yếu do hạn chế của cánh tay và trọng lượng của bộ phận cuối cùng.
Tất cả ngoại trừ phần nắm bắt-cắt ngắn (2 giây) có tốc độ bị giới hạn bởi khả năng tải trọng của cánh tay. Thời gian thu hoạch giảm đáng kể có thể đạt được với một cánh tay mạnh hơn hoặc bộ phận cuối cùng nhẹ hơn. Ngoài ra, khoảng một phần tư của thời gian thu hoạch được chiếm bởi việc điều chỉnh tinh vi của vị trí bộ phận cuối cùng. Bất kỳ cải tiến nào về độ chính xác của việc định vị máy ảnh trên cao sẽ giảm thêm thời gian thu hoạch tổng thể. Việc giảm tỷ lệ hư hại (38%) sẽ yêu cầu thêm thí nghiệm. Các chuỗi siêu thị, những người mua rau xà lách bán buôn lớn nhất, có các tiêu chuẩn nghiêm ngặt về độ dài của phần cuống đã cắt để cải thiện vẻ ngoại của rau trong bao bì. Theo những tiêu chuẩn này, thẩm mỹ hơn là liên quan đến khả năng ăn được của cây rau xà lách hay không, bộ phận cuối cùng thường bỏ qua độ dài lý tưởng, cắt trong hầu hết các trường hợp hơi quá gần đầu cây rau diếp. Trong số 32 lần thu hoạch, chỉ có hai lần thực sự dẫn đến cây rau xà lách không thể ăn được. Có thể cải thiện bằng cách tinh chỉnh cơ chế phản hồi lực và có thể giới thiệu hiệu chuẩn độ sâu phụ thuộc vào cánh đồng ở đầu mỗi phiên. Điều này còn lại cho công việc tương lai.
Một lần nữa, các tiêu chuẩn của người mua quy định rằng một cây rau xà lách đã đóng gói không nên có quá nhiều lá không cần thiết trong bao bì. Hiện tại, một người thu hoạch sẽ khéo léo loại bỏ một vài lá sau mỗi lần thu hoạch trước khi chuyển cây rau diếp lên giàn thu hoạch. Bộ phận cuối cùng để lại cây rau diếp đã thu hoạch với trung bình 0,75 lá không mong muốn theo những tiêu chuẩn này. Những lá này sẽ phải được loại bỏ thêm dọc theo chuỗi sản xuất bằng tay, hoặc theo cách tự động. Đáng chú ý là cả hai chỉ số về tỷ lệ hư hại và số lượng lá cần loại bỏ có thể được cải thiện đáng kể bằng cách cho phép một phạm vi lớn hơn về vẻ ngoại của rau trên kệ siêu thị. Cho đến khi robot cải thiện, điều này đề xuất một chiến lược giá kép, với một mức giá cao hơn được người tiêu dùng trả cho một cây rau xà lách “hoàn hảo” được thu hoạch bằng tay và một mức giá thấp hơn cho một cây rau xà lách thu hoạch bằng robot biến đổi hơn nhưng hoàn toàn có thể ăn được.
5. Nói về robot Vegebot sau quá trình thực nghiệm
Còn rất nhiều công việc cần phải làm để đạt được một máy thu hoạch rau xà lách hoàn hảo. Những thách thức hiện có bao gồm phân tích hình ảnh, điều khiển chính xác của bộ điều khiển, phát triển thiết bị thu hoạch và giảm thời gian thu hoạch và chi phí tổng thể. Trong nghiên cứu này, trọng tâm không phải là phát triển một sản phẩm thương mại, mà là thực hiện các thử nghiệm để cung cấp các kết quả nghiên cứu có thể hỗ trợ cho việc phát triển các hệ thống robot nông nghiệp không chỉ cho rau xà lách, mà còn cho nhiều loại cây trồng khác. Mẫu cuối cùng của Vegebot là kết quả của hơn 15 lần lặp lại và các thử nghiệm trên thực địa được thực hiện trong các mùa thu hoạch ở Vương quốc Anh (từ tháng 7 đến tháng 9) giữa 2016 và 2018, cũng như vô số thử nghiệm trong phòng thí nghiệm. Trong mỗi lần lặp lại, các thiết kế phần mềm và phần cứng mới được thử nghiệm trên thực địa, dữ liệu được thu thập và kết quả được so sánh. Phương pháp phát triển được áp dụng là sản xuất một hệ thống mô-đun để cho phép tích hợp và kiểm tra cấu hình một cách nhanh chóng. Các thử nghiệm trên thực địa thường xuyên được sử dụng để cung cấp phản hồi và xác định các cải tiến cần thiết. Các nhà nghiên cứu tin rằng phương pháp tiếp cận lặp lại này có khả năng tạo ra các robot chắc chắn, đáng tin cậy hơn so với thiết kế cẩn thận dựa trên một phiên bản lý tưởng của vấn đề.
Robot Vegebot thu hoạch rau xà lách tại thực địa
Dự án hiện tại, tỷ lệ hư hỏng do cắt quá ngắn thân rau lách quá cao so với tiêu chuẩn của siêu thị, mặc dù rau được thu hoạch hoàn toàn ăn được. Kích thước mẫu gần đây nhất của 69 cây rau diếp cá đã đủ để xác nhận đây là vấn đề tiếp theo cần giải quyết (hàng trăm cây rau xà lách đã được thu hoạch trong các lần lặp lại trước đó). Các phiên bản Vegebot trong tương lai sẽ cần giải quyết và cải thiện tỷ lệ hư hỏng, có thể bằng phản hồi hình ảnh từ rau diếp cá thu hoạch động động điều chỉnh ngưỡng lực cắt. Song song đó, bộ kết thúc cần được làm nhẹ hơn để đạt được thời gian chu kỳ cấp độ con người, có thể bằng cách sản xuất với sợi carbon hoặc bằng cách sử dụng thiết kế cánh tay Descartes khác mạnh hơn. Tóm lại, việc thích nghi CNN với các tập dữ liệu hiện có và việc sử dụng phản hồi môi trường đơn giản, ít cảm giác có thể hữu ích trong các dự án thu hoạch khác. Khuyến nghị chính của nhà nghiên cứu sẽ là lặp lại nhanh chóng với các thiết kế phần cứng khác nhau hoàn toàn, kiểm tra trên thực địa càng thường xuyên càng tốt và không ngừng đơn giản hóa và sử dụng các chỉ số tiêu chuẩn để giữ trên đúng hướng.
6. Kết luận
Quá trình nghiên cứu và thử nghiệm robot thu hoạch rau xà lách Vegebot đã chứng minh được rằng việc áp dụng công nghệ hiện đại vào thu hoạch nông sản ngày càng tiềm năng. Vegebot đã phân loại và định vị khá mạnh mẽ, được chứng minh bằng một tỷ lệ thành công định vị là 91% và độ chính xác phân loại là 82% khi được thử nghiệm trên một tập dữ liệu kiểm tra đáng kể. Thời gian chu kỳ trung bình trên Vegebot (31,7 giây) bị hạn chế bởi trọng lượng của bộ kết thúc và do đó hiện đang chậm hơn con người, nhưng có thể được cải thiện dễ dàng trong các phiên bản sau được làm từ vật liệu nhẹ hơn. Mặc dù tỷ lệ thành công thu hoạch cao (88,2%) nhưng tỷ lệ hư hỏng lại rất cao (38%). Kích thước mẫu của 60 cây rau diếp cá cho thấy tiềm năng và xác định rằng cần có công việc trong tương lai để giảm tỷ lệ hư hỏng. Tối ưu hóa thêm cần thiết để đáp ứng tiêu chuẩn siêu thị. So với các công trình khác trong hệ sinh thái nghiên cứu này, chúng tôi đã chứng minh một số phương pháp và kỹ thuật mới cho robot nông nghiệp. Trong việc sử dụng một CNN hai giai đoạn, các nhà nghiên cứu đã sử dụng một hệ thống học tập “ngoài hộp” cho một vấn đề nông nghiệp cụ thể thay vì tạo ra một hệ thống tùy chỉnh cho vấn đề cụ thể này. Điều này khác biệt so với nhiều giải pháp tiên tiến. Họ cũng đã khám phá cách tiếp cận này có thể tận dụng tốt nhất các bộ dữ liệu có sẵn và có thể thực hiện việc thu thập dữ liệu, đào tạo và kiểm tra đầy đủ. Ngoài ra, trong quá trình phát triển các thành phần cơ khí của hệ thống thu hoạch, họ đã chỉ ra cách khai thác với các điều kiện của môi trường. Việc sử dụng thiết kế các hệ thống cơ khí để hoạt động trong một môi trường nông nghiệp hiện có là khác biệt so với nhiều phương pháp khác. Điều này đưa ra một phương pháp để đạt được tính ổn định trong môi trường nông nghiệp đầy thách thức. Trong khi tương lai gần có vẻ là các cánh tay robot được gắn vào các thiết bị thu hoạch, một Vegebot tự động cũng là một khả năng riêng biệt. Mặc dù khả năng của nó sẽ rõ ràng bị giới hạn hơn, nhưng nó sẽ có tính linh hoạt trong việc phản ứng nhanh chóng với những đợt tăng đột biến trong nhu cầu. Tập hợp một đội ngũ con người và một thiết bị thu hoạch có thể khó khăn trong thời gian ngắn và có thể quá mức cho các đơn đặt hàng nhỏ nhưng bất ngờ, trong khi một Vegebot tự động có thể được gửi vào cánh đồng để thực hiện thu hoạch. Ngoài thời gian thu hoạch, nó cũng có thể được sử dụng để thu thập dữ liệu. Hệ thống thị giác và học tập kết hợp với hệ thống kết thúc cung cấp tiềm năng cho việc thu hoạch cây trồng chọn lọc. Điều này có thể tăng năng suất mùa vụ và thu hoạch.
Nông nghiệp là một ngành công nghiệp với biên lợi nhuận thấp; hiệu quả chi phí và thời gian là chìa khóa. Để làm cho phương pháp được giới thiệu trở nên khả thi, thời gian thu hoạch cần được giảm xuống để tương đương với con người. Tuy nhiên, sử dụng hệ thống robot sẽ cho phép một số lợi thế như một lực lượng lao động linh hoạt hơn và hoạt động vào ban đêm. Các kỹ thuật và phương pháp ở đây đã được áp dụng cho rau xà lách; tuy nhiên, các khái niệm này có thể được áp dụng cho các tình huống thu hoạch và nông nghiệp robot khác. Công việc tiếp theo để điều tra tính ứng dụng rộng hơn và phát triển một hệ thống thu hoạch phổ quát hơn sẽ tăng cường cả tác động thương mại và nghiên cứu.
