Proses deteksi obyek pada video adalah salah satu topik yang penting dalam kajia computer vision. Deteksi dan ekstraksi informasi pada suatu video adalah sebagai salah satu bentuk aplikasi dari computer vision. Beberapa aplikasi yang memanfaatkan metode deteksi object berdasarkan warna adalaha sangat banyak dan beragam baik dalam dunia industri, medis, bahkan segi transportasi dan lain sebagainya. Deteksi obyek dalam berbagai keadaan ada banyak hal yang perlu diperhatikan dan perlu diperhitungkan dimana semua parameter dan noise atau gangguan object di sekitarnya yang tidak perlu kita amati namun berada dalam satu bagian bersama obyek yang kita amati. Dalam penelitian ini metode yang akan digunakan adalah dengan mendeteksi adanya tepi objek dan perbedaan warna yang kontras antara objek dan latarnya, serta mendeteksi warna objek dengan menggunakan HSV. Pada peniltian ini membuat pemodelan untuk pendeteksian obyek dan benda berbasis warna dengan data obyek bersumber dari video yang bertujuan mendeteksi salah satu warna primer yang bersandingan dengan warna primer yang lain dengan menggunakan pustaka opensource OpenCv.