SmartFoxServer до 5 одновременных подключений - бесплатно можно использовать. Примеры как делать конференцию есть в коробке. Ссылка
http://smartfoxserver.com. Советую, так как сам внедрял подобный продукт и довольно успешно. Именно для видеоконференций используется его "плагин" RedBox основанный на Red5, но рафинированный и легко подключаемый.