Если эта комбинаторная задача задана математиком, а не преподавателем информатики, то скорее всего он будет требовать аналитическое решение, а не программу.
Рассуждения Liona подтолкнули меня довести это направление до конца, т.е. сделать в лоб
Разбиваем ряд из 9 шаров на последовательные тройки.
Занумеруем шары разными цифрами для удобства
Дальше рассматриваем случаи
1.случай, когда в каждой тройке все шары разного цвета
123 123 123
321 213 213
и т.д.
3!*4*4=96 способов
2. случай, когда во всех тройках есть 2 шара одинакового цвета
121 313 232
212 323 131
и т.д.
3!=6 способов
3. случай, когда на первом месте стоит тройка шаров с разными цветами,
при этом в двух оставшихся тройках будет по 2 шара одинакового цвета
идентичен случаю 4
4. случай, когда на последнем месте стоит тройка, в которой все шары разного цвета,
при этом в двух оставшихся тройках будет по 2 шара одинакового цвета
121 323 123
212 313 123
313 212 123
131 232 123
4*3!=24 способов
5. случай, когда тройка шаров с разными цветами стоит посередине,
при этом в двух оставшихся тройках будет по 2 шара одинакового цвета
232 123 131
313 123 212
323 123 121
232 123 131
4*3!=24 способов, когда тройка, в которой все шары разного цвета, посредине
Считаем: 96+6+24+24+24=174, что собственно и нужно
Если у нас ответы совпали, то, скорее всего, я ничего не упустил (хотя всё может быть)
И не придется рисовать никаких деревьев

Еще бы нужно написать, что не получится случая, когда только в одной тройке будут 2 шара одинакового цвета, а в каждой из оставшихся троек будут шары разного цвета, но что-то неохота