Claro que tiene derecho a enfadarse. Y además me parece lo más normal del mundo.
La cuestión es que tú a él no le debes nada y que puedes hacer lo que te de la gana, a fin de cuentas, el siempre tuvo novia y no quiso dejarla por ti. Ahora tendrá que joderse. Pero me parece muy lógico que se enfade y se sienta mal, una cosa no quita la otra.
Y en cuanto a salir o no con su hermano. Pues tú misma. Yo no me sentiría cómodo. Más bien no me fijaría en la hermana de la chica que me gusta

pero oye, si te gusta, pues adelante