Расстояние от центра окружности, вписанной в прямоугольный треугольник, до вершин его острых углов равны √5 см и √10 см. Найдите длину гипотенузы треугольника решить

АВ=ВС, т.к. треугольник равнобедренный, а АС - основание. 
ВК=2, АК=8, тогда, АВ=10.
Центр вписанной окружности лежит в точке пересечения биссектрис треугольника, проведём биссектрису ВН: точка Н совпадёт с точкой касания окружности на стороне АС, т.к. в биссектриса, проведённая из угла В, является и высотой, и медианой, т.е. угол АНС = 90 градусов. 
АН=АК, т.к. отрезки касательных, проведённых из одной точки, равны, т.е. АН=8, тогда АС=16. 
В прямоугольном треугольнике АВН АВ=10, АН=8, тогда по теореме Пифагора ВН=6. 
Найдём площадь треугольника: 1/2 * АС * ВН = 1/2 * 16 * 6 = 42.

Нужно делить на СООТВЕТСТВУЮЩУЮ сторону треугольника. Если дано, что треугольники АВС и ОРТ, подобны, то вначале надо определить какие стороны являются соответствующими (и то же самое с углами: соответствующие углы у подобных треугольников равны). Как правило в учебниках, при записи подобных треугольников соответствие определяется по положению буквы в записи треугольника. Хотя, в новых учебниках это явно не сказано. Например, если сказано, что треугольники АВС и ОРТ подобны, то подразумевается, что угол А равен углу О, угол В равен Р, и С равен Т. И тогда стороне АВ соответствует  сторона ОР, стороне ВС соответствует РТ и стороне АС соответствует OТ. Т.е. при такой записи, будет AB/OP=BC/PT=AC/OT. И в вашей задаче, если AB=8, то чтобы определить коэффициент подобия, надо знать длину именно ОР. И если сказано, что она 4, то да, треугольник ABC подобен треугольнику ОРТ с коэффициентом подобия 2.