Нужно делить на СООТВЕТСТВУЮЩУЮ сторону треугольника. Если дано, что треугольники АВС и ОРТ, подобны, то вначале надо определить какие стороны являются соответствующими (и то же самое с углами: соответствующие углы у подобных треугольников равны). Как правило в учебниках, при записи подобных треугольников соответствие определяется по положению буквы в записи треугольника. Хотя, в новых учебниках это явно не сказано. Например, если сказано, что треугольники АВС и ОРТ подобны, то подразумевается, что угол А равен углу О, угол В равен Р, и С равен Т. И тогда стороне АВ соответствует сторона ОР, стороне ВС соответствует РТ и стороне АС соответствует OТ. Т.е. при такой записи, будет AB/OP=BC/PT=AC/OT. И в вашей задаче, если AB=8, то чтобы определить коэффициент подобия, надо знать длину именно ОР. И если сказано, что она 4, то да, треугольник ABC подобен треугольнику ОРТ с коэффициентом подобия 2.
Точки A и B имеют координаты (1,5) и (4,4) соответственно.
Находим разность координат точек В и А по осям:
Δх = 4 - 1 = 3, Δу = 4 - 5 = -1. к(АВ) = -1/3.
Для перпендикулярных сторон АД и ВС квадрата угловые коэффициенты к = -1/(к(АВ).
Значит, для точки С по отношению к точке В Δх = - 1 , Δу = -3.
Координаты точки С: х = 4 - 1 = 3, у = 4 - 3 = 1.
Аналогично для точки Д по отношению к точке А Δх = - 1 , Δу = -3.
Координаты точки Д: х = 1 - 1 = 0, у = 5 - 3 = 2.
Длина АВ = √((Δх)² + (Δу)²) = √(9 + 1) =√10.
Площадь квадрата S = AB² = 10 кв.ед.