|
Цифровые технологии, программирование и сайтостроительство Полупрофессиональный подраздел. Подробное описание раздела находится в прикреплённой теме. |
|
Опции темы |
21.11.2018, 07:28 | #1 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
Цифровизация жизни, большие данные и машинное обучение
В 2002 г. количество цифровых и аналоговых данных в мире людей сравнялось - наступила цифровая эра...
дальше объём цифры будет только расти, соответственно доля аналоговых данных в общем объёме снижаться.... Какие тренды, тенденции и подходы возникают и будут возникать в связи с этим? И вообще, как с этим жЫть? ↓↓ картинка )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 07:37 | #2 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
Больши́е да́нные (англ. big data, [ˈbɪɡ ˈdeɪtə]) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия, эффективно обрабатываемых горизонтально масштабируемыми программными инструментами, появившимися в конце 2000-х годов и альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence[1][2][3].
В широком смысле о «больших данных» говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из этого трансформационных последствий
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 07:39 | #3 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
В качестве определяющих характеристик для больших данных традиционно выделяют «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных)[5][6]; в дальнейшем возникли различные вариации и интерпретации этого признака
Набор признаков VVV (volume, velocity, variety) изначально выработан Meta Group в 2001 году вне контекста представлений о больших данных как об определённой серии информационно-технологических методов и инструментов, в нём, в связи с ростом популярности концепции центрального хранилища данных для организаций, отмечалась равнозначимость проблематик управления данными по всем трём аспектам[24]. В дальнейшем появились интерпретации с «четырьмя V» (добавлялась veracity — достоверность, использовалась в рекламных материалах IBM[25]), «пятью V» (в этом варианте прибавляли viability — жизнеспособность, и value — ценность[26]), и даже «семью V» (кроме всего, добавляли также variability — переменчивость, и visualization[27]). IDC интерпретирует «четвёртое V» как value c точки зрения важности экономической целесообразности обработки соответствующих объёмов в соответствующих условиях, что отражено также и в определении больших данных от IDC[28]. Во всех случаях в этих признаках подчёркивается, что определяющей характеристикой для больших данных является не только их физический объём, но другие категории, существенные для представления о сложности задачи обработки и анализа данных.
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 08:12 | #4 | |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Цитата:
Следующие 50 лет каждый человек будет вынужден решать именно этот вопрос: КАК С ЭТИМ ЖИТЬ?. Так сказать - всеобъемлюще всеохватывающий тренд. ----- В канву темы: YouTube Канал: Четко Юваль Ной Харари - Вызовы 21-го века [Берлин - Июль 2018] Время просмотра: 31:32 |
|
21.11.2018, 09:06 | #5 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
был на семинаре по большим данным... выступал представитель мегафона...
короче, мы у сотовых компаний под колпаком, плотно и навсегда... у них строится информационный портрет человека - как часто пополняет счёт, какое финансовое состояние, где и когда бывает (геопозиционирование), на чём передвигается (общ. транспорт, личный авто, такси), ближайшее окружение, какие темы читает, поведение в интернете и соцсетях, политические взгляды, интересы... и ты ды, и ты пы...
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 09:22 | #6 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
Машинное обучение (англ. machine learning, ML) — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.
Различают два типа обучения:
Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации (англ. information extraction), интеллектуальным анализом данных (data mining).
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 09:26 | #7 | |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Цитата:
-------------------------- В копилку темы: Стартап HUMM https://hightech.fm/2018/11/09/startap-humm |
|
21.11.2018, 09:32 | #8 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
да, надо ввести такой тег:"в копилку темы" )))
так вот, в копилку ))) Уберизация экономики Уберизация — термин, производный от названия компании Uber. Компания разработала мобильное приложение, которое позволяет потребителям подавать запросы на поездки, которые затем переадресуются водителям компании, использующим свои личные автомобили[1][2]. Термин «уберизация» относят к использованию компьютерных платформ, таких как мобильные приложения, для проведения пиринговых сделок между клиентами и поставщиками услуг, что часто позволяет отказаться от услуг традиционных плановых корпораций. Модель отличается существенно меньшими эксплуатационными расходами по сравнению с традиционным бизнесом[3][4][5]. История Уберизация стала возможной благодаря расцвету цифровых технологий, заложенных в XX веке и получивших дальнейшее развитие в XXI веке. Такие компании как Uber, GrabCar и сервис Airbnb позволяют потенциальным клиентам устанавливать непосредственный контакт с потенциальными поставщиками услуг. Феномен уберизации характеризуется устранением или квази-устранением посредников.[5] Уберизованные бизнес-форматы имеют следующие признаки:[6]
Уберизация проникла пока в ограниченное, но непрерывно растущее число отраслей. Например, появление сервиса Airbnb кардинально изменило гостиничную индустрию, которая в одном только Нью-Йорке оценивается более чем в 2,1 миллиарда долларов[7]. В то время, как уберизация подвергается критике как потенциальный источник хаоса и, соответственно, возможная причина подрыва существующей корпоративной модели в гостиничном и транспортном бизнесе, компании, действующие в таких отраслях, как маркетинг, могут использовать данный феномен для сокращения расходов и начать предоставлять клиентам более специализированные услуги[3]. Примеры Среди ярких примеров и проявлений уберизации можно назвать:
Уберизацию часто критикуют за то, что она способствует упадку трудоёмких производств, что, в свою очередь, приведёт к сокращению рабочих мест[12][13]. Уберизация также вызывает обеспокоенность государственных регуляторов и органов налогообложения, поскольку оформление принципов совместного потребления в виде конкретных приложений приводит к спорам по поводу того, каким образом поставщика услуг, использующего в своей работе уберизированную платформу, можно, при ненадлежащем качестве услуг, привлечь к ответственности, и как отслеживать исполнение им налоговых обязательств[14].
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 11:42 | #9 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Да. Давай в копилку нафантазируем ситацию.)))
Предположим я тебе звоню и говорю: квит, я заняла позицию менеджера клиентской базы большой сети АЗК с магазинами, кафе и туалетами. У меня есть тройка стратегических и под ними список промежуточных задач, которые я намерена реализовать. Я сориентировалась на местности и мои выводы такие: все относительно не плохо и есть что улучшать. С точки зрения перспективы на 5 лет я используемые технологии считаю устаревшими, а некоторые участки критично опасными. Если тут 2 года ничего не менять и заниматься только покраской бордюров и проклейкой асфальтов следочками, через года 3 уже не станет смысла что-то улучшать. Система займет уверенное место в нише и позицию на рынке тех бизнесов, которые живут в режимах между тремя задачами: продать как можно больше, продать любой ценой, хоть что-нибудь продать. Конечно же моя оценка сильно кривая, но никакой другой, желательно не моей, у меня нет. Что мне сделать? Если я знаю, что могу обратиться к тебе за профессиональной помощью. ---- Как тебе эта идея? )) |
21.11.2018, 11:46 | #10 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
одобряю
а если это ещё и как-то монетизируется - поддерживаю всеми конечностями!!!
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 12:08 | #11 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Из того что я могу возможность наблюдать, поток разливаемых по бакам ГСМ монетизируется стабильно. Теперь размышляю как стабильно монетизировать поток пополнения клиентской базы. До этого его нужно наладить.
|
21.11.2018, 12:15 | #12 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
и, оставаясь в рамках заявленной темы, как сюда прикрутить большие данные??? )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
21.11.2018, 13:04 | #13 | |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Цитата:
Понимаешь?))) Это очень интересная задача: с одной стороны интересно, чтоб их как можно больше и регулярнее приехало, заправилось, купило, поело и попило. С другой стороны становится еще более важно, чтобы они не сильно задерживались, чтобы на задерживали поток. Нужно пошаговое решение по обработке больших массивов данных. Регулярной обработке в необходимом качестве. Как-то так. |
|
21.11.2018, 13:16 | #14 | ||
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
тут можно разделить на две крупные задачи
Цитата:
поиск оптимального места опять же, где поставить новую азс, или какую перекупить у конкурентов Цитата:
резюме в целом - задачи интересные, ищи инвесторов )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
||
21.11.2018, 15:53 | #15 | |||
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Цитата:
Цитата:
Цитата:
Я понимаю что система обработки данных может гораздо быстрее и эффективнее выдавать мне аналитическую справку по группам клиентов. Но мне (как менеджеру клиентской базы) хотелось бы двух моментов: 1) возможности визуализировать в картинках действительное поведение конкретного клиента в конкретный момент и конкретном месте; 2) иметь необходимые данные для того, чтобы строить гипотезы. А вот за какое время и какими бюджетами это можно было бы реализовать на этих масштабах, я пока не понимаю. |
|||
22.11.2018, 00:33 | #16 | |
Шволочь. И провокатор.
Регистрация: 12.02.2006
Сообщений: 31,340
|
Цитата:
телефон кнопочный. планшет с оторванной гео и вайфаятиной. тарифы предоплатные и доплачивать не требуется. социалка телеграм рабочий. маленькие какие т бигдаты
__________________
... Survivors will be shot again. |
|
22.11.2018, 06:25 | #17 | |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
Цитата:
отключил геолокацию - это ты отключил джипиэс... но триангуляция по базовым станциям никуда не делась... и пусть точность ниже на два порядка (грубо берём 1-5 м для спутника и 200-500 м для соты), для определения районов твоего местонахождения этого вполне достаточно... т.е. определить, где у тебя дом, где работа, где школа/детсад твоих детей, где отдыхаешь после работы, как проводишь выходные - вполне можно ))) дальше идём... тарифы предоплатные и доплачивать не требуется... это тоже информация о твоём финансовом состоянии и платёжном поведении... ты же понимаешь, что отсутствие информации - тоже информация ))) так же как и, к слову, модель телефона... телефон кнопочный - ага, понятно в какую группу потребителей тебя отнести... в корреляции с другими параметрами - уточнения... ))) социалка телеграм рабочий... всё равно телефонные звонки делаешь - тем самым уже определил свой круг общения... пусть и с зоной неопределённости... по параметрам твоего окружения ещё уточняется твой информационный портрет... пусть он будет неточный и с допусками - по ЗБЧ и ЦПТ свой вклад в определение характеристик и свойств генеральной совокупности ты сделал )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! Последний раз редактировалось квит; 22.11.2018 в 06:42. |
|
22.11.2018, 23:57 | #18 |
Шволочь. И провокатор.
Регистрация: 12.02.2006
Сообщений: 31,340
|
квит, ты не услышал. маленькие бигдаты вышли.
телефон кста - не угадают. основное у него - умение плавать и держать заряд под месяц. такшта опять промах. ну и да. главное. с предыдущего телефона присутствовала и социалка. и гео. и всё. нет больше. такшта - ломаются энти бигдаты. а главное - как что случается и телефоны с планшетами выключаются. вместе с полной сменой районов миграции и изменением поведения. а из среднетекущего можно выяснить только маршрут дом-работа. удачи.
__________________
... Survivors will be shot again. |
23.11.2018, 00:13 | #19 | |
Олдскульный чувак
Регистрация: 29.04.2011
Сообщений: 16,443
|
Цитата:
Таких людей надо брать на заметку в первую очередь.
__________________
|
|
23.11.2018, 01:29 | #20 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
|
24.11.2018, 04:48 | #21 | |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
не, ты тоже не услышал )))
ты смотришь с точки зрения интереса спецслужб к единичному человеку. а я - про интерес коммерческих структур к совокупности человеков. а для них один шифрующийся экземпляр - в рамках стат погрешности у остальных то десятков-сотен тысяч нет плавающего телефона и подключены гео... а самое главное - банковская карта привязана к номеру телефона... так что бигдаты вполне себе биг... ))) Цитата:
смотри сам - по пути с работы домой периодически пропадает сигнал - нырнул в метро - сигнал не пропадает, но движешься с остановками - едешь на наземном общественном - движешься плавно. или наоборот стоишь долго - едешь на личном авто - перед этим был звонок по номеру из списка - вызвал такси уже можно выдвигать гипотезы о твоем финансовом положении... список контактов у тебя в телефоне есть - очертили круг твоих знакомых, первого уровня, второго, третьего... у них у всех отключены гео и финансы? скорее всего нет... значит можно уточнять гипотезу о тебе...
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
|
24.11.2018, 04:59 | #22 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
того товарища из мегафона спросили - а законно ли это, сбор персональных данных и прочей личной информации...
а он ответил - а мы персональную информацию не отдаём... а вот агрегированными данными, по совокупности - они готовы торговать направо-налево... правда ценник там очень на крупный бизнес... мы тогда делали проект, были нужны данные о транспортном поведении жителей в рамках муниципального района... я подошёл к этому мужику на предмет посотрудничать... он цену за данные назвал в несколько раз выше, чем вся стоимость проекта... ну я и отвалил несолоно хлебавши... ))) а крупный ритейл, думаю, может раскошелиться... )))
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
27.11.2018, 14:28 | #23 |
Старожил
Регистрация: 01.05.2006
Сообщений: 15,108
|
Все, я кажется придумала. Не в рамках задачи по сетке АЗК. Она учтена по умолчанию.
Я придумала как мне решить задачу, а именно - первый опыт работы студента или выпускника ВУЗ сроком не более 3-6 мес, который будет автоматом попадать на работу в компанию, которая в нем заинтересована. Сэнкс, квит! Риали сэнкс. |
17.12.2018, 06:00 | #24 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
близкие темы:
http://project.megarulez.ru/forums/s...ad.php?t=28423
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
20.12.2018, 18:02 | #25 |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
еще про ИИ
http://project.megarulez.ru/forums/showthread.php?t=27373 http://project.megarulez.ru/forums/s...ad.php?t=27400
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
20.12.2018, 18:28 | #26 |
Расширяю чужие заблуждени
Регистрация: 14.03.2006
Сообщений: 8,433
|
Есть молодой человек, 23 года, умненький, без образования увы. Хочет программировать и что то умеет. Никому для опытов не нужен?
|
03.03.2019, 18:10 | #27 |
Per aspera ad Astra
Регистрация: 13.02.2008
Сообщений: 5,584
|
Кое-что по поводу сбора личной информации можете посмотреть здесь, кому интересно:
__________________
Каждый дурак знает, что до звезд не достать, а умные, не обращая внимания на дураков, пытаются. |
23.06.2019, 19:52 | #28 | |
Администратор
Регистрация: 18.02.2010
Сообщений: 17,014
|
восстание машин, исключение людей из процесса общения
Цитата:
__________________
Да здравствует то благодаря чему мы несмотря ни на что!!! |
|
23.06.2019, 22:04 | #29 |
Per aspera ad Astra
Регистрация: 13.02.2008
Сообщений: 5,584
|
Кому нужно/интересно получить базовую информацию по грядущей цифровой трансформации, могу порекомендовать два обучающих курса, оба бесплатные. Они именно по большей части про цифровизацию производств, а не изменения в быту.
1) Технологии «Фабрик Будущего» https://openedu.ru/course/spbstu/FUTFACT/ 2) Цифровое производство. Первый онлайн-практикум для сотрудников промышленных предприятий. https://proizvodstvo.zyfra.com/ Если порыться, то можно ещё подобные найти.
__________________
Каждый дурак знает, что до звезд не достать, а умные, не обращая внимания на дураков, пытаются. |
09.02.2023, 14:51 | #30 |
Нетолерантный социопат
Регистрация: 12.04.2008
Адрес: Центр циклона
Сообщений: 21,875
|
Что такое право на забвение и как им воспользоваться?
Право на забвение позволяет человеку потребовать от поисковиков удалить свои персональные данные из общего доступа. Речь идет о ссылках на те сведения, которые, по мнению человека, могут нанести ему вред. Сюда относятся устаревшие, неуместные, неполные, неточные или избыточные данные, а также информация, законные основания для хранения которой исчезли с течением времени.
Чтобы воспользоваться правом на забвение, обратитесь в службу поддержки поисковой системы, например Яндекса (https://yandex.ru/support/abuse/trou.../oblivion.html), Google (https://support.google.com/legal/con...duct=websearch) или Mail (https://go.mail.ru/support/oblivion/). Поисковики принимают решение об удалении определенных страниц из выдачи без участия РКН. Обжаловать их решение можно в суде. Перед обращением нужно подготовить: ✅ Списки ссылок, содержащих устаревшую, недостоверную и противозаконную информацию о вас. ✅ Документы удостоверяющие личность. ✅ Доказательства вашей позиции. Например, подтверждение недостоверности или неактуальности данных, опровержения материалов, порочащих репутацию компании, или решение суда о клевете. В следующие 10 дней поисковик вправе запросить у вас дополнительные сведения. У вас также будет 10 дней на их сбор, систематизацию и отправку. Если у вас возникли сложности с подготовкой заявления, вам помогут юристы Центра правовой помощи гражданам в цифровой среде (создан в 2021 году по инициативе Роскомнадзора). Центр сформировал успешную практику по защите прав граждан, которые столкнулись с незаконным распространением их персональных данных. Если вы или ваши близкие столкнулись с незаконным распространением или обработкой своих персональных данных в Интернете, обращайтесь в Центр правовой помощи гражданам в цифровой среде по телефону +7 (499) 550-80-03 или по электронной почте 4people@grfc.ru. https://t.me/rkn_tg/432
__________________
Сочту за честь называть себя русским. (с) Я Я не участвую в войне. Война - участвует во мне. (с) Зеркала & Отражения, Nota Bene! |